7.9

Voir en anglais

7.9 Gestion des données maîtresses et de référence

Vue d’ensemble et motivation

Demandez à cinq systèmes combien de clients l’organisation a, et vous obtenez cinq chiffres différents. L’un compte les adresses courriel, l’un compte les contrats, l’un compte les connexions, et deux sont en désaccord sur si « Acme Corp » et « ACME Corporation » sont la même entreprise. La gestion des données maîtresses (MDM) est la discipline de réconcilier les entités centrales que votre entreprise partage, client, produit, fournisseur, employé, emplacement, en une version faisant autorité que chaque système peut faire confiance.

Commencez par trier vos données en trois sortes, parce qu’elles ont besoin de traitements différents. Les données maîtresses décrivent les noms communs de votre entreprise : les personnes, lieux, et choses auxquels de nombreux processus se réfèrent. Les données de référence sont le vocabulaire contrôlé que ces processus utilisent : codes de devise, codes de pays, listes d’unité de mesure, catégories de produit. Les données transactionnelles enregistrent les verbes : une commande passée, un paiement effectué, un envoi expédié. Les données maîtresses et de référence sont à volume plus bas que les transactions mais référencées partout, donc une erreur en elles contamine tout en aval.

Le coût de se tromper est concret. Quand le même client existe comme quatre enregistrements légèrement différents, vous envoyez quatre catalogues par la poste, vous ne pouvez pas voir une relation qui vaut la peine d’être gardée, et votre chiffre de revenu par client est discrètement faux. Un enregistrement d’or, la version unique et fiable d’une entité assemblée depuis de nombreuses sources, est ce qui remplace ces copies conflictuelles, pour que chaque intégration arrête de résoudre à nouveau le même problème d’appariement.

Pour les entreprises réconciliant des systèmes accumulés à travers des décennies de croissance et acquisition, la MDM est la différence entre une vue client cohérente et une taxe de réconciliation permanente. Pour l’administration publique, les enjeux montent : un citoyen qui apparaît comme trois personnes différentes dans trois agences peut se voir refuser une prestation, être taxé deux fois, ou perdu entre départements. Ce chapitre complète la stratégie et gouvernance de données (chapitre 7.1), qui fixe la propriété et la politique ; la modélisation de données et couche sémantique (chapitre 7.7), qui définit ce que les entités signifient ; et la qualité et observabilité de données (chapitre 7.8), qui garde les enregistrements propres dans le temps.

Principes clés

  • Triez vos données en maîtresses, de référence, et transactionnelles ; chacune a besoin d’une gestion différente.
  • Un enregistrement d’or par entité du monde réel, assemblé délibérément, pas découvert par accident.
  • Choisissez un style d’architecture MDM pour convenir à vos besoins de contrôle et latence, pas la mode.
  • L’appariement et la survivance sont des règles d’affaires, donc écrivez-les et laissez les intendants les régler.
  • Les données de référence sont un vocabulaire partagé ; versionnez-les et publiez-les comme une API.
  • La gouvernance et l’intendance sont le moteur de la MDM ; le logiciel n’est que l’outillage.
  • Propagez les enregistrements d’or comme événements pour que les systèmes en aval restent synchronisés, pas périmés.
  • Mesurez la MDM par les décisions améliorées et les doublons retirés, pas par les enregistrements chargés.

Recommandations

Classifier les données maîtresses, de référence, et transactionnelles d’abord

Vous ne pouvez pas gérer ce que vous n’avez pas trié, donc commencez par classifier vos domaines de données. Un test utile pour les données maîtresses est si une mauvaise valeur se propage : si une mauvaise adresse se répercute dans la facturation, l’expédition, et les avis légaux, vous regardez des données maîtresses. Cela pilote votre investissement : vous construisez un moteur d’appariement pour l’entité client, pas les articles de ligne de commande. Nommez les domaines explicitement, classez-les par combien de douleur leur duplication cause, et commencez avec les un ou deux qui font le plus mal, habituellement client et produit parce qu’ils touchent le revenu directement.

Choisir un style d’architecture MDM délibérément

Il y a quatre styles d’architecture communs, et le bon dépend de combien d’autorité vous pouvez centraliser et à quelle vitesse les changements doivent se propager. Le style registre laisse les données dans les systèmes source et construit seulement un index d’identifiants appariés, pour pouvoir répondre « ces cinq enregistrements sont le même client » sans déplacer aucune donnée ; c’est bon marché et à faible risque, mais lecture seule, donc cela ne peut pas corriger les sources. Le style consolidation tire des copies dans un hub central et les fusionne en enregistrements d’or pour le rapport, mais ne repousse pas les corrections en arrière, donc les sources restent désordonnées. Le style coexistence va plus loin : il synchronise les valeurs nettoyées en retour vers les systèmes source, pour que les sources s’améliorent dans le temps tout en opérant encore indépendamment. Le style hub centralisé ou transactionnel fait du hub MDM le système d’enregistrement lui-même, où les entités sont créées et éditées directement et chaque autre système consomme depuis lui ; cela donne la cohérence et le contrôle les plus forts, et c’est le plus difficile à adopter parce que cela change où le travail se passe. De nombreuses organisations progressent d’un registre qui prouve la valeur vers la coexistence à mesure que la confiance grandit, et exécutent plus d’un style à travers différents domaines.

Apparier, fusionner, et fixer les règles de survivance explicitement

Le cœur de la MDM est de décider quand deux enregistrements décrivent la même chose du monde réel. C’est le lien d’enregistrement, rarement aussi simple qu’une correspondance de clé exacte parce que les vraies données sont pleines de fautes de frappe, abréviations, et champs manquants. L’appariement déterministe utilise des règles exactes sur des champs choisis (même identifiant fiscal, ou même courriel plus code postal). L’appariement probabiliste note la similarité à travers de nombreux champs en utilisant la correspondance approximative de chaîne et des poids, pour que « Bob Smith, 12 Rue Principale » et « Robert Smith, 12 Rue Principale » puissent être jugés une correspondance probable au-dessus d’un seuil. Décider quels enregistrements se réfèrent à la même entité s’appelle la résolution d’identité, et elle alimente tout depuis les vues client jusqu’à la détection de fraude.

Une fois que les enregistrements correspondent, vous devez décider quelles valeurs survivent dans l’enregistrement d’or. Ces règles de survivance sont de la logique d’affaires, donc rendez-les explicites : préférez la valeur la plus récente pour un numéro de téléphone, la valeur la plus complète pour une adresse, la source la plus fiable pour un nom légal. Fixez une bande de seuil où les correspondances sont fusionnées automatiquement, une bande plus basse où elles sont rejetées automatiquement, et une bande médiane où un humain décide, ce qui est là où vit l’intendance. Gardez chaque fusion réversible et journalisée, parce qu’une mauvaise fusion qui fusionne deux vrais clients est pire qu’une manquée.

Traiter les données de référence comme un vocabulaire partagé versionné

Les données de référence sont le vocabulaire partagé que vos systèmes parlent, et le vocabulaire qui dérive cause un désalignement silencieux : quand un système utilise le code de pays ISO « GB » et un autre utilise « UK », les jointures échouent et les comptes divergent. Maintenez chaque liste de référence en un endroit gouverné, publiez-la pour chaque consommateur, et, crucialement, versionnez-la. Les codes sont ajoutés, retirés, divisés, et fusionnés dans le temps, et si vous écrasez la liste sur place, vous cassez les rapports historiques qui étaient corrects sous les anciens codes.

Traitez un jeu de données de référence comme une API avec un contrat. Publiez-le avec des dates effectives pour qu’un consommateur puisse demander « quels étaient les codes de région valides à cette date », gardez les codes retirés plutôt que de les supprimer, et enregistrez le mapping quand un code change de sens. Préférez les normes externes reconnues où elles existent, telles que les codes ISO de pays et devise, parce que les normes vous donnent l’interopérabilité gratuitement et se connectent à la discipline des normes ouvertes du chapitre 3.8.

Modéliser les hiérarchies et relations, pas seulement des enregistrements plats

Les données maîtresses ne sont pas un tas de lignes indépendantes ; c’est une toile de relations. Un client appartient à un ménage et à une société mère. Un produit remonte dans une catégorie et une marque. Ces hiérarchies portent un vrai sens d’affaires : remontez les ventes par société mère et l’image change entièrement par rapport à remonter par compte individuel. Modélisez ces relations explicitement pour que les consommateurs les traversent de façon cohérente au lieu que chaque équipe invente son propre roll-up.

Surveillez le cas où une entité a besoin de plusieurs hiérarchies à la fois. Un produit peut remonter d’une façon pour la finance et une autre pour le merchandising, et les deux sont légitimes, donc soutenez plusieurs hiérarchies nommées plutôt que de forcer un arbre unique et vrai. Les relations entre domaines comptent aussi, telles que quel fournisseur fournit quel produit.

Câbler les enregistrements d’or dans la couche sémantique et la qualité de données

Les enregistrements d’or que la MDM produit sont les entités dignes de confiance que la couche sémantique du chapitre 7.7 référence quand elle définit les métriques : « clients actifs » ne signifie quelque chose que quand « client » est sans ambiguïté. Alimentez vos enregistrements d’or dans la couche sémantique pour que chaque métrique compte les mêmes entités dédupliquées et résolues.

La MDM et la qualité de données (chapitre 7.8) sont deux côtés d’une pièce : les contrôles de qualité détectent les doublons, nuls, et violations de format que la MDM résout ensuite, et l’appariement de la MDM fait surface des problèmes de qualité que les contrôles ont manqués. Exécutez une surveillance de qualité continue sur vos données maîtresses spécifiquement : taux de doublon, distributions de confiance de correspondance, complétude des champs clés, et la taille de la file de revue, pour que la dérive fasse surface avant que les consommateurs ne la voient.

Propager les enregistrements d’or à travers des événements

Un enregistrement d’or qu’aucun système en aval ne voit n’aide personne. Le motif le plus fort est la propagation pilotée par événement : quand une entité est créée, fusionnée, ou corrigée, le hub MDM publie un événement de changement, et les systèmes abonnés mettent à jour leur copie locale. Cela s’appuie sur l’architecture événementielle et les motifs de streaming du chapitre 7.2, gardant des dizaines de systèmes cohérents sans synchronisations par lot nocturnes fragiles qui laissent tout le monde périmé d’un jour.

Publiez les événements avec assez de contexte pour être utiles : l’identifiant d’entité, ce qui a changé, les nouvelles valeurs survivantes, et une version pour que les consommateurs puissent ordonner les mises à jour et détecter celles qu’ils ont manquées. Rendez les consommateurs idempotents pour que rejouer un événement ne cause aucun dommage, et offrez une API pour les systèmes qui ne peuvent pas s’abonner. Le principe de l’architecture et stockage de données (chapitre 3.4) s’applique : concevez pour que l’enregistrement d’or coule, parce qu’un que personne ne consomme n’est qu’une feuille de calcul coûteuse.

Assigner l’intendance et la gouvernance avant l’outillage

La MDM échoue comme projet technologique et réussit comme projet de gouvernance. Le rôle critique est l’intendant de données, une personne responsable de la qualité et des règles d’un domaine spécifique, qui résout les correspondances ambiguës, règle les règles de survivance, et arbitre quand deux départements sont en désaccord sur ce que « fournisseur » signifie. Les intendants sont habituellement des personnes d’affaires avec une connaissance de domaine profonde, pas des ingénieurs, et ils ont besoin d’une vraie autorité et de temps alloué, parce que l’intendance à temps partiel sans mandat produit exactement la dérive que la MDM était censée arrêter.

Enveloppez les intendants dans les structures de gouvernance du chapitre 7.1 : un propriétaire de données responsable de chaque domaine, un conseil pour régler les différends transdomaines, et des politiques claires pour qui peut créer ou fusionner des enregistrements maîtres. Documentez les décisions, parce que les règles pour apparier un client sont une connaissance institutionnelle qui doit survivre au roulement de personnel. L’outillage sert la gouvernance ; acheter une plateforme MDM avant de nommer vos intendants c’est acheter un moteur sans conducteur.

Compromis : avantages et inconvénients

Style MDMAvantagesInconvénients
Registre (index seulement)Bon marché, faible risque, sources intouchéesLecture seule ; ne peut pas corriger les données source
Consolidation (copies centrales)Enregistrements propres pour l’analytique rapidementLes sources restent désordonnées ; pas de réécriture
Coexistence (sync en retour vers sources)Les sources s’améliorent ; contrôle équilibréPlus d’intégration ; conflits de sync à gérer
Hub centralisé / transactionnelCohérence et contrôle les plus fortsCoût le plus élevé ; déplace où le travail se passe
Appariement déterministePrévisible, explicable, auditableManque les fautes de frappe, variantes, et données désordonnées
Appariement probabilisteAttrape la variation du monde réelExige un réglage ; fausses fusions si négligent

La tension centrale de la MDM est le contrôle contre la disruption. Les styles qui vous donnent les données les plus propres et cohérentes (coexistence et hubs centralisés) sont exactement ceux qui s’immiscent le plus dans comment les systèmes source et leurs propriétaires travaillent, et cette intrusion est là où les programmes MDM calent. Le chemin pragmatique est de gagner la confiance avec un style à faible risque et de bouger vers un contrôle plus fort seulement là où l’argumentaire économique est clair. Le compromis d’appariement fonctionne en parallèle : les règles déterministes sont auditables mais fragiles, la notation probabiliste est puissante mais exige de l’intendance et une tolérance pour la fusion fausse occasionnelle. La plupart des programmes matures mélangent les deux.

Questions à discuter avec votre équipe

  1. Quels domaines de données maîtresses nous causent réellement de la douleur, et les avons-nous classés par coût plutôt que de tous les traiter à la fois ? De nombreux programmes MDM s’effondrent sous leur propre ambition, essayant de maîtriser chaque entité dans l’entreprise à la fois et ne livrant rien pendant deux ans. Le mouvement productif est de trouver le ou les deux domaines où la duplication et le conflit vous coûtent du vrai argent ou de la confiance, habituellement client ou produit, et de quantifier ce coût : les envois postaux gaspillés, les heures de réconciliation, les mauvais chiffres de revenu, les découvertes d’audit. Apportez des exemples concrets de la même entité apparaissant de plusieurs façons à travers vos systèmes, et laissez ce classement vous dire où commencer, parce qu’une victoire étroite et mesurable construit la crédibilité dont vous avez besoin pour vous étendre.

  2. Qui possède chaque domaine de données maîtresses, et nos intendants ont-ils l’autorité et le temps pour réellement faire le travail ? L’outillage MDM sans intendance habilitée est une voiture sans conducteur, et le mode d’échec le plus courant est de nommer un intendant sur une diapositive tout en ne lui donnant aucun vrai mandat et aucune heure allouée. Les gens qui résolvent les correspondances ambiguës et règlent les disputes « qu’est-ce qui compte comme client » ont besoin d’expertise de domaine, d’autorité de décision, et de temps protégé. Apportez votre organigramme et demandez, pour votre domaine principal, qui décide exactement quand deux enregistrements sont la même personne et qui arbitre quand les ventes et la finance sont en désaccord. Si vous ne pouvez pas nommer cette personne et pointer vers son temps alloué, vous avez trouvé la lacune qui coulera le programme.

  3. Quand nous fusionnons deux enregistrements en un enregistrement d’or, pouvons-nous expliquer et inverser la décision, et d’où viennent les valeurs survivantes ? Les règles de survivance sont de la logique d’affaires que la plupart des équipes n’ont jamais écrite, ce qui signifie que les fusions se produisent par accident d’ordre de chargement ou de valeurs par défaut d’outillage, et une mauvaise fusion qui fusionne deux vrais clients est douloureuse à défaire. Apportez un vrai enregistrement fusionné et tracez chaque champ survivant jusqu’à sa source et règle : pourquoi cette adresse, pourquoi ce nom, pourquoi ce numéro de téléphone. Confirmez que chaque fusion est journalisée et réversible, et qu’une bande médiane de correspondances incertaines va à un humain plutôt que d’être fusionnée automatiquement. Si vous ne pouvez pas expliquer un enregistrement d’or spécifique, vos intendants ne peuvent pas le défendre à un auditeur ou un client lésé.

  4. Quel style d’architecture MDM convient à chaque domaine que nous prévoyons de maîtriser, et pouvons-nous défendre ce choix contre la disruption qu’il impose aux propriétaires de système source ? Le style que vous choisissez décide combien vous pouvez nettoyer les données et combien vous vous immiscez dans les équipes qui possèdent les sources, et choisir par mode ou argumentaire de fournisseur plutôt que par réalité contrôle-contre-disruption est comment les programmes calent à mi-chemin. Un registre prouve la valeur bon marché mais ne corrige jamais une source ; un hub centralisé donne la cohérence la plus forte mais relocalise où les enregistrements sont créés, ce qui est un changement organisationnel déguisé en changement technique. Apportez, pour chaque domaine candidat, une lecture honnête de combien d’autorité vous détenez réellement sur les propriétaires source, à quelle fraîcheur les copies en aval doivent être, et ce qu’une réécriture casserait dans les flux de travail existants. Dans les contextes d’entreprise et gouvernementaux, ajoutez le coût de migration et de gestion de changement de déplacer le système d’enregistrement, parce que les équipes dont le travail quotidien bouge résisteront à un hub sur lequel elles n’ont pas été consultées, et un déploiement de coexistence calé est plus coûteux qu’un registre modeste qui est livré.

  5. Comment réglons-nous les seuils d’appariement, et avons-nous convenu quel taux de fausses fusions et correspondances manquées nous pouvons vivre dans chaque domaine ? Chaque moteur d’appariement probabiliste échange les fausses fusions (fusionner deux vraies entités) contre les correspondances manquées (laisser une entité divisée), et l’équilibre est une décision d’affaires, pas une valeur par défaut que quelqu’un a laissée dans l’outil. Fixez les bandes de fusion automatique et rejet automatique trop larges et vous corrompez silencieusement les enregistrements d’or ; fixez-les trop étroites et la file de revue humaine grandit plus vite que les intendants ne peuvent la vider. Apportez la distribution de confiance actuelle, la taille et l’âge de la file de revue, et des exemples d’erreurs des deux types pour que la pièce puisse voir le vrai coût de chaque direction. Dans un domaine d’identité gouvernemental, penchez fortement vers les correspondances manquées et la revue humaine, parce qu’une mauvaise fusion peut refuser une prestation ou exposer les données d’un citoyen à un autre, et le coût d’appel et d’audit de cette erreur éclipse le coût d’un doublon qu’un intendant résout la semaine prochaine.

  6. Comment les systèmes en aval apprennent-ils qu’un enregistrement d’or a changé, et à quel point chacun peut-il être périmé avant qu’une décision ne tourne mal ? Un enregistrement d’or parfaitement résolu qu’aucun système ne consomme est une feuille de calcul coûteuse, et le mécanisme de propagation, que ce soit des événements de changement, une API d’abonnement, ou un lot nocturne, fixe discrètement à quel point chaque décision dépendante est actuelle. La propagation pilotée par événement garde des dizaines de consommateurs en presque temps réel mais exige des consommateurs idempotents et des événements versionnés ; une synchronisation nocturne est plus simple mais laisse tout le monde périmé d’un jour, ce qui peut convenir pour une liste marketing et être dangereux pour une vérification de fraude. Apportez la liste des systèmes consommateurs, la fraîcheur dont chacun a réellement besoin, et comment un consommateur qui manque une mise à jour aujourd’hui récupère. Pour une grande organisation ou publique, nommez qui possède le contrat pour ces événements et comment un abonné détecte un message perdu, parce qu’un changement d’entité qui échoue silencieusement à atteindre une agence recrée exactement la fragmentation que la MDM a été financée pour retirer.

Regard sectoriel

Jeune pousse. Avec une poignée d’ingénieurs et aucune marge à épargner, n’achetez pas de plateforme MDM. Maîtrisez la seule entité qui corrompt vos chiffres, habituellement le client dupliqué à travers le libre-service et les ventes, avec une tâche d’appariement dans l’entrepôt que vous exécutez déjà et une personne révisant les correspondances incertaines hebdomadairement. Gardez chaque fusion journalisée et réversible pour qu’une mauvaise règle coûte un après-midi, pas une relation client, et revisitez un outillage plus lourd seulement quand la file de revue manuelle dépasse un seul relecteur.

Petite entreprise. Vous n’avez pas d’intendant de données et un budget serré, donc traitez cela comme une décision acheter-pas-construire et appuyez-vous sur les normes que vous obtenez gratuitement. Préférez les outils qui déduplicent déjà les contacts et parlent les codes ISO de pays et devise plutôt qu’un hub sur mesure que vous ne pouvez pas maintenir, et choisissez le domaine unique, typiquement clients ou produits, où les doublons vous coûtent du vrai argent. Assignez la responsabilité à un propriétaire nommé même si c’est une fraction de la semaine d’une personne, parce qu’un vocabulaire qui dérive sans que personne ne surveille est ce qui casse discrètement vos rapports.

Grande entreprise. À travers une douzaine de systèmes ERP et CRM accumulés par acquisition, le travail est la gouvernance de portefeuille : classez les domaines par le coût de leur duplication, montez des intendants habilités dans l’entreprise, et standardisez les règles de survivance et le versionnage de données de référence pour que les groupes arrêtent de résoudre à nouveau le même problème d’appariement. Budgétisez explicitement le coût d’intégration et d’intendance permanente, propagez les enregistrements d’or comme événements versionnés pour que les sources s’améliorent dans le temps, et gérez la MDM comme un programme mesuré avec des taux de doublon et métriques de file de revue plutôt qu’un nettoyage ponctuel.

Gouvernement. Les règles d’approvisionnement, la loi stricte de partage de données, et la responsabilité publique façonnent chaque choix. Cléz l’entité personne sur un identifiant national gouverné, versionnez les données de référence par date effective pour que les enregistrements historiques restent corrects, et rendez la résolution d’identité délibérément conservatrice : les correspondances incertaines vont à des intendants formés, jamais des fusions automatisées, parce qu’une mauvaise fusion peut refuser une prestation ou fuir les données d’un citoyen à un autre. Journalisez chaque correspondance pour l’audit et l’appel, exigez la portabilité de données et une logique d’appariement divulguée des fournisseurs, et gardez toute la capacité à l’intérieur des normes d’interopérabilité auxquelles le secteur public s’engage déjà.

Exemples

Jeune pousse. Une entreprise logicielle en croissance rapide vend à travers à la fois l’inscription libre-service et une équipe de vente, et les deux canaux créent le même client deux fois sous des noms d’entreprise légèrement différents. Le revenu par compte paraît faux et l’équipe de vente continue de démarcher à froid des utilisateurs existants. Plutôt que d’acheter une plateforme lourde, ils commencent avec un registre léger : une tâche d’appariement dans leur entrepôt de données qui lie les enregistrements par domaine de courriel et nom d’entreprise normalisé, avec un intendant à temps partiel révisant les correspondances incertaines hebdomadairement. Cela coûte peu, corrige l’erreur de rapport, et prouve la valeur qui justifie plus d’investissement à mesure qu’ils grandissent.

Grande entreprise. Un fabricant mondial a grandi par acquisition et exploite une douzaine de systèmes ERP et CRM, chacun avec ses propres enregistrements fournisseur, donc le même fournisseur apparaît quinze façons et l’entreprise ne peut pas négocier comme un acheteur unique ou voir sa vraie dépense. Elle monte un hub MDM de style coexistence pour les domaines fournisseur et produit, utilisant l’appariement déterministe sur les identifiants fiscaux et d’enregistrement plus une notation probabiliste sur les noms et adresses. Des intendants nommés en approvisionnement règlent les règles de survivance et travaillent la file de revue, et les enregistrements d’or sont publiés comme événements de changement qui coulent en retour dans chaque ERP pour que les données nettoyées améliorent les sources. La visibilité de dépense consolidée débloque de meilleures conditions contractuelles, et la taxe de réconciliation qui consommait la finance chaque trimestre chute fortement.

Gouvernement. Un gouvernement national veut que les agences traitent un citoyen comme une personne plutôt qu’un étranger à chaque guichet, tout en respectant des limites légales strictes sur le partage de données. Il construit un hub de données maîtresses centralisé pour l’entité personne, clé sur un identifiant national gouverné, avec des données de référence versionnées par date effective pour que les enregistrements historiques restent corrects. La résolution d’identité est délibérément conservatrice : les correspondances incertaines vont à des intendants formés plutôt que des fusions automatisées, parce qu’une mauvaise fusion pourrait refuser une prestation à quelqu’un ou exposer ses données, et chaque correspondance est journalisée pour l’audit et l’appel. Le gain est moins d’enregistrements dupliqués, moins de fraude depuis des identités divisées, et un citoyen qui n’a pas à prouver qui il est à chaque porte, dans les normes d’interopérabilité du chapitre 3.8.

Argumentaire économique : motivations, retour sur investissement et coût total de possession

Le retour sur la MDM vient de retirer une taxe que la plupart des organisations paient sans la nommer. Les enregistrements dupliqués et conflictuels coûtent de l’argent de façons évidentes (marketing gaspillé vers la même personne cinq fois, erreurs d’expédition depuis des adresses périmées, remises de volume manquées) et de façons moins évidentes (analystes réconciliant des comptes, cadres décidant sur des chiffres discrètement faux, auditeurs facturant des heures pour démêler quel enregistrement est réel). Une vue fournisseur consolidée paie fréquemment pour le programme entier à travers de meilleures conditions contractuelles seules.

Le coût total de possession a trois parties : la plateforme ou construction, l’intégration aux sources et consommateurs, et, le plus grand dans le temps, l’intendance continue. Le coût d’intégration est facile à sous-estimer, parce que connecter une douzaine de systèmes source vieillissants est là où les programmes MDM saignent le calendrier et budget, et le coût d’intendance est facile à oublier, parce que c’est une dépense d’exploitation permanente, pas une construction ponctuelle. Pour faire valoir cela auprès de la direction, liez la MDM à des chiffres qu’elle suit déjà : précision de revenu, efficacité marketing, économies d’approvisionnement, coût d’audit, et risque réglementaire, puis commencez étroit et laissez une victoire mesurée sur un domaine à haute douleur financer l’expansion.

Anti-patterns et pièges

  • Portée bouillir-l’océan : maîtriser chaque domaine à la fois, ne livrant rien pendant des années, et perdant le parrainage avant la première victoire.
  • Outillage avant gouvernance : acheter une plateforme MDM avant de nommer des intendants et propriétaires, pour que le moteur n’ait pas de conducteur.
  • Intendants à temps partiel sans autorité : assigner l’intendance sur une diapositive tout en ne donnant aucun vrai mandat ou temps protégé.
  • Survivance silencieuse : fusionner des enregistrements par valeur par défaut d’outillage ou ordre de chargement, sans règles écrites et sans façon d’expliquer un enregistrement d’or.
  • Fusions irréversibles : fusionner automatiquement des correspondances incertaines sans annulation, pour qu’une mauvaise fusion de deux vraies entités devienne un dommage permanent.
  • Données de référence écrasées sur place : éditer des listes de code sans versionnage, cassant chaque rapport historique qui était correct sous les anciens codes.
  • Enregistrements d’or que personne ne consomme : construire un hub pristine auquel aucun système en aval ne s’abonne, pour que les données propres n’atteignent jamais les décisions.
  • Réinventer les codes standard : frapper vos propres listes de pays ou devise quand des normes ISO existent, et perdre l’interopérabilité sans raison.

Modèle de maturité

  • Niveau 1 (Initier) : Les données maîtresses et de référence sont non gérées. La même entité existe de nombreuses fois sans version faisant autorité, les listes de code divergent, l’appariement est manuel et réactif, et personne ne possède le problème, donc les comptes d’entités centrales sont en désaccord et personne ne peut dire lequel est correct.
  • Niveau 2 (Développer) : Les domaines clés sont reconnus et quelqu’un les déduplique, souvent dans l’entrepôt pour le rapport. L’appariement déterministe de base existe, les listes de référence sont collectées, et quelques personnes agissent comme intendants informels, mais la pratique varie équipe par équipe, les sources restent désordonnées, et les règles vivent dans les têtes des gens plutôt que sur papier.
  • Niveau 3 (Standardiser) : La MDM est un programme gouverné appliqué de façon cohérente à travers l’organisation. Les domaines maîtres ont des propriétaires nommés et des intendants habilités, les règles d’appariement et survivance sont documentées et imposées, les enregistrements d’or sont produits et propagés aux consommateurs, et les données de référence sont versionnées et publiées avec des dates effectives comme une API.
  • Niveau 4 (Gérer) : Le programme est mesuré et contrôlé contre des références. Les taux de doublon, distributions de confiance de correspondance, taux de fausse fusion et correspondance manquée, complétude de champ clé, et taille et âge de file de revue sont suivis comme métriques ; les seuils sont réglés contre ces chiffres plutôt qu’à l’impression ; et la valeur MDM (précision de revenu, économies d’approvisionnement, coût de revue) est quantifiée et rapportée aux propriétaires selon une cadence fixe.
  • Niveau 5 (Orchestrer) : Les enregistrements d’or coulent comme événements versionnés en presque temps réel, alimentent la couche sémantique, et sont dignes de confiance à travers l’organisation. L’appariement s’améliore continuellement contre des résultats mesurés, la maîtrise s’étend à de nouveaux domaines comme une capacité répétable, et la MDM est intégrée avec la planification de gouvernance et risque pour que le programme s’adapte à mesure que les sources, normes, et le paysage d’entité changent.

Pistes de réflexion

  1. Si deux de vos systèmes sont en désaccord sur combien de clients vous avez, lequel est correct, et comment le prouveriez-vous ?
  2. Quel domaine de données maîtresses livrerait la plus grande victoire mesurable si vous le maîtrisiez en premier, et que vaut cette victoire ?
  3. Où l’appariement probabiliste vous aiderait-il aujourd’hui, et êtes-vous à l’aise avec la fausse fusion occasionnelle qu’il implique ?
  4. Comment versionnez-vous vos données de référence, et qu’est-ce qui se casse dans vos rapports historiques quand un code change de sens ?
  5. Qui est l’intendant nommé pour votre entité la plus importante, et a-t-il l’autorité et le temps pour réellement faire le travail ?
  6. Quand un enregistrement d’or change, comment vos systèmes en aval l’apprennent-ils, et à quel point peuvent-ils être périmés avant que cela ne fasse mal ?

Points clés à retenir

  • Triez vos données en maîtresses, de référence, et transactionnelles ; investissez l’appariement et la gouvernance là où la duplication coûte le plus.
  • Produisez un enregistrement d’or par entité du monde réel, assemblé par des règles de survivance explicites, réversibles, journalisées.
  • Choisissez un style d’architecture MDM (registre, consolidation, coexistence, ou hub centralisé) pour convenir à votre appétit pour le contrôle et la disruption.
  • Traitez les données de référence comme un vocabulaire partagé versionné, préférez les normes reconnues, et n’écrasez jamais les listes de code sur place.
  • La MDM réussit sur la gouvernance et l’intendance, pas l’outillage ; propagez les enregistrements d’or comme événements et mesurez le programme par les décisions améliorées.

Références et lectures complémentaires

  • David Loshin, Master Data Management.
  • Alex Berson et Larry Dubov, Master Data Management and Data Governance.
  • Dan Power, The Definitive Guide to Master Data Management.
  • John Talburt, Entity Resolution and Information Quality.
  • Peter Christen, Data Matching: Concepts and Techniques for Record Linkage, Entity Resolution, and Duplicate Detection.
  • Ivan P. Fellegi et Alan B. Sunter, « A Theory for Record Linkage », Journal of the American Statistical Association.
  • DAMA International, DAMA-DMBOK: Data Management Body of Knowledge.
  • Ralph Kimball et Margy Ross, The Data Warehouse Toolkit.