Accueil / Réalisations / Entity resolution à l’échelle du milliard
Entity resolution à l’échelle du milliard
Retrouver les enregistrements qui décrivent la même entreprise ou la même personne dans des bases sans identifiant commun.
- Problème
- Des enregistrements dupliqués et non reliés entre plusieurs sources
- Volume
- 1,25 milliard de paires candidates
- Résultat
- Environ 40 000 comparaisons, en quelques secondes ; une accuracy de 98 % en évaluation
Le problème
Quand deux bases ne partagent aucun identifiant, chaque enregistrement de l’une peut correspondre à chaque enregistrement de l’autre. À cette échelle, tout comparer n’est pas lent, c’est hors de portée, et les enregistrements divergent sur l’orthographe, le format et la complétude.
Ce que j’ai fait
- La qualité des données avant l’appariement. Chaque source est profilée et nettoyée d’abord, pour que l’appariement travaille sur des enregistrements comparables.
- Le goulot des comparaisons traité en premier. 1,25 milliard de paires candidates ramenées à environ 40 000 comparaisons avant tout appariement détaillé.
- Une revue humaine pour les cas limites. Les correspondances et non-correspondances évidentes sont décidées automatiquement. Les cas incertains vont à une personne.
Résultat
1,25 milliard de paires candidates ramenées à environ 40 000 comparaisons, en quelques secondes, avec une accuracy de 98 % en évaluation.
Pourquoi c’est important
Des enregistrements reliés rendent fiables les comptages, la recherche, le CRM et les données d’entraînement de l’IA, et permettent de répondre à une demande d’effacement RGPD. On ne peut pas supprimer ce qu’on ne trouve pas explique pourquoi.
Un problème similaire ? Écrivez-moi.