Accueil / Réalisations / Entity resolution à l’échelle du milliard

Entity resolution à l’échelle du milliard

Retrouver les enregistrements qui décrivent la même entreprise ou la même personne dans des bases sans identifiant commun.

Problème
Des enregistrements dupliqués et non reliés entre plusieurs sources
Volume
1,25 milliard de paires candidates
Résultat
Environ 40 000 comparaisons, en quelques secondes ; une accuracy de 98 % en évaluation

Le problème

Quand deux bases ne partagent aucun identifiant, chaque enregistrement de l’une peut correspondre à chaque enregistrement de l’autre. À cette échelle, tout comparer n’est pas lent, c’est hors de portée, et les enregistrements divergent sur l’orthographe, le format et la complétude.

Ce que j’ai fait

  • La qualité des données avant l’appariement. Chaque source est profilée et nettoyée d’abord, pour que l’appariement travaille sur des enregistrements comparables.
  • Le goulot des comparaisons traité en premier. 1,25 milliard de paires candidates ramenées à environ 40 000 comparaisons avant tout appariement détaillé.
  • Une revue humaine pour les cas limites. Les correspondances et non-correspondances évidentes sont décidées automatiquement. Les cas incertains vont à une personne.

Résultat

1,25 milliard de paires candidates ramenées à environ 40 000 comparaisons, en quelques secondes, avec une accuracy de 98 % en évaluation.

Pourquoi c’est important

Des enregistrements reliés rendent fiables les comptages, la recherche, le CRM et les données d’entraînement de l’IA, et permettent de répondre à une demande d’effacement RGPD. On ne peut pas supprimer ce qu’on ne trouve pas explique pourquoi.

Un problème similaire ? Écrivez-moi.