Accueil / Démo d’appariement
L’appariement d’entités, en pratique
L’entity resolution décide quels enregistrements, dans des systèmes sans identifiant commun, décrivent la même chose. Deux problèmes décident si elle peut fonctionner, avant tout appariement : la qualité des données et le nombre de comparaisons. Testez les deux ci-dessous.
Avant d’apparier quoi que ce soit, on mesure les données. Voici 10 enregistrements Amazon et 13 enregistrements Google du benchmark public Amazon-Google. Choisissez un contrôle pour voir ce qu’il signale.
Enregistrements Amazon
Enregistrements Google
La force brute compare chaque enregistrement à tous les autres. Ici, chaque enregistrement Amazon face à chaque enregistrement Google : un carré par comparaison.
Faites grossir les données
Dix fois plus d’enregistrements, c’est cent fois plus de comparaisons. C’est le goulot d’étranglement à traiter avant tout appariement.
Le même goulot d’étranglement dans un de mes projets en production, étape par étape. Les chiffres viennent de ce projet ; la méthode de réduction elle-même n’est pas montrée.
- Contrôles de qualité des données
- Réduction des candidatsméthode non montrée
- Appariement détaillé
- Revue humaine des cas limites
Demande : effacer tous les enregistrements de Nora Keller, née le 12/03/1984.
Enregistrements fictifs : l’exemple de ma publication LinkedIn.
La qualité des données d’abord
Les enregistrements d’un même produit divergent avant même qu’une seule paire soit comparée. Dans ces 23 enregistrements du benchmark, le fabricant est vide dans 9 des 13 enregistrements Google, les mêmes entreprises s’écrivent différemment dans les deux sources, et les titres portent des mentions et des symboles. Mesurer cela d’abord indique ce que l’appariement devra gérer, et ce qu’il faut nettoyer.
La force brute ne passe pas à l’échelle
Comparer chaque enregistrement à tous les autres croît avec le carré des données : dix fois plus d’enregistrements, cent fois plus de comparaisons. Le benchmark Amazon-Google d’origine croise 1 363 enregistrements Amazon et 3 226 enregistrements Google : 4 397 038 paires possibles pour 1 300 vraies correspondances. Un de mes projets en production partait de 1,25 milliard de paires candidates, ramenées à environ 40 000 comparaisons, en quelques secondes. Traiter ce goulot d’étranglement, c’est là que se joue une grande partie de l’ingénierie : l’onglet « Étape de réduction » en montre le résultat, pas la méthode.
Pourquoi c’est un problème de vie privée
Une demande d’effacement RGPD est un problème d’entity resolution déguisé. Avant de pouvoir supprimer, exporter ou exclure les données d’une personne, il faut retrouver chacun de ses enregistrements dans des systèmes sans identifiant commun. Ne supprimez que les correspondances exactes, et le reste demeure dans vos systèmes, et dans ce que vous entraînerez ensuite. Lire l’article complet.
À propos des données
Les produits sont 10 enregistrements Amazon et 13 enregistrements Google du benchmark Amazon-Google, copiés tels que publiés dans le dépôt matchbench. Le benchmark provient du Database Group de l’Université de Leipzig (Köpcke, Thor et Rahm, VLDB 2010), qui le partage sous licence Creative Commons. Les dossiers patients sont fictifs. Tout est calculé dans votre navigateur, y compris la vitesse utilisée pour estimer les temps.
Un problème d’appariement à résoudre ? Écrivez-moi.