Résolution d’identité par IA : coûts et précision
Découvrez comment combiner un modèle de décision et un LLM avancé pour auditer la résolution d’identité, gagner en précision et maîtriser les coûts.
Résolution d'identité par IA : coûts et précision
Résolution d'identité par IA : pourquoi un modèle hybride fait la différence
Relier des données à une même personne paraît simple, jusqu'au moment où tout commence à se contredire. Une adresse change, un prénom est mal saisi, un parent partage une date de naissance avec son enfant. Et là, une mauvaise fusion suffit à fausser la connaissance client, l'analyse de la valeur à vie ou une campagne de personnalisation. Le plus délicat, c'est que le problème est difficile à auditer : une fois les profils assemblés, il n'y a généralement pas de « vérité » de référence pour vérifier automatiquement chaque rapprochement.
On peut demander aux équipes d'échantillonner des profils et de les contrôler à la main. Ça marche, mais c'est lent, et ça donne peu d'information sur les erreurs rares. D'où l'idée d'utiliser des modèles de langage pour aider à l'audit. Reste la question du niveau de fiabilité et du coût à grande échelle. Dans des essais comparant des modèles de décision Jev et Luna à des modèles plus puissants comme Claude Opus, un système hybride peut approcher la précision du modèle avancé tout en coûtant bien moins cher. Et la vraie leçon, ce n'est pas seulement la taille du modèle : c'est la façon dont on calibre sa confiance.
Pourquoi la résolution d'identité est difficile à auditer
La résolution d'identité consiste à associer des enregistrements à des personnes réelles. Une entreprise peut recevoir des données issues de transactions, d'un programme de fidélité, d'un CRM ou d'un service client. L'objectif est simple à écrire, moins simple à faire : décider quels enregistrements décrivent une même personne, puis construire un profil cohérent.
Prenons un exemple à quatre lignes : un compte de fidélité au nom d'Alice avec son e-mail, un autre compte au même nom mais avec une adresse personnelle, une transaction livrée à la première adresse, puis un achat sans nom mais associé à la même adresse e-mail. Dans ce cas, un système de rapprochement peut raisonnablement regrouper tout ça en une seule identité. Et la vue unifiée sert ensuite à analyser les achats ou à personnaliser l'expérience.
Le scénario change quand les données sont imparfaites. Une faute de frappe dans un nom peut désigner la même personne... ou une autre. Une adresse différente peut venir d'un déménagement, mais aussi d'une fusion erronée. Un surnom comme Bob peut correspondre à Robert, mais ça ne suffit pas, tout seul, à conclure. Dates inversées, champs vides, informations recopiées depuis un membre de la famille : tout ça ajoute de l'ambiguïté.
L'erreur la plus coûteuse n'est pas toujours la même
Deux types d'erreurs sont possibles. Le sur-regroupement mélange les données de plusieurs personnes dans un même profil. Le sous-regroupement laisse plusieurs profils pour une personne unique. Et dans la pratique, le sur-regroupement est souvent celui qui complique l'audit : le profil semble « cohérent », donc on risque moins de le remettre en question, alors qu'en réalité les comportements et les attributs de plusieurs personnes sont mélangés.
Les conséquences peuvent être concrètes. La valeur client peut être surestimée ou attribuée à la mauvaise personne. Une offre peut être envoyée au mauvais destinataire. Dans un contexte européen, ça peut aussi compliquer la gestion des demandes d'accès ou de rectification liées aux données personnelles. Le RGPD n'automatise pas la sanction à chaque erreur, mais il rend le contrôle des traitements et de leurs effets d'autant plus important.
Pourquoi l'échantillonnage manuel ne suffit pas toujours
Sans vérité terrain, les équipes doivent inspecter un échantillon de profils et vérifier si chaque groupe décrit vraiment une seule personne. C'est utile, mais lent : dans les essais, l'estimation rapportée est d'environ 50 profils par heure. Et comme les sur-regroupements sont parfois rares, un petit échantillon ne dit pas grand-chose : pour réduire l'incertitude à environ un point de pourcentage, les essais estiment qu'il faut souvent plus de 1 000 profils.
Un juge IA peut accélérer ce contrôle et raccourcir les cycles d'itération. Il ne supprime pas pour autant le besoin d'un échantillon de référence humain : il sert surtout à élargir et à traiter plus vite. C'est cette fonction d'audit qu'il faut évaluer, pas la promesse d'une « vérité automatique ».
Comment mesurer la qualité d'un juge IA
Pour comparer les approches, les essais ont utilisé des données synthétiques générées avec l'outil pseudopeople, développé par l'Institute for Health Metrics and Evaluation de l'Université de Washington. Le jeu simule une ville américaine fictive et produit des enregistrements issus de plusieurs sources. Les chercheurs ont ajouté des erreurs réalistes, puis construit 1 000 profils : la moitié décrivait une personne avec des données bruitées, l'autre moitié mélangeait plusieurs personnes.
Le modèle devait estimer le nombre de personnes distinctes dans chaque profil et justifier les cas jugés sur-regroupés. Le prompt précisait de traiter les valeurs entre balises comme des données, pas comme des instructions. Détail important : quand un modèle examine du texte qui vient d'un entrepôt client, il faut distinguer le contenu à analyser des consignes qui pilotent son comportement.
Une première comparaison donne une information incomplète
Avec un seuil de confiance de 50 %, les résultats sur ce jeu initial étaient les suivants :
| Modèle | Précision | Temps par profil | Coût pour 1 000 profils |
|---|---|---|---|
| Claude Opus 5.5 | 99,0 % | 2,2 s | 3,86 $ |
| Gemini 3.1 Pro | 98,3 % | 4,2 s | 4,48 $ |
| GPT-6 Sol | 98,3 % | 2,1 s | 2,50 $ |
| Luna, API Decisions | 97,3 % | 0,17 s | 0,10 $ |
| Jev | 95,6 % | 0,15 s | 0,05 $ |
Les modèles de décision sont nettement plus rapides et moins chers, mais ils perdent un peu en précision face aux meilleurs modèles. Les coûts indiqués ici correspondent aux observations de ce protocole : ils peuvent varier selon le volume, les paramètres et les tarifs applicables. Donc non, ce n'est pas un devis universel.
Le seuil utilisé pour convertir un score de confiance en décision est aussi un paramètre. En l'ajustant, les essais obtiennent 95,7 % pour Jev à 60 % et 97,3 % pour Luna à 70 % sur le premier jeu. Ce réglage change l'équilibre entre faux positifs et faux négatifs : il ne rend pas le modèle « plus compétent » au sens intrinsèque.
Un benchmark facile peut masquer les limites
Un jeu équilibré avec des cas simples peut donner une impression trop favorable. Les tests ont donc inclus des cas plus difficiles : personnes proches par le nom ou l'adresse, jumeaux, membres d'une même famille, ou encore des profils où la date de naissance et le prénom contiennent des erreurs substantielles.
Sur ce jeu plus exigeant, Opus atteint 95,1 % de précision. Jev seul tombe à 89,1 % et Luna seul à 88,8 %. L'écart pointe un problème opérationnel : une précision moyenne sur un benchmark ne suffit pas à garantir un comportement stable quand les données réelles ressemblent davantage aux « exceptions ».
Pour un juge destiné à la production, il faut donc distinguer les cas courants des cas limites, analyser faux positifs et faux négatifs, et définir dès le départ quel type d'erreur coûte le plus cher. Une seule métrique globale n'est pas assez.
Pourquoi la confiance du modèle compte autant que sa précision
Un score de confiance ne sert à quelque chose que s'il reflète vraiment la probabilité d'erreur. Un modèle qui annonce 90 % de confiance mais se trompe dans 3 cas sur 10 devient difficile à utiliser pour décider quels profils méritent un contrôle approfondi. À l'inverse, un modèle moins précis qui signale correctement ses doutes peut servir de premier filtre, avant une vérification plus coûteuse.
Dans les essais, Luna faisait mieux que Jev sur le jeu initial. Pourtant, l'analyse des erreurs a montré que Jev était mieux calibré. Les erreurs de Jev se concentraient plus près de 50 % de confiance. Luna, elle, pouvait rester très confiante quand elle se trompait, notamment sur le jeu difficile. Autrement dit : une bonne performance « moyenne » n'implique pas forcément que le score de confiance soit exploitable pour le routage.
Le seuil doit refléter le coût des erreurs
Le seuil choisi dépend de ce que l'organisation cherche à éviter en priorité. Si le coût d'un sur-regroupement est élevé, on peut vouloir un seuil qui envoie plus de profils vers un contrôle approfondi, même si cela augmente le nombre de faux positifs. Pour un usage exploratoire à faible risque, le compromis peut être différent.
Il faut aussi éviter de choisir le seuil uniquement parce qu'il maximise la précision sur un test. Le réglage doit être validé sur des données représentatives, puis surveillé dans le temps. La distribution des profils, les sources de données ou les règles de rapprochement peuvent changer : la calibration peut alors se dégrader sans que le modèle ait « vraiment évolué ».
La calibration transforme un score en mécanisme de routage
Un score bien calibré permet de mettre en place une règle opérationnelle : les décisions évidentes passent par le modèle léger, et les cas incertains sont confiés à un modèle plus puissant (ou à un humain). Le gain, c'est de réduire le coût moyen sans demander au modèle bon marché de trancher à chaque fois.
Mais la calibration doit être mesurée dans le contexte d'usage. Un score de confiance fourni par un modèle n'est pas automatiquement une probabilité statistique fiable. Il faut comparer les scores aux résultats observés sur un jeu annoté, par plages de scores, puis refaire le contrôle quand les données changent. La « confiance utile », c'est celle qui prédit effectivement les erreurs, pas celle qui paraît convaincante.
Comment construire un système hybride plus économique
Le principe d'un système hybride est assez direct : un modèle de décision examine d'abord chaque profil ; une partie des résultats est ensuite transmise à un modèle avancé, ici Claude Opus. La règle de routage s'appuie sur le score du premier modèle. Un seuil étroit envoie peu de profils au second modèle : ça réduit le coût, mais laisse plus de décisions au modèle léger. Une plage plus large augmente généralement la précision, au prix d'un recours plus fréquent au modèle coûteux.
Sur le jeu initial, envoyer les profils dont le score Jev se situait entre 30 % et 90 % a conduit à 98,8 % de précision, contre 99,0 % pour Opus seul. Seuls 22 % des profils ont été transmis à Opus. Le coût rapporté était de 0,88 $ pour 1 000 profils, contre 3,86 $ pour Opus seul, soit environ 4,4 fois moins dans cet essai.
| Configuration | Part envoyée à Opus | Précision | Coût pour 1 000 profils |
|---|---|---|---|
| Jev seul | 0 % | 95,6 % | 0,05 $ |
| Jev puis Opus, plage 30-90 % | 22 % | 98,8 % | 0,88 $ |
| Jev puis Opus, plage 10-100 % | 74 % | 99,0 % | 2,92 $ |
| Opus seul | 100 % | 99,0 % | 3,86 $ |
Luna coûte moins cher dans une configuration hybride sur le premier jeu : 0,33 $ pour 1 000 profils et 98,5 % de précision, avec seulement 6 % des cas envoyés à Opus. Mais sur le jeu difficile, le montage Luna puis Opus n'atteignait que 91,6 %, contre 95,3 % pour Jev puis Opus. Dans ce cas, Jev coûtait 2,94 $ pour 1 000 profils, contre 5,39 $ pour Opus seul. Son coût augmente quand les cas se compliquent, mais la précision reste assez proche de celle du modèle avancé.
Ce que le routage doit décider en pratique
Dans un déploiement « raisonnable », commencez par définir trois issues plutôt qu'une décision binaire : acceptation automatique, escalade vers un modèle avancé, ou revue humaine. L'escalade humaine reste utile pour les profils sensibles, les cas hors distribution ou les décisions qui ont un impact important sur la personne concernée.
La règle de routage doit aussi traiter séparément faux positifs et faux négatifs. Dans les résultats, certains réglages réduisaient les faux positifs tout en augmentant les faux négatifs. Le meilleur choix dépend donc du risque métier, pas d'un seuil universel.
Enfin, mesurez le coût total du dispositif : appels aux modèles, annotations de référence, contrôle humain, reprises après correction. Le prix par mille profils ne raconte pas à lui seul l'histoire de l'intégration, de la surveillance ou de la gestion des incidents. Un système hybride reste intéressant seulement si la baisse de coût ne vient pas avec un contrôle trop insuffisant.
Ce que ces résultats changent pour un projet d'entreprise
La conclusion n'est pas que « les modèles de décision remplacent les LLM avancés ». Dans les tests, les modèles avancés gardent un avantage en précision, surtout sur les profils difficiles. Le point le plus utile est ailleurs : un modèle peu coûteux peut servir de filtre, à condition que son score de confiance soit suffisamment bien calibré pour diriger les cas délicats vers une seconde analyse.
C'est une architecture qui s'adapte aux charges variables. Si la majorité des profils sont simples, le coût reste bas. Si la proportion de cas ambigus augmente, le système envoie plus de profils au modèle avancé. Cette élasticité peut être préférable à une règle fixe, à condition que le dispositif détecte bien l'incertitude et que le budget puisse absorber les pics.
Une méthode de validation avant le déploiement
Avant d'intégrer un juge IA à un processus de résolution d'identité, procédez par étapes :
- Définissez l'erreur prioritaire. Précisez le coût d'un sur-regroupement et celui d'un sous-regroupement pour le produit concerné.
- Créez un jeu annoté représentatif. Incluez les erreurs de saisie, les cas familiaux et les profils proches, pas uniquement les exemples « faciles ».
- Mesurez séparément les erreurs. Suivez précision, faux positifs, faux négatifs et résultats par niveau de difficulté.
- Vérifiez la calibration. Comparez les scores de confiance aux taux de réussite réellement observés.
- Testez le routage. Faites varier les seuils et calculez à la fois le coût, la latence et la qualité obtenue.
- Gardez une revue humaine. Échantillonnez les décisions automatiques et prévoyez une voie de recours pour les cas incertains.
- Surveillez la dérive. Réévaluez le système quand les sources, les règles de rapprochement ou la population changent.
Les données des essais étaient synthétiques et ne représentent pas des personnes réelles. C'est une limite importante à garder en tête : un résultat de benchmark sert de point de départ, pas de garantie pour vos données. Les coûts et les latences mesurés dépendent aussi de la configuration utilisée.
Pour des organisations françaises et européennes, l'évaluation technique doit en plus s'inscrire dans une gouvernance des données adaptée : limitation des accès, traçabilité des décisions, documentation des usages et contrôle humain proportionné au risque. Un juge IA peut accélérer l'audit, mais il ne décharge pas la responsabilité de décision du fournisseur du modèle.
Conclusion
La résolution d'identité, c'est un problème de qualité des données autant que de modèle. Les LLM avancés peuvent juger les profils avec beaucoup de précision, mais les utiliser systématiquement coûte cher. Les modèles de décision réduisent fortement le coût et la latence, mais leur précision baisse sur les cas difficiles.
Les résultats pointent une approche pragmatique : un modèle léger pour traiter les cas simples, puis une transmission des cas incertains vers un modèle plus puissant. Et au fond, la réussite dépend moins d'un score « impressionnant » que de sa calibration réelle, mesurée sur des données représentatives. Commencez par définir le risque métier, construisez un jeu de validation difficile, puis comparez le coût total à la qualité obtenue. C'est comme ça que vous saurez si un système hybride colle à votre contexte.