IA et asile : les risques du système du Home Office
Le Royaume-Uni pourrait enquêter sur l’IA utilisée pour traiter des demandes d’asile. Fonctionnement, risques d’erreur et leçons pour les services publics.
IA et demandes d'asile : le test grandeur nature du Home Office
Au Royaume-Uni, des outils d'intelligence artificielle générative aident les agents du Home Office à examiner des demandes d'asile. Ils résument des entretiens et cherchent des informations sur les pays d'origine. Le ministère insiste sur un point : les décisions restent prises par des agents formés. Pourtant, des chercheurs et des élus pointent des erreurs possibles, un contrôle qualité jugé trop faible et le fait que les personnes concernées ne savent pas forcément ce qui se passe.
L'enjeu ne se limite donc pas à la fiabilité d'un modèle. Il pose une question très concrète : qu'est-ce qu'on doit vérifier quand un outil d'IA intervient dans une procédure où une erreur peut ruiner des trajectoires humaines ? D'après une enquête de WIRED, un organisme britannique de contrôle envisage d'examiner les outils utilisés par le Home Office, sans avoir confirmé qu'une enquête était officiellement ouverte. Voici ce qu'on sait de leur fonctionnement, les risques soulevés, et les critères à appliquer avant tout déploiement public à fort enjeu.
Pourquoi le Home Office utilise-t-il des outils d'IA pour l'asile ?
Le ministère britannique de l'Intérieur utilise deux outils : Asylum Case Summarisation (ACS) et Asylum Policy Search (APS). D'après des documents obtenus par l'association Open Rights Group (ORG), ils s'appuieraient sur GPT-4 d'OpenAI (une version de 2023) et sur Microsoft Foundry. L'expérimentation a commencé fin 2024, dans un contexte de forte pression sur le traitement des dossiers.
Deux tâches d'assistance, pas une décision automatique
L'ACS résume les transcriptions des entretiens avec les demandeurs d'asile. Ces entretiens contiennent le récit de persécution, les raisons de la crainte de retour, et des éléments personnels susceptibles de peser lourd dans l'évaluation du dossier. L'APS, lui, sert à rechercher puis résumer des informations sur le pays d'origine, notamment pour éclairer l'analyse du risque de préjudice.
Le Home Office affirme que les décisions restent prises par des agents formés. Le ministère dit aussi que les outils ne doivent pas être utilisés seuls. Cette distinction est importante, mais elle ne dit pas tout. Un résumé peut orienter l'attention de l'agent ; une recherche peut influer sur ce qu'il consulte en premier, et sur ce qu'il retient.
Le gain de temps répond à une vraie contrainte
Le ministère doit traiter un stock important de dossiers tout en recevant de nouvelles demandes. L'arriéré britannique a avoisiné les 100 000 demandes. Selon les estimations gouvernementales citées par l'enquête, l'usage combiné des deux outils pourrait faire gagner environ une heure par dossier. Sur une période de douze mois se terminant en juin, le nombre de personnes en attente d'une première décision a diminué de moitié, mais les recours ont ensuite fortement augmenté.
Autrement dit : sur le papier, le gain de productivité est logique. Dans un service sous tension, réduire le temps de recherche documentaire ou de lecture de transcriptions longues peut libérer de l'attention pour l'analyse. Mais ce bénéfice ne vaut que si le temps gagné n'est pas rattrapé par la vérification des erreurs, la gestion des contestations ou des décisions fragilisées.
En pratique, il faut distinguer trois choses : une tâche faite plus vite, un dossier traité plus vite, et une décision de meilleure qualité. Le premier n'entraîne pas forcément le second, et encore moins le troisième. Pour juger, il faut regarder les corrections apportées aux sorties de l'IA, le temps total de traitement, les motifs de recours, et les erreurs repérées après décision.
Quels risques posent les résumés et recherches générés par l'IA ?
Le problème central n'est pas qu'un modèle "décide" à lui seul. Le risque, c'est qu'une sortie erronée, incomplète ou trop "sûre d'elle" finisse par s'imposer dans le travail humain sans contrôle adapté à l'importance du dossier. Même si un agent reste responsable, un résumé peut changer la manière dont un témoignage est compris.
Résumer un récit sensible peut en changer le sens
ORG indique que la proportion de résumés de l'ACS jugés impropres à l'usage dépasse largement le taux d'erreur de 9 % annoncé dans l'évaluation de l'expérimentation. Les problèmes relevés incluent des erreurs factuelles et des déformations du contenu. Pour l'APS, ORG affirme qu'il n'y a pas de contrôle qualité prévu sur les résumés produits.
Un résumé n'est pas une simple version plus courte. Il choisit certains éléments, crée des liens entre eux, et en écarte d'autres. Dans un entretien d'asile, une hésitation, une date approximative ou une nuance culturelle peut être décisive. Si elle disparaît, l'agent ne la retrouvera pas forcément assez vite dans la transcription originale. Et le contrôle humain n'est vraiment là que si l'agent a accès aux sources, le temps de vérifier et les compétences pour repérer ce qui compte.
Les biais peuvent se glisser à plusieurs étapes
Des élus, ORG et le Public Law Project s'inquiètent aussi de biais culturels dans les modèles linguistiques. Traduire un récit, gérer des conventions narratives différentes et traiter des références propres à un contexte culturel peut produire une reformulation trompeuse. Le risque n'est pas seulement un biais "visible" dans une décision : il peut déjà apparaître dans la façon de résumer un témoignage, dans la sélection des informations, ou dans la présentation d'un pays.
Un avis juridique britannique cité par WIRED reproche au Home Office d'avoir utilisé, pour rejeter la demande d'une femme marocaine et de son enfant, un document contenant une information qualifiée d'hallucination de l'IA. Cet exemple ne suffit pas à conclure que tous les dossiers sont touchés. Mais il illustre une chose : une information générée (ou mal vérifiée) peut traverser plusieurs étapes et entrer jusque dans une décision officielle.
Le risque se juge au préjudice, pas seulement au taux d'erreur
Une erreur dans une synthèse administrative n'a pas toujours le même coût. Une faute dans un document interne peut être corrigée plus facilement ; une information fausse utilisée pour conclure qu'un retour est sûr peut exposer une personne à un danger réel. Juger un outil uniquement sur une moyenne de précision fait disparaître cette différence.
Pour une procédure à fort enjeu, l'évaluation doit regarder, notamment :
- les types d'erreurs, pas seulement leur fréquence ;
- les erreurs qui changent l'analyse d'un élément décisif ;
- les écarts selon la langue, l'origine ou le profil des personnes ;
- la capacité des agents à repérer une sortie incorrecte ;
- les conséquences observées après décision, y compris pendant les recours.
Pourquoi le manque de transparence est-il un problème ?
La transparence n'est pas un sujet de "communication". Elle sert à ce que les personnes concernées, leurs conseils, les chercheurs et les organismes de contrôle sachent qu'un outil intervient, et puissent demander comment il influence le traitement d'un dossier.
Les personnes concernées doivent pouvoir comprendre et contester
Selon l'enquête de WIRED, les demandeurs d'asile ne sont pas informés lorsque ces outils sont utilisés dans leur dossier. ORG rapporte aussi que des associations de migrants et des professionnels du droit ignorent leur utilisation. Dans ces conditions, une personne peut difficilement signaler qu'un résumé déforme son récit ou demander qu'un passage soit revu à partir de la transcription.
Une opinion juridique indépendante commandée par ORG estime que l'impossibilité de contester un résumé incorrect de données personnelles pourrait poser problème au regard des règles applicables aux données au Royaume-Uni. Le ministère indique que son avis de confidentialité mentionne que certaines parties du processus décisionnel peuvent impliquer de l'automatisation. Mais ça ne règle pas tout : quel outil a été utilisé ? quel contenu a été généré ? et comment l'agent l'a-t-il vérifié ?
Pour être efficace, une procédure de contestation doit permettre de retrouver la sortie concernée, de la comparer aux documents sources et d'obtenir une réponse de quelqu'un de responsable. Sans traçabilité, le droit de contester peut exister en théorie, mais devenir très difficile à exercer.
Le registre public ne donne pas toute la visibilité attendue
Le guide britannique sur l'IA, l'AI Playbook, prévoit que les administrations soient transparentes sur les outils algorithmiques employés dans des processus décisionnels et rendent publiques certaines informations, notamment via un répertoire. D'après ORG, les outils ACS et APS n'y figurent pas.
Le Public Law Project a aussi recensé 11 systèmes d'IA à haut risque utilisés par des administrations britanniques et absents de ce registre. Le message est simple : si l'on ne sait pas qu'un système existe, on ne sait pas non plus à quoi s'informer, ni à quel moment les contrôleurs peuvent examiner le dispositif.
L'ICIBI, l'organisme indépendant chargé d'inspecter la gestion des frontières, de l'immigration et des douanes, a demandé à ORG des informations sur ces outils alors qu'il préparait ses priorités d'inspection pour l'année suivante. Il n'a pas confirmé qu'une enquête était officiellement ouverte. De son côté, la Commission britannique de l'information examine le refus du Home Office de communiquer à ORG des détails sur l'usage des outils et la formation des agents.
La question intéresse aussi les administrations françaises et européennes, même si les règles et procédures diffèrent. Le RGPD et les cadres européens sur l'IA n'exonèrent pas de documenter les usages, d'informer les personnes quand c'est requis et de prévoir des voies de recours adaptées. Une administration qui ne sait pas expliquer comment un outil intervient aura du mal à montrer que le contrôle humain est réellement effectif.
Comment encadrer une IA utilisée dans une décision à fort enjeu ?
On ne peut pas commencer par "est-ce que le modèle est assez performant ?". Il faut plutôt décortiquer le processus : quelles données entrent dans l'outil, quelle sortie il produit, qui la vérifie, comment elle influence la décision, et que se passe-t-il quand elle est fausse. C'est une façon de contrôler ce qui se passe sur le terrain, plutôt que de s'appuyer sur une fiche technique.
Évaluer chaque outil sur la tâche qu'il accomplit
Un modèle peut résumer correctement des documents écrits "classiques" et échouer sur des récits oraux, des interprétations ou des langues moins représentées. L'évaluation doit donc porter sur des dossiers comparables à ceux du service, avec des critères définis avant le déploiement.
Pour un outil de résumé : il faut vérifier la fidélité aux sources, les omissions importantes, l'attribution correcte des propos, et la manière dont l'outil traite les incertitudes. Pour un outil de recherche : il faut tester la qualité des documents retrouvés, la fraîcheur des informations, leur traçabilité, et la séparation entre une source "réelle" et un contenu résumé ou reformulé par l'IA. Les tests doivent inclure des cas difficiles, pas uniquement des exemples faciles.
Les résultats doivent aussi être ventilés pour repérer des écarts entre groupes et situations, dans le respect des règles de protection des données. Un taux moyen acceptable peut masquer un taux d'erreur inquiétant sur certaines langues ou catégories de dossiers.
Concevoir un contrôle humain vérifiable
Dire qu'un humain est "dans la boucle" ne suffit pas. Il faut préciser ce que la personne est censée vérifier, sur quelle base, avec quel temps, et avec quel pouvoir de décision. Si l'agent n'a pas accès aux sources, ou s'il doit traiter trop de dossiers pour reprendre ce qui a conduit à un résumé, la "validation" risque de ressembler à une approbation automatique.
Un dispositif minimal devrait prévoir :
- l'accès à la sortie générée et aux documents d'origine ;
- une vérification obligatoire des éléments susceptibles de changer l'issue du dossier ;
- la possibilité de rejeter ou corriger la sortie sans pénalité opérationnelle ;
- une trace des corrections, des validations et des justifications ;
- une procédure d'escalade pour les cas ambigus ou les erreurs répétées.
Il faut aussi former les agents aux limites propres à l'outil utilisé. Une formation générale sur l'IA ne remplace pas un apprentissage concret : comment repérer une omission dans un témoignage, ou une référence documentaire inventée.
Publier les résultats et fixer des seuils d'arrêt
Une évaluation ne sert à rien si elle ne conduit pas à des décisions. L'administration devrait publier la fonction de l'outil, les étapes où il intervient, les contrôles réalisés, et les limites connues, en tenant compte des informations légitimement sensibles. Elle devrait aussi suivre les erreurs en production, car les usages réels et les mises à jour peuvent changer les performances.
Les seuils d'arrêt doivent être définis avant qu'un problème n'éclate. Par exemple : une hausse des erreurs matérielles, un écart marqué entre groupes, ou une incapacité persistante à retracer une sortie devrait déclencher une suspension de l'usage concerné, puis une réévaluation. Sans seuil, le gain de temps devient souvent la seule mesure suivie, et la remise en cause arrive trop tard.
Enfin, le calcul économique doit intégrer le coût complet : licences et intégration, vérification humaine, formation, traitement des plaintes, recours et corrections. Une "économie" d'une heure par dossier semble séduisante. Mais ce n'est un gain net que si la qualité ne baisse pas et si le système ne déplace pas les coûts vers les personnes concernées ou vers des étapes ultérieures.
Conclusion
L'usage de l'IA par le Home Office répond à une contrainte réelle : traiter plus de dossiers sans allonger les délais. Mais, dans une procédure d'asile, gagner du temps ne suffit pas. Il faut pouvoir montrer que les résumés sont fiables, que les recherches sont vérifiables, et que les personnes concernées peuvent contester une erreur susceptible d'influencer leur dossier.
Cette leçon vaut pour toute administration qui envisage un modèle génératif dans une décision à fort enjeu : documenter l'usage, mesurer les erreurs qui comptent, rendre le contrôle humain concret, et définir des conditions d'arrêt. Si votre organisation déploie une IA dans un processus sensible, commencez par cartographier chaque étape où la sortie peut changer une décision. C'est là que se joue la responsabilité réelle du système.