🤖 Problème XY : 2026, XYBench pour évaluer l’intention13 min de lecture2 578 mots

🤖 Problème XY : 2026, XYBench pour évaluer l’intention

Découvrez XYBench : le problème XY en 2026 pour mieux évaluer l’intention utilisateur et l’évaluation des IA. Résultats et leçons pour vos assistants.

problème XYXYBenchévaluation des IAintention utilisateurassistants conversationnels
🤖 Problème XY : 2026, XYBench pour évaluer l’intention

Problème XY : pourquoi les IA répondent parfois à côté

Imaginez un utilisateur qui veut épaissir un glaçage qui glisse sur ses cupcakes. Un assistant peut proposer une recette « plus ferme », suggérer d'ajouter du sucre glace, ou recommander un autre outil. Mais si les gâteaux sont encore chauds, la bonne première étape n'est pas dans la recette : c'est de laisser refroidir. Le souci n'est donc pas le glaçage. C'est l'hypothèse de départ.

Ce décalage entre ce qu'on demande (Y) et ce qu'on cherche vraiment (X) porte un nom : le problème XY. Il apparaît autant en cuisine qu'en dépannage informatique, en bricolage ou sur des logiciels utilisés au travail. Pour un assistant d'IA, le reconnaître ne veut pas dire « contredire ». Ça veut dire comprendre le contexte, ne pas suivre la demande au pied de la lettre, et expliquer pourquoi une autre piste a de meilleures chances de résoudre le vrai problème.

XYBench, un benchmark développé par Ai2 avec des chercheurs de Carnegie Mellon, de NVIDIA et de Johns Hopkins, teste ce comportement sur plus de 8 000 questions. Les résultats sont assez clairs : les modèles repèrent souvent la bonne piste quand on la leur met sous le nez, mais ils la mettent moins fréquemment au centre quand ils doivent rédiger une réponse par eux-mêmes. Voyons ce que mesure XYBench, ce que montrent ses expériences, et pourquoi ça compte pour l'évaluation des produits d'IA.

Qu'est-ce que le problème XY et pourquoi les IA le ratent

Le problème XY apparaît quand quelqu'un a un objectif précis, X, mais demande de l'aide pour une méthode supposée, Y. Il n'explique donc pas directement le besoin. Il avance la solution qu'il pense déjà être la bonne, souvent parce qu'il ne connaît pas les autres options, ou parce que le diagnostic initial est incomplet.

Prenez l'exemple d'un aspirateur qui n'aspire presque plus. L'utilisateur veut acheter un modèle plus puissant (Y), alors que le tuyau pourrait être bouché (X). Si on répond « au » besoin exprimé, on peut proposer une comparaison de produits qui semble pertinente... sans résoudre la panne. Une réponse utile commence plutôt par distinguer symptôme, objectif et hypothèse de départ.

Ce tri est difficile pour un modèle de langage, parce que, dans beaucoup d'interactions, on le « récompense » pour sa vitesse : il reçoit une demande et génère une réponse directement exploitable. Mais si la demande repose sur une mauvaise prémisse, cette même réactivité peut consolider l'erreur. Le modèle donne alors des instructions détaillées pour exécuter Y, sans vérifier vraiment si Y sert l'objectif X.

Comprendre sans contredire systématiquement

Reconnaître un problème XY ne veut pas dire contester chaque demande. Une personne peut avoir de bonnes raisons de préférer une méthode. L'assistant doit alors inférer l'objectif avec prudence, s'appuyer sur les indices disponibles, et signaler son incertitude quand plusieurs explications restent possibles.

Une bonne réponse n'est pas forcément « refuser ». Elle peut dire : « Votre méthode risque de ne pas résoudre le problème. » Puis proposer une solution qui vise d'abord le besoin sous-jacent, tout en indiquant quand la demande initiale peut quand même rester valable. Dans le cas de l'aspirateur, ça peut vouloir dire : vérifier tuyau et filtre avant d'envisager d'acheter plus puissant.

Pourquoi ce sujet dépasse les cas anecdotiques

Dans un contexte pro, une mauvaise interprétation coûte vite plus cher qu'un glaçage raté. Un salarié qui demande comment contourner un message d'erreur cherche peut-être juste à retrouver un accès bloqué. Un commerçant qui veut automatiser une relance a peut-être besoin de corriger des données clients ou de clarifier une règle de facturation. Dans les deux cas, suivre la demande au mot peut ajouter du travail... ou empirer la situation.

Au final, la qualité d'un assistant ne se limite pas à « donner une réponse correcte à une question bien posée ». Elle dépend aussi de sa capacité à aider quand l'utilisateur n'a pas encore formulé la bonne question. C'est justement ce que XYBench cherche à isoler.

Comment XYBench mesure-t-il la qualité d'une réponse

XYBench rassemble 8 115 questions issues de quatre sources : 1 557 questions de Stack Overflow, 184 de Stack Exchange, 102 exemples sélectionnés manuellement et 6 272 questions créées à partir de guides WikiHow. Le corpus couvre la programmation et des activités du quotidien, dont la cuisine et les réparations domestiques.

Chaque exemple sépare deux éléments. Le premier, c'est la demande formulée, Y : ce que la personne demande explicitement. Le second, c'est la demande visée, X : l'objectif sous-jacent déductible du contexte. Cette distinction rend mesurable un comportement qui passe souvent inaperçu dans une conversation « normale ».

Pour les questions tirées des forums, les chercheurs ont utilisé des réponses humaines les mieux notées et, quand elles existaient, la réponse acceptée. Elles servent à établir le vrai besoin et les solutions possibles. Les cas où une réponse littérale suffisait ont été exclus. Pour les exemples dérivés de WikiHow, Sonnet 4.5 a servi à générer des questions autour de malentendus plausibles, puis ces questions ont été retravaillées pour fournir assez de contexte afin d'inférer l'objectif sans l'énoncer explicitement.

Trois dimensions plutĂ´t qu'une note globale

XYBench juge les réponses selon trois dimensions :

  • La solution pragmatique : la rĂ©ponse propose-t-elle une solution qui traite Y, X, ou les deux ?
  • L'accent pragmatique : la rĂ©ponse met-elle surtout l'Ă©nergie sur Y, sur X, ou rĂ©partit-elle l'attention ?
  • L'identification de l'idĂ©e fausse : le modèle pousse-t-il l'utilisateur vers X tout en Ă©vitant ou en dĂ©conseillant la piste erronĂ©e Y ?

Cette décomposition change tout. Une réponse peut mentionner la bonne piste sans réellement la mettre en avant. Dans l'exemple de l'aspirateur, dire « vérifiez le tuyau » en une phrase ne suffit pas si le reste de la réponse recommande surtout des appareils plus puissants. XYBench regarde donc si la solution existe, mais aussi si elle devient le fil conducteur.

Un jugement automatisé, vérifié par des humains

Sonnet 4.5 est utilisé comme évaluateur automatisé. Il classe les suggestions présentes dans les réponses et estime leur accent. Pour tester la fiabilité, deux personnes ont évalué indépendamment 500 réponses de modèles.

L'accord moyen avec le juge automatisé allait de 97,5 à 100 % pour déterminer si une solution apparaissait. Il était de 84,6 à 93,3 % pour l'identification de l'idée fausse, et de 74,2 à 79,8 % pour l'accent pragmatique. Ces écarts rappellent que certaines dimensions sont plus difficiles à annoter : compter une solution est plus simple que décider quelle idée domine dans une réponse nuancée.

Que révèlent les résultats sur les modèles actuels

Les chercheurs ont évalué Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B et DeepSeek-V4 Pro en configuration à un seul échange, avec une réponse par question. Les réponses humaines de référence ont aussi été évaluées séparément avec les mêmes critères.

Le constat principal revient tout le temps : les cinq modèles proposent plus souvent une solution à Y qu'au besoin réel X. Sur Stack Overflow, une solution à Y apparaît dans 75 à 86 % des réponses, contre 59 à 71 % pour une solution à X. En clair : ils peuvent aider au sens « ils répondent à la question », sans nécessairement résoudre le problème que l'utilisateur essayait de régler.

Et la façon de distribuer l'attention renforce ce constat. Sur Stack Overflow, les modèles se concentrent principalement sur X dans seulement 35 à 41 % des réponses. Ils privilégient Y dans 47 à 57 % des cas. Le reste répartit l'attention entre les deux. Donc, même quand une piste pertinente est présente, elle ne devient pas automatiquement le point d'ancrage de la réponse.

Donner explicitement l'objectif ne règle pas tout

Dans une expérience, les chercheurs ont fourni aux modèles la question, puis l'objectif X déduit. Ça aide sur certains critères. Pour Sonnet 4.6, la part des réponses qui proposent une solution à X passe de 59 à 67 % sur Stack Overflow.

Mais l'identification de l'idée fausse recule, de 47 à 34 %. C'est un résultat parlant : connaître l'objectif ne garantit pas que le modèle expliquera pourquoi la méthode demandée risque d'échouer, ni qu'il incitera réellement l'utilisateur à la bonne piste. En pratique, inférer l'intention et décider d'en faire le centre sont deux compétences distinctes.

Choisir une bonne réponse est plus facile que la rédiger

Les chercheurs ont aussi proposé aux modèles deux réponses possibles pour une même question : une suit Y, l'autre explique le malentendu et traite X. Dans cette tâche à choix multiple, six modèles (dont GPT-4.1) choisissent la réponse centrée sur X dans 71 à 84 % des cas sur Stack Overflow.

Dans l'évaluation en réponse libre, en revanche, l'objectif est mis en premier plan dans seulement 35 à 41 % des réponses pour les cinq modèles de l'expérience principale. Le contraste suggère un écart : reconnaître un conseil utile parmi des options est plus facile que le produire spontanément. Un QCM peut donc donner une image trop positive de l'aide, comparée à ce qui se passe « en conditions réelles ».

Les réponses humaines de référence faisaient mieux que les modèles sur l'identification de l'idée fausse, quand cette information était disponible. Les résultats ne veulent pas dire « les modèles sont inutiles » ni « une réponse humaine est toujours meilleure ». Ils montrent surtout qu'une évaluation limitée à l'exactitude immédiate ou à la conformité à la demande manque une partie essentielle du problème : aider à recadrer.

À retenir : une réponse peut contenir la bonne solution sans la mettre en avant. Il faut évaluer séparément ce que le modèle propose, ce qu'il met au premier plan, et s'il signale qu'il pourrait y avoir une hypothèse erronée.

Quelles conséquences pour les produits IA et leur évaluation

Pour les équipes qui intègrent un assistant dans un produit, le problème XY pousse à clarifier ce qu'on appelle « une bonne réponse ». Respecter la requête ne suffit pas toujours. Dans un service client, un outil métier ou un assistant de développement, il faut aussi regarder si le système aide vraiment à atteindre le résultat attendu, et s'il évite de recommander une action inutile (ou risquée).

Une réponse peut être fluide, complète et techniquement correcte... tout en échouant sur le terrain opérationnel. Par exemple, détailler une procédure de réinitialisation ne sert à rien si le blocage vient d'une règle de sécurité sur le compte. À l'inverse, ignorer la demande initiale pour en imposer une autre peut frustrer l'utilisateur ou le conduire à une mauvaise décision. Le produit doit donc trouver un équilibre entre initiative et vérification.

Concevoir une réponse qui gère les deux niveaux

Une façon pratique de répondre en limitant les dégâts consiste à structurer la réponse en quatre étapes :

  1. Reformuler le résultat visé, quand le contexte le permet, sans prétendre « lire dans la tête ».
  2. Indiquer l'hypothèse à vérifier, avec une explication concrète de ce qui pourrait rendre la méthode demandée inefficace.
  3. Proposer la piste la plus directe vers l'objectif, avec des étapes de diagnostic ou de résolution.
  4. Traiter Y sous condition, si la vérification montre que c'est pertinent.

Cette approche n'exige pas de transformer chaque échange en interrogatoire. Dans beaucoup de cas courants (les chercheurs évoquent 80 %), une réponse conditionnelle et une vérification ciblée suffisent. Et si le coût d'une mauvaise interprétation est élevé - sécurité informatique, santé, finance, opérations - mieux vaut demander une précision avant de recommander une action.

Mesurer le comportement, pas seulement le texte

XYBench apporte aussi une leçon aux responsables produit : ne pas se limiter à une note globale de satisfaction ou à la présence d'une réponse « correcte » au sens littéral. Un protocole interne peut suivre séparément : la résolution de la demande explicite, la prise en compte du besoin réel, la priorité donnée à chaque piste, et la qualité de l'explication du malentendu.

Ensuite, ces mesures peuvent orienter les changements : consignes, entraînement, ou interface. Si un modèle identifie bien l'objectif mais continue à centrer la réponse sur la demande initiale, le problème ne se corrige probablement pas juste en ajoutant du contexte. Il faut vérifier si le modèle sait hiérarchiser les solutions et justifier ses choix.

Des limites Ă  garder en tĂŞte

XYBench est un benchmark anglophone, surtout orienté vers des problèmes procéduraux. Il ne couvre pas toutes les cultures, toutes les langues, ni les conversations longues où l'intention se clarifie au fil des échanges. Les exemples dérivés de guides et le jugement automatisé ont aussi leurs limites, même si les chercheurs les ont confrontés à des annotations humaines.

Pour un produit français ou européen, les résultats ne se transposent donc pas « tel quel ». Les normes, les habitudes et le vocabulaire métier influencent l'interprétation d'une demande. Une entreprise gagnerait à compléter cette évaluation par des scénarios issus de ses propres usages, notamment quand une mauvaise compréhension a un coût mesurable. XYBench a reçu le prix du meilleur article de ressources à EMNLP 2026, mais son intérêt pratique dépendra surtout de la manière dont les équipes l'exploitent pour tester des comportements réels.

Conclusion

XYBench met en évidence une faiblesse assez discrète, mais importante : une réponse « correcte » au sens littéral ne garantit pas qu'elle aide à résoudre le vrai problème. Les modèles évalués reconnaissent parfois la bonne piste, mais la privilégient moins souvent lorsqu'ils doivent construire la réponse eux-mêmes.

Donc, pour concevoir ou évaluer un produit d'IA, il faut tester plus que la pertinence immédiate. Vérifiez si l'assistant identifie l'objectif, place la solution utile au premier plan et signale ses réserves sans prendre la décision à la place de l'utilisateur. C'est à ce prix qu'il devient un outil de résolution, plutôt qu'un simple générateur de réponses.

Questions frequentes

Le problème XY désigne une situation où l’utilisateur demande de l’aide pour une méthode supposée, Y, alors que son besoin réel est un objectif différent, X. Un assistant utile doit repérer ce décalage et aider à résoudre le besoin, sans supposer systématiquement que la demande initiale est erronée.
XYBench évalue si une réponse apporte une solution à la demande formulée et à l’objectif sous-jacent, sur laquelle elle met l’accent, et si elle identifie une hypothèse trompeuse. Il rassemble 8 115 questions issues de forums, d’exemples sélectionnés et de guides procéduraux.
Ils peuvent parfois proposer une solution adaptée à l’objectif réel, mais XYBench montre qu’ils privilégient encore souvent la demande littérale. Leur difficulté ne porte pas uniquement sur l’inférence de l’intention : ils doivent aussi décider d’en faire le centre de leur réponse et expliquer pourquoi.
Choisir la meilleure réponse parmi deux options est plus simple que la rédiger sans aide. Dans XYBench, les modèles sélectionnaient souvent la réponse centrée sur l’objectif, mais la mettaient moins fréquemment au premier plan dans leurs réponses libres. Les deux capacités doivent donc être évaluées séparément.
Non. Le benchmark décrit dans l’étude porte sur des questions en anglais et des problèmes principalement procéduraux. Pour évaluer un assistant en français, il faut compléter ces résultats par des exemples adaptés aux langues, aux usages professionnels et aux contextes culturels visés.

Articles similaires