IA et fiscalité : ce que révèle le benchmark DAYJOB
Le benchmark DAYJOB: Tax met les agents IA face à des dossiers fiscaux réalistes. Résultats, limites et leçons pour les entreprises qui envisagent l’IA.
Agents IA et fiscalité : réussir le calcul ne suffit pas
Un agent d'intelligence artificielle compare deux dates de vente pour un appartement et conclut correctement que chacune permet de bénéficier d'un avantage fiscal. Sauf qu'il rate une échéance qui, si la vente est retardée, peut faire perdre cet avantage. La réponse n'est pas fausse. Elle est incomplète, et c'est justement là que ça devient dangereux.
C'est ce genre de défaillance que DAYJOB: Tax veut mettre en lumière. Ce benchmark, présenté par Surge AI, sert à évaluer des agents sur des missions fiscales inspirées de situations de travail. Et l'enjeu ne tient pas seulement à l'application d'une règle ou à la production d'une déclaration : il faut aussi repérer les questions que le client n'a pas posées, confronter des documents qui ne racontent pas la même histoire, et signaler ce qui reste incertain.
Les résultats publiés restent modestes : le meilleur taux de réussite atteint 10,8 % selon un seuil exigeant. Le point important est simple : il faut distinguer une réponse impressionnante d'un travail réellement exploitable. Voici ce que le benchmark teste, ce que ses chiffres permettent (et ne permettent pas) d'en déduire, et les précautions à prendre avant de confier une mission à un agent IA lorsque l'argent et la conformité sont en jeu. Les exemples décrits sont surtout américains : ils aident à réfléchir à la méthode, mais ne se transposent pas tels quels pour la France.
Pourquoi le travail fiscal met-il les agents IA à l'épreuve ?
Une mission fiscale ne se résume pas à « connaître la règle ». Il faut aussi :
- identifier exactement quelles règles s'appliquent ;
- vérifier si les pièces disponibles les étayent ;
- comprendre ce que la demande du client laisse de côté.
Dans la vraie vie, un dossier n'arrive presque jamais avec une question parfaitement formulée et des données prêtes à l'emploi.
C'est là que ça diffère d'autres évaluations plus « propres », qui posent un cadre clair : calculer un montant à partir d'informations fournies, répondre à une question juridique précise, ou demander une pièce manquante dans un scénario maîtrisé. Ces tâches mesurent des compétences utiles, mais elles ne testent pas toujours la capacité à cerner le vrai problème dès le départ.
Le risque des réponses justes, mais incomplètes
Dans l'exemple de l'appartement, Anna envisage de vendre son logement en octobre 2026 ou en janvier 2027. L'agent répond juste sur un point : les deux dates peuvent satisfaire aux conditions de résidence décrites pour une exclusion de gain pouvant atteindre 250 000 dollars dans les règles américaines. Mais Anna a quitté le logement en août 2024. Et là, un délai supplémentaire peut remettre en cause son admissibilité si la vente est repoussée au-delà d'août 2027.
Ce repère temporel change la décision. D'après le benchmark, Astra ne l'a pas relevé dans aucun des cinq essais, tandis qu'Opus l'a signalé dans les cinq. La comparaison ne prouve pas que tel modèle sera systématiquement fiable ou systématiquement fautif : elle montre plutôt que, même dans un cas précis, « traiter la question posée » ne suffit pas à repérer un enjeu adjacent déterminant.
Des documents qui ne disent pas tous la même histoire
Un autre cas concerne un couple qui veut répartir des avoirs de retraite. L'agent recommande de conserver des comptes séparés en partant de l'hypothèse que le couple n'est pas marié. Problème : l'historique fourni indique une vie commune au Texas, puis une cérémonie au Colorado, avant une installation en Floride. Autrement dit, il fallait vérifier le statut matrimonial avant de conseiller une opération. Et en fiscalité, les conséquences peuvent dépendre de cette réponse.
Le souci est donc plus « structurel » que ponctuel. L'agent doit remarquer un indice, en évaluer la portée, demander une vérification ou poser une réserve, puis intégrer cette incertitude dans la recommandation. Une réponse fluide peut donner l'illusion d'un raisonnement complet alors que toute la chaîne de vérification manque. Et si on parle de fiscalité française, attention : les règles et les procédures ne sont pas les mêmes. Le parallèle porte sur la méthode, pas sur la transposition des conclusions américaines.
Que teste concrètement DAYJOB: Tax ?
DAYJOB: Tax regroupe environ 50 environnements de travail répartis en huit domaines : fiscalité des particuliers et des familles, petites entreprises, sociétés de personnes, immobilier et investissements, successions et trusts, fiscalité internationale, opérations sur sociétés, contrôle et litiges fiscaux. Les missions peuvent demander une déclaration complète, des feuilles de travail, une revue technique ou un conseil sur une décision à venir.
Les agents reçoivent une demande client et les documents associés. Ils doivent ensuite produire un livrable qui répond aux critères fixés pour la mission. Cela implique des connaissances fiscales, mais aussi la capacité à retrouver l'information pertinente, faire des calculs, respecter des consignes et exercer un jugement professionnel quand les instructions ne suffisent pas.
Des dossiers hétérogènes, pas un formulaire propre
Le corpus annoncé compte 1 789 fichiers : en moyenne 30 documents par mission, avec jusqu'à 123 documents dans certains environnements. On y trouve notamment 1 487 PDF, 117 classeurs Excel et 38 documents Word, auxquels s'ajoutent des courriels, des images, des fichiers CSV, des données JSON et des textes.
Les pièces incluent des déclarations déjà déposées ou en brouillon, des formulaires W-2 et K-1, des avis de l'administration fiscale américaine, des grands livres, des registres de paie, des contrats et des échanges de correspondance. Le dossier peut aussi contenir des preuves moins normalisées, typiques d'un travail « terrain ».
Dans un cas, une photographie montre un reçu manuscrit lié à des marchandises achetées pour la revente. L'agent doit en relever les références et les montants, les rapprocher des dépenses, puis déterminer l'impact sur le stock et sur le coût des marchandises vendues. Dans un autre, un journal d'interventions révèle qu'une entreprise supposée opérer dans un seul État a envoyé des équipes sur des chantiers dans cinq États : les lieux, les effectifs et les durées peuvent peser sur ses obligations fiscales.
Au fond, ces exemples testent une compétence souvent sous-estimée : garder la provenance de l'information. Une valeur dans un tableau, une mention dans un courriel et une pièce justificative n'ont pas la même « force ». Un agent fiable ne transforme pas toute donnée en certitude : il distingue ce qui est établi, ce qui est déduit, et ce qui doit encore être vérifié.
Des tâches conçues et relues par des spécialistes
Selon Surge AI, les missions partent d'un processus professionnel puis sont transformées en scénarios avec pièces justificatives, résultats attendus et critères de notation. Chaque tâche fait l'objet d'une revue en trois étapes, portant sur l'exactitude, l'exhaustivité et la capacité à résoudre le problème.
Cette validation compte : un benchmark n'est utile que si sa correction est assez robuste. Reste que, par nature, une évaluation simulée a des limites. Elle ne prouve pas à elle seule que le système respecte les exigences de confidentialité d'une entreprise, s'intègre à ses outils, ou conserve de bonnes performances sur des dossiers très différents.
Quels résultats obtiennent les modèles ?
Sur le classement publié, Claude Sonnet 5.5 affiche un taux de réussite de 10,8 %, devant Claude Fable 5.1 à 9,6 % et Claude Opus 5.5 à 9,2 %. Ces chiffres doivent se lire en tenant compte de la définition de « réussite » : le benchmark utilise le pass@1 et considère un essai réussi uniquement si le score atteint au moins 95 % des critères d'une mission.
Les critères portent notamment sur les calculs, les éléments justificatifs, l'identification des enjeux importants et la qualité du livrable. Autrement dit, le seuil correspond à une exécution quasiment complète, pas à une réponse simplement plausible. Cela explique en partie pourquoi le taux global est bas, sans toutefois permettre de conclure qu'une cause unique explique chaque échec.
Un score global ne dit pas où le modèle se trompe
Un agent peut enchaîner correctement plusieurs étapes et quand même échouer pour une raison « bête mais coûteuse » : une échéance manquée, une pièce contradictoire ignorée, ou une recommandation qui ne pose pas la bonne réserve. Or, pour une entreprise, toutes les erreurs n'ont pas le même impact.
Le cas du statut matrimonial l'illustre bien : selon le benchmark, Opus a conservé l'hypothèse d'absence de mariage dans les cinq essais, même quand il reconnaissait une incertitude. Astra a, lui, identifié la nécessité de vérifier ce statut dans quatre essais sur cinq. Une bonne performance ne consiste donc pas uniquement à produire une analyse « savante » : c'est aussi savoir suspendre une conclusion tant qu'un fait déterminant n'est pas établi.
Performance et coût : un compromis à regarder de près
DAYJOB compare aussi les performances au coût moyen par essai. Dans la représentation publiée, Claude Sonnet 5.5 et Claude Opus 5.5 se situent du côté de la frontière de Pareto associée aux meilleures performances. Mais ça ne veut pas dire que ces modèles sont les meilleurs choix dans tous les contextes : la frontière de Pareto montre des compromis observés entre coût et résultat, sans intégrer automatiquement le coût des contrôles humains, des erreurs, ou encore le travail d'intégration.
Concrètement, avant d'acheter, il faut regarder ce que « coûte » vraiment la réponse dans votre organisation : des essais supplémentaires, une revue par un professionnel, le traitement des documents, et les conséquences d'une erreur. Un modèle moins cher à la réponse peut devenir plus coûteux si ses résultats demandent une correction systématique. À l'inverse, une bonne performance sur ce benchmark ne garantit pas une valeur immédiate sur vos dossiers, avec vos formats et vos contraintes.
Le message le plus solide reste donc assez circonscrit : sur les missions testées, les modèles évalués peinent à atteindre un seuil de réussite exigeant. Les chiffres ne prouvent ni que l'IA ne peut jamais aider un professionnel, ni qu'un modèle est inutilisable. Ils montrent surtout que l'autonomie complète ne se déduit pas d'une démonstration convaincante ou d'une bonne réponse isolée.
Que signifie ce benchmark pour les entreprises ?
DAYJOB: Tax rappelle une distinction utile pour les projets d'IA métier : automatiser une étape n'est pas prendre en charge une mission. Dans une entreprise en France, un outil peut accélérer l'extraction de données d'une facture, ou préparer une première synthèse. Mais il ne doit pas être présenté comme capable, à lui seul, de vérifier une position fiscale, d'arbitrer entre des pièces contradictoires, ou de conseiller sur un cas complexe.
Et les exemples du benchmark sont américains. Ils ne valident donc pas les connaissances du système sur le droit fiscal français, ni les obligations déclaratives locales, ni les échanges avec l'administration française. Si vous visez la DGFiP ou l'URSSAF, l'évaluation devra être faite séparément : sources, règles, formats de documents et procédures changent. L'air de ressemblance des tâches ne suffit pas à transférer les résultats.
Évaluer une chaîne de travail, pas seulement le modèle
Avant un déploiement, il vaut mieux découper la mission en étapes observables : réception des documents, extraction, rapprochement des preuves, repérage des anomalies, calcul, rédaction, validation. Ensuite, pour chaque étape, précisez ce que l'outil peut faire, ce qu'il doit signaler, et ce qui exige une décision humaine.
Cette décomposition évite une erreur fréquente : demander à l'agent d'endosser une responsabilité globale, alors que la chaîne réelle est faite d'étapes avec des risques différents. Une évaluation utile peut s'appuyer sur une grille simple :
- Couverture des pièces : les documents utiles sont-ils repérés, et les pièces manquantes sont-elles signalées ?
- Traçabilité : chaque chiffre ou conclusion peut-il être relié à une source du dossier ?
- Gestion de l'incertitude : l'agent distingue-t-il faits établis, hypothèses et informations à confirmer ?
- Détection des enjeux : relève-t-il les échéances, contradictions ou conséquences qui ne figurent pas dans la demande initiale ?
- Qualité du livrable : le résultat est-il exploitable par le professionnel responsable, avec les réserves nécessaires ?
Testez ces critères sur des dossiers qui ressemblent à votre activité : incomplets, atypiques, et avec des zones grises. Mesurez séparément les erreurs critiques, les omissions, les besoins de clarification et le temps de revue. Un score « moyen » peut cacher un petit nombre d'erreurs lourdes : il faut donc définir à l'avance celles qui interdisent toute automatisation sans validation.
Garder une responsabilité humaine, clairement
Le modèle peut aider à préparer un dossier, mais la responsabilité de la décision ne disparaît pas parce qu'un système a produit une réponse. Il faut définir qui valide, qui traite les alertes, quelles données peuvent être envoyées à l'outil, et comment les modifications sont conservées. Ce sont aussi des sujets de gouvernance des données, et de conformité (notamment confidentialité et RGPD).
Le cas d'usage le plus simple, au départ, est souvent une tâche étroite : extraire des montants, rapprocher une liste de pièces, préparer une synthèse que le professionnel contrôle. C'est moins « spectaculaire » qu'un agent autonome, mais plus facile à mesurer et à corriger. On peut élargir ensuite le périmètre seulement si les contrôles tiennent dans le temps.
À retenir : évaluez les erreurs selon leur conséquence, exigez une trace entre pièces et conclusions, prévoyez un mécanisme d'escalade et gardez une validation humaine sur les décisions à fort enjeu. Ce benchmark sert à poser les bonnes questions ; il ne remplace pas vos essais en conditions réelles.
Conclusion
DAYJOB: Tax met en évidence une limite centrale des agents IA : répondre à la question formulée ne signifie pas toujours comprendre le problème professionnel dans son ensemble. Les omissions d'échéances, les hypothèses non vérifiées et les preuves contradictoires comptent autant que les calculs lorsque la décision a des conséquences financières.
Pour les entreprises, la leçon n'est ni de rejeter ces outils, ni de leur déléguer trop vite une mission complète. L'idée est de tester une chaîne de travail précise, de mesurer les erreurs selon leur gravité et de garder une responsabilité humaine explicite. En fiscalité comme dans d'autres métiers réglementés, l'automatisation devient intéressante quand ses limites sont visibles, testées et intégrées au processus.