Audit IA : décider si une fonctionnalité vaut le coût17 min de lecture3 301 mots

Audit IA : décider si une fonctionnalité vaut le coût

Évaluez le coût réel d’une fonctionnalité d’IA, les erreurs qu’elle peut cacher et les compétences qu’elle risque d’affaiblir avant de la concevoir.

audit IAfonctionnalité IAconception produit IArisques de l’intelligence artificielleadoption de l’IA
Audit IA : décider si une fonctionnalité vaut le coût

Ajouter de l'IA à un produit : quatre questions avant de se lancer

Une fonctionnalité d'IA peut faire gagner du temps sur une tâche, puis le reprendre au moment de vérifier le résultat. C'est ce qui est arrivé à une équipe d'assurance santé : elle avait conçu un outil capable de rédiger des décisions sur des recours liés aux remboursements. Au final, les spécialistes passaient autant de temps à relire et corriger qu'ils en auraient mis à rédiger eux-mêmes, avec un risque en plus : repérer des erreurs qu'ils n'auraient pas commises en produisant le texte de leur propre main.

Par la suite, la fonctionnalité a changé de rôle. L'outil ne rédigeait plus la décision : il retrouvait les règles applicables et les décisions antérieures. Les spécialistes gardaient la rédaction, mais ils perdaient une partie du travail de recherche. Même technologie, mais répartition du travail totalement différente.

Avant d'ajouter de l'IA à un produit, une équipe doit donc comparer le bénéfice attendu au coût d'usage réel : effort de vérification, erreurs possibles et compétences mobilisées. Voici un audit en quatre questions pour évaluer ce rapport, avant de lancer la conception - puis pour transformer les réponses en exigences concrètes.

Quand une fonctionnalité d'IA devient-elle utile

Une fonctionnalité d'IA vaut le coup quand le gain dépasse ce qu'elle coûte à la personne qui doit accomplir la tâche. Et le coût ne se résume pas à "cliquez ici". Il inclut l'attention nécessaire pour comprendre l'outil, apprendre à lui faire confiance, puis vérifier ce qu'il produit.

Le gain peut prendre trois formes :

  • Un effort supprimé, par exemple la recherche manuelle dans des dizaines de documents.
  • Des erreurs détectées, que la personne n'aurait probablement pas repérées seule.
  • Une meilleure régularité, quand plusieurs personnes doivent faire la même tâche avec des critères cohérents.

À l'inverse, automatiser une action rapide et peu exigeante peut déplacer l'effort au lieu de le réduire. Préremplir un numéro de dossier peut économiser quelques secondes, mais oblige ensuite à vérifier que la valeur est correcte. Si la vérification demande plus d'attention que la saisie initiale, l'automatisation ne tient pas.

Le coût d'adaptation est un vrai coût

Une nouvelle interface oblige l'utilisateur à changer ses habitudes et à décider jusqu'où il peut se fier au résultat. Dans un contexte pro, ça peut aussi toucher à la manière dont la personne "se situe" dans son travail. Un spécialiste qui rédigeait des décisions et qui n'a plus qu'à approuver des textes n'a pas forcément le sentiment d'être aidé : il peut avoir l'impression que son jugement se réduit à une formalité.

Une étude de Sophia Ackerhans et de ses collègues, publiée en 2025, décrit cette tension dans le contexte de l'aide à la décision clinique. Les explications d'un système peuvent renforcer la confiance... ou accentuer la menace ressentie sur l'identité professionnelle. Autrement dit : il ne suffit pas de montrer comment l'IA arrive à une conclusion. Il faut aussi regarder comment la fonction redistribue les responsabilités.

Enfin, l'attention disponible reste limitée. Nelson Cowan estime à environ quatre le nombre d'éléments que la mémoire de travail peut maintenir en même temps (revue de recherches publiée en 2001). Ce n'est pas un chiffre à utiliser pour "calculer" la complexité d'une interface. C'est plutôt un rappel : apprendre, décider et vérifier se disputent la même ressource.

Évaluer une tâche, pas une technologie

On part d'une personne, d'une tâche et d'un contexte. "Résumer des documents" est trop vague pour juger si l'IA est utile. En revanche, "aider une analyste financière de niveau intermédiaire à repérer les trois risques majeurs dans un dossier de 40 pages pendant une revue de deux heures" permet d'évaluer concrètement.

Du coup, l'unité n'est pas le modèle, ni même la fonctionnalité. C'est la combinaison : une personne, une tâche, des conditions données. Une option utile pour un profil débutant peut ralentir un spécialiste déjà à l'aise avec les dossiers et la recherche. L'audit doit mettre ces écarts au jour, pas chercher une réponse identique "pour tout le monde".

L'IA réduit-elle vraiment l'effort et améliore-t-elle la méthode actuelle

Les deux premières questions regardent le travail réel : l'effort total baisse-t-il pour la personne concernée ? Et l'approche assistée fait-elle mieux que la méthode actuelle ? Les réponses doivent intégrer les habitudes concrètes, pas seulement le processus "officiel". Un tableur maison ou une checklist créée par l'équipe peut se révéler plus efficace que l'outil prévu dans le cahier des charges.

Question 1 : l'effort total baisse-t-il pour cet utilisateur

Comparez la tâche avant et après l'ajout de l'IA. Notez le raisonnement, les manipulations et les vérifications nécessaires. Le nombre de clics n'est pas un bon indicateur : il faut mesurer l'effort complet, y compris ce qui arrive après la génération d'un résultat.

Prenez un chargé de crédit qui doit lire 40 déclarations financières pour repérer trois incohérences avec les règles d'octroi. Une IA qui signale les conflits s'attaque à la partie la plus dure : comparer des informations nombreuses, dispersées et faciles à rater.

Comparez avec un cas différent : saisir le numéro d'un prêt dans un outil de suivi. La saisie prend quelques secondes et demande peu d'attention. Si l'IA remplit le champ, le chargé doit vérifier la valeur. Ici, l'outil a remplacé une action rapide par une vérification plus exigeante. C'est pour ça que la formule "automatiser les tâches répétitives" ne suffit pas.

Le profil compte autant que la tâche. Une analyste débutante peut tirer un bénéfice d'une première synthèse de risque : elle n'a pas encore tous les repères pour construire son analyse rapidement. À l'inverse, une analyste chevronnée - qui a déjà formé son jugement - peut passer du temps à comparer la synthèse à ses conclusions, sans apprendre grand-chose et sans gagner en temps.

Condition de conception : précisez le segment d'utilisateurs qui reçoit vraiment de la valeur. Prévoyez une option pour les autres, par exemple la possibilité de désactiver l'assistance ou de conserver leur méthode.

Question 2 : l'IA fait-elle mieux que la méthode actuelle

L'IA a plus de chances d'être utile quand la tâche comporte une vraie ambiguïté, quand il faut traiter un volume important, ou quand repérer des motifs à la main est difficile. Elle peut améliorer la vitesse, la régularité et le taux de détection d'erreurs.

Mais l'avantage peut s'évanouir si la personne a déjà un chemin rapide et fiable vers la réponse.

Prenons deux exemples côté RH. Repérer des candidats internes à partir de combinaisons de compétences peu évidentes peut justifier une aide : l'espace de recherche est vaste et il n'y a pas une seule bonne réponse. En revanche, rédiger le courriel de notification après le choix du candidat est une autre affaire : le format est connu, le message s'écrit vite, et l'auteur a souvent des préférences marquées sur le ton. Là, l'IA risque surtout d'ajouter une relecture.

Il faut aussi distinguer la nature de l'entrée et la forme du résultat. Un problème complexe ne justifie pas automatiquement une interface conversationnelle. Une synthèse visuelle, une liste de sources ou un tableau structuré peut correspondre mieux à la tâche qu'un texte généré en continu.

Condition de conception : retirez l'IA des étapes où la méthode actuelle produit déjà une réponse rapide et fiable. Concentrez-vous sur le goulot d'étranglement réel, pas sur les étapes les plus faciles à automatiser "pour la démo".

L'utilisateur peut-il repérer les erreurs de l'IA

Une réponse incorrecte n'est pas forcément une réponse qui "fait faux" dès le premier regard. Pour cette troisième question, évaluez trois choses : la visibilité de l'erreur, ses conséquences si elle passe inaperçue, et la capacité de l'utilisateur à la vérifier. L'enjeu n'est pas seulement de savoir combien de temps le contrôle prend, mais si le contrôle est possible et réaliste.

Cartographier les erreurs probables

Un outil de voyage qui recommande un musée fermé le jour de la visite peut produire une suggestion parfaitement plausible. Le voyageur découvrira l'erreur devant une porte close. À l'inverse, un itinéraire qui propose un vol de correspondance avant l'arrivée du premier avion laisse une contradiction visible à l'écran.

Ces exemples rappellent qu'on sous-estime souvent la surface d'erreur. Avant de concevoir l'interface, listez les trois erreurs les plus probables. Pour chacune :

  • Sa visibilité : l'utilisateur peut-il comprendre que le résultat est douteux en le regardant ?
  • Sa conséquence : que se passe-t-il si personne ne corrige ?
  • Sa vérifiabilité : l'utilisateur a-t-il les connaissances et les sources nécessaires pour contrôler ?

Une erreur difficile à voir et lourde de conséquences doit devenir une exigence de conception, voire une raison de ne pas lancer la fonctionnalité telle quelle. Une erreur facile à repérer et peu coûteuse à corriger peut, elle, passer dans un autre contexte. Le niveau de contrôle doit donc dépendre du risque, pas d'une règle identique pour tous les produits.

Rendre la provenance vérifiable

La confiance accordée à un système automatisé peut augmenter sans que l'utilisateur décide vraiment de "se relâcher". En 2010, Raja Parasuraman et Dietrich Manzey ont décrit, dans une revue de recherches en facteurs humains, des biais d'automatisation observés en aviation, en médecine et dans le contrôle de procédés. Une interface fluide et une réponse qui sonne juste ne garantissent pas que l'utilisateur gardera la vigilance nécessaire.

La provenance aide à calibrer cette confiance. Selon les cas, elle peut montrer les documents utilisés, la date de récupération des données, les passages qui soutiennent une conclusion, ou le moment précis d'une réunion associé à une action. Un résumé de réunion qui attribue une décision à la mauvaise personne peut paraître aussi convaincant qu'un résumé exact. Mais un renvoi vers la source permet à l'équipe de vérifier l'attribution sans relire tout le contenu.

Condition de conception : si une erreur peut avoir de lourdes conséquences tout en restant invisible, prévoyez l'affichage des sources et des incitations à vérifier. Si la vérification ne peut pas être organisée de manière réaliste, considérez que la fonction n'est pas prête à être déployée.

L'utilisateur saura-t-il encore vérifier l'IA dans un an

La quatrième question prolonge la précédente dans le temps. Une personne peut savoir repérer les erreurs aujourd'hui, puis perdre progressivement cette compétence si la fonctionnalité prend en charge, jour après jour, les jugements qui entretenaient son expertise.

Toutes les compétences n'ont pas besoin d'être "protégées". Si la machine s'occupe de la mise en forme d'une référence ou d'une addition répétitive, il n'y a pas grand-chose à gagner à maintenir la maîtrise de gestes mécaniques. En revanche, le jugement qui détecte une conclusion bancale reste essentiel : c'est lui qui rend les autres délégations plus sûres.

L'automatisation peut affaiblir le jugement

Une expérience menée en 2023 par Thomas Dratsch et ses collègues, auprès de 27 radiologues, illustre ce risque. Les participants ont d'abord vu des suggestions toujours correctes, puis ils ont évalué des mammographies accompagnées de propositions erronées dans une partie des cas. L'étude observe une baisse de précision diagnostique lorsque les suggestions étaient fausses, même chez des lecteurs expérimentés.

Dans le groupe le plus expérimenté, les radiologues ont donné la bonne catégorie dans 82,3 % des cas quand la suggestion était correcte, contre 45,5 % quand elle était erronée. Chez les moins expérimentés, on passe de 79,7 % à 19,8 %. L'effet n'annule pas toute performance - mais il pèse. Une expérience en laboratoire ne prédit pas automatiquement chaque situation en entreprise, toutefois elle montre qu'une suggestion intégrée au flux de travail peut détourner le jugement humain.

La question à poser est directe : si la fonctionnalité disparaissait dans un an, l'utilisateur saurait-il encore évaluer la qualité de ses résultats ? Si la réponse est non, il faut préserver la compétence de vérification dans le fonctionnement normal du produit.

Entretenir la capacité de contrôle

Plusieurs mécanismes peuvent fonctionner, selon le risque et le coût opérationnel :

  • Organiser des contrôles périodiques "à l'aveugle", où la personne se construit un avis avant de voir la réponse de l'IA.
  • Retirer régulièrement une partie des dossiers de l'assistance automatisée.
  • Comparer chaque semaine un échantillon de sorties de l'IA avec une évaluation humaine indépendante.
  • Faire remonter les désaccords et leurs résolutions, pour que l'équipe voie où le système échoue.

Ces mécanismes ne sont pas des formations ponctuelles. Ils doivent vivre dans le flux de travail, avec un responsable et une fréquence définis. Une diapositive de sensibilisation ne remplace pas une année à approuver des résultats sans les évaluer.

Condition de conception : nommez le mécanisme qui maintiendra la compétence de vérification et intégrez-le au processus opérationnel. Si la compétence est nécessaire à la sécurité mais qu'aucun mécanisme réaliste ne peut la préserver, le périmètre de la fonctionnalité doit être revu.

Comment mener l'audit et traduire ses résultats en décisions

L'audit est utile avant les maquettes et avant de passer trop de semaines de développement, quand l'équipe peut encore ajuster le périmètre sans défendre un investissement déjà engagé. Il ne remplace pas les arbitrages de budget, de stratégie ou de calendrier. Il ajoute une chose que ces arbitrages oublient souvent : le coût réel que la fonctionnalité impose aux personnes qui feront le travail.

Une matrice de décision pour le produit

Question L'IA apporte de la valeur si... Elle coûte à l'utilisateur si... Condition à inscrire au brief
L'effort total baisse-t-il ? Elle traite une synthèse difficile ou un volume important. La vérification coûte autant que la tâche initiale. Préciser le segment concerné et prévoir une sortie pour les autres.
La méthode est-elle meilleure ? Elle améliore la vitesse, l'échelle, la régularité ou la détection. La méthode actuelle produit déjà une réponse rapide et fiable. Retirer l'IA des étapes déjà bien maîtrisées.
Les erreurs sont-elles repérables ? Les erreurs sont visibles, les enjeux faibles et la correction simple. Les erreurs sont discrètes, graves ou difficiles à vérifier. Prévoir provenance et vérification, ou revoir le lancement.
Le jugement restera-t-il disponible ? L'IA traite le volume, l'utilisateur garde les décisions critiques. L'IA prend le jugement en charge sans retour sur la qualité. Définir un mécanisme qui entretient la compétence de contrôle.

Un résultat défavorable n'implique pas forcément d'abandon. Un coût élevé sur la première question peut être compensé par un gain important sur la deuxième. En revanche, si la troisième question inquiète - notamment sur des erreurs graves difficiles à détecter et à vérifier - le lancement peut être bloqué. L'objectif n'est pas de produire un oui/non, mais un périmètre assorti de conditions claires.

Une version réalisable en 60 minutes

Vous pouvez lancer une première évaluation en une heure, avec au moins une personne qui réalise la tâche dans son travail quotidien. Elle n'a pas besoin d'assister à chaque réunion produit : une conversation courte apporte souvent plus que des estimations produites par l'équipe sans toucher le terrain.

  1. Définir la tâche en 10 minutes. Décrivez une personne, une activité et un contexte précis. Évitez les formulations trop générales comme "aider à résumer des documents".
  2. Répondre aux questions en 25 minutes. Demandez où se situe la difficulté, ce qui est déjà maîtrisé, et ce que la personne ne pourrait plus vérifier si l'IA prenait la décision pendant un an.
  3. Cartographier les erreurs en 15 minutes. Notez trois erreurs probables, leur visibilité et leurs conséquences. Transformez les risques élevés en exigences de produit.
  4. Inscrire les conditions au brief en 10 minutes. Précisez le segment visé, les sources à afficher, les étapes de vérification et le mécanisme de maintien des compétences.

Appliquer l'audit à deux cas concrets

Côté assurance santé, la rédaction complète des décisions ne passe pas le test d'effort : la spécialiste doit contrôler un texte long avec un niveau d'attention comparable à celui de la rédaction. La tâche suit aussi une structure connue. Le point difficile se situe plus tôt : trouver les règles et les décisions antérieures pertinentes. Une version plus adaptée fait remonter ces éléments, cite les sources et laisse la spécialiste rédiger. Le jugement reste mobilisé, et les documents sont vérifiables.

Pour un outil de synthèse de réunions, le résultat dépend du profil. Une personne qui ne prenait pas de notes peut y gagner du temps. En revanche, la personne chargée de rédiger puis diffuser le compte rendu doit contrôler l'attribution des décisions et des engagements. Le résumé peut être plus complet et plus régulier que des notes prises en écoutant "à moitié", mais une attribution erronée reste difficile à repérer. Relier chaque action à un repère temporel dans la source réduit ce risque. La compétence décisionnelle, elle, reste exercée par les participants.

Présentez ces conclusions comme des choix de conception, pas comme une opposition de principe à l'IA. Par exemple : la fonction paraît utile pour des analystes débutants, mais elle ajoute une étape de vérification pour les profils expérimentés. Le lancement peut donc démarrer sur le parcours d'intégration, puis être réévalué plus tard. Cette façon de formuler donne à l'équipe produit quelque chose de concret : un public, un périmètre, et des conditions de succès.

Conclusion

Ajouter de l'IA à un produit n'est pas, en soi, une preuve d'innovation. La vraie question est plus simple : une personne donnée fait-elle mieux une tâche précise, une fois pris en compte l'effort de contrôle, les erreurs possibles et l'évolution de ses compétences ?

Avant de lancer la conception, comparez le coût réel à trois scénarios : effort supprimé, erreurs détectées, et travail rendu plus régulier. Ensuite, traduisez les risques en conditions concrètes : segment visé, sources à afficher, vérifications à prévoir, et maintien du jugement humain. Une fonctionnalité mieux ciblée - qui prend en charge la partie vraiment pénible - tient plus souvent dans la durée qu'une automatisation "spectaculaire" mais coûteuse à utiliser.

Questions frequentes

Évaluez l’effort total avant et après, y compris la vérification. L’IA est plus pertinente si elle traite un volume important, une recherche complexe ou des erreurs difficiles à repérer manuellement. Si la méthode actuelle est déjà rapide et fiable, l’ajout risque de déplacer le travail plutôt que de le supprimer.
Oui lorsque l’erreur peut avoir des conséquences importantes ou rester difficile à détecter. Les sources, leur date et les éléments associés à une conclusion aident l’utilisateur à vérifier le résultat. Le niveau de détail dépend du risque : une suggestion de faible enjeu ne nécessite pas le même contrôle qu’une décision médicale ou financière.
Oui. Une personne débutante peut bénéficier d’une synthèse qui lui sert de point de départ, tandis qu’un spécialiste peut perdre du temps à la contrôler. Définissez le segment auquel la fonction apporte un gain réel et prévoyez une possibilité de conserver la méthode habituelle pour les autres.
Intégrez des évaluations régulières au flux de travail : contrôles à l’aveugle, dossiers traités sans assistance ou comparaison d’échantillons avec un jugement humain indépendant. Une formation ponctuelle ne suffit pas si les utilisateurs n’exercent plus leur capacité à repérer les erreurs au quotidien.

Articles similaires