Agents IA : peuvent-ils mieux prédire que les humains ?

Une prédiction ne se résume pas à un modèle

L'expérience démarre par une question très terre-à-terre : un système d'agents peut-il composer et gérer une équipe de fantasy football mieux qu'un joueur humain ? Le concepteur demande à Codex de construire un dispositif capable de consulter des actualités récentes et d'utiliser un modèle pour faire des prévisions. Il fournit aussi des travaux de recherche, puis demande de créer un environnement de travail : des instructions et du code qui structurent chaque étape.

Au début, le système semble traiter plus d'informations qu'une personne. Pourtant, ses recommandations ne convainquent pas. Le cas le plus frappant, c'est justement Haaland sur le banc. Ce n'est pas seulement une mauvaise décision isolée. C'est un signe : même quand on « digère » énormément d'infos, on ne garantit ni la bonne hiérarchisation, ni la compréhension des conséquences dans le contexte réel.

En fantasy, la sélection dépend de tout un tas de paramètres : la forme récente, le calendrier, les blessures, le temps de jeu probable, les règles de notation, le coût des joueurs. Et une information exacte peut quand même finir inutile si elle est périmée ou mal pondérée. Si l'on optimise une statistique sans tenir compte des règles du jeu, on peut obtenir une recommandation « cohérente » dans la forme, mais mauvaise dans la réalité.

Le retour d'information est essentiel

Avant ce nouvel essai, une autre expérimentation avait déjà donné des résultats surprenants à partir de données historiques de fantasy football. Elle ratait des éléments du monde réel - une blessure, un changement d'entraîneur, ce genre de choses. Cette fois, le système se distingue parce qu'il intègre davantage d'informations récentes et qu'il organise plusieurs tâches.

Mais la promesse technique ne suffit pas : il faut regarder ce que ça donne.

Sur les premières semaines, l'équipe conçue par l'IA reste autour du score moyen. Et son créateur ne suit pas ses propres recommandations pour son équipe personnelle. Donc ce n'est pas une preuve « scientifique » au sens strict, ni un test parfaitement contrôlé. C'est quand même un signal utile : le système n'a pas démontré, dans ces conditions, un avantage clair et régulier. C'est exactement la leçon qu'on veut dans un projet produit : un prototype « intelligent » n'est pas une preuve. Il faut le comparer à une référence mesurable, puis suivre ses résultats dans le temps.

Séparer les tâches plutôt que multiplier les appels

Après les premières recommandations décevantes, l'architecture change. Au lieu de demander à un seul agent de tout faire, le système répartit : certains lisent des articles et des actualités, d'autres regardent les résultats récents, d'autres encore exécutent des modèles ou critiquent les propositions.

L'idée, c'est que ça rend le raisonnement plus testable. Un agent collecte. Un autre interprète. Un troisième cherche les points faibles. Ce découpage est plus facile à examiner qu'une réponse unique sortie d'une seule passe. Et si la recommandation semble bancale, on peut remonter plus facilement : le problème vient-il des données, de leur interprétation, ou de la règle de décision ?

On peut voir ça comme une chaîne de traitement : collecter, vérifier, analyser, confronter, décider. Mais attention : il ne suffit pas de donner des noms différents à des agents qui font exactement la même chose. Chaque rôle doit apporter un vrai contrôle ou une vraie information. Sinon, on ajoute de la complexité sans réduire les erreurs.

Plus d'agents ne signifie pas plus d'intelligence

Ensuite, l'expérience augmente le nombre d'agents, jusqu'à plus de cent. Le résultat s'améliore très peu, tandis que la facture d'API augmente nettement. C'est un point opérationnel important : ni le volume de calcul, ni le nombre d'étapes ne garantissent la qualité.

Une équipe d'agents peut renforcer une bonne méthode... ou amplifier des biais. Et si plusieurs agents s'appuient sur la même source erronée, leur accord ne prouve rien : ils ne font pas une « validation indépendante », ils répètent la même erreur, parfois proprement.

Une stratégie plus logique consiste à démarrer petit, avec quelques rôles précis, puis à mesurer ce que chacun apporte. Par exemple :

• un agent collecte les infos récentes et date chaque élément ;
• un agent compare avec les performances passées ;
• un agent cherche des raisons de contester la recommandation ;
• un composant séparé applique les règles du jeu et prend la décision finale.

Ensuite, on compare cette version à un modèle simple, à une sélection humaine, ou à une stratégie de référence. Si ajouter un agent ne fait pas bouger le score ou la qualité des décisions, il n'a pas encore prouvé son intérêt... au regard de son coût.

Des résultats prometteurs, mais dépendants du test

Le fantasy football n'est qu'un exemple parmi d'autres usages de la prévision automatisée. Haifeng Xu, chercheur en informatique à l'Université de Chicago, travaille sur l'IA dans des contextes de marché. Avec des collègues, il a évalué des modèles commerciaux sur leur capacité à prévoir divers événements : le vainqueur d'un championnat de NBA, ou des rencontres politiques.

D'après Xu, certains modèles obtiennent de bons résultats face à des personnes « ordinaires », même sans consignes très sophistiquées. Dans les tests qu'il rapporte, GPT-5 arrive en tête, puis Grok 4, Claude Sonnet, Gemini et Llama. Ce classement décrit un protocole, une période, un cadre précis. Ça ne veut pas dire qu'un modèle sera le meilleur dans tous les domaines, avec toutes les données, ou pour toutes les décisions commerciales.

Son équipe a aussi développé Prophet Arena, un dispositif pour évaluer la capacité de prévision. D'autres travaux examinent les performances sur des marchés de prédiction. Dans une expérience appelée Prediction Arena, menée par des chercheurs de Harvard et d'Arcada Labs, des modèles ont reçu 10 000 dollars à engager sur ces marchés pendant 57 jours. Sur la période totale, ils finissent avec une perte, même si les chercheurs observent une amélioration au fil du temps.

Là encore, il faut lire ça ensemble. Une progression pendant une expérience ne prouve pas que le système est rentable. Et une bonne performance sur un lot de questions ne garantit pas la même chose sur des événements rares, sur d'autres marchés, ou sur des situations où les données bougent vite.

Les experts conservent un avantage de contexte

Les meilleurs prévisionnistes, souvent appelés superprévisionnistes, restent difficiles à dépasser. Leur avantage ne vient pas seulement d'un accès à plus d'informations. Il vient aussi de leur compréhension fine des mécanismes derrière l'actualité : qui a intérêt à agir, quelles contraintes pèsent réellement sur une décision, et quels scénarios sont plausibles.

Un modèle peut capter beaucoup de signaux et les organiser rapidement. Mais il peut aussi rater une dynamique humaine, une règle implicite, ou la différence entre une annonce et une décision vraiment probable. La quantité d'information ne remplace pas automatiquement la connaissance du terrain.

Cela dit, l'écart semble bouger. Le Metaculus Cup a montré que l'IA peut, dans certains cas, dépasser des superprévisionnistes humains. ForecastBench et d'autres évaluations cherchent aussi à mesurer cette progression. L'enjeu n'est donc pas de conclure que les humains sont « dépassés », mais de suivre la performance sur des protocoles similaires, et en répétant les mesures.

Mesurer le résultat, pas l'effet « ça a l'air solide »

Une interface jolie, une réponse bien rédigée, ou un raisonnement très détaillé ne suffisent pas. Pour juger un système, il faut décider à l'avance ce qui compte comme une réussite. En fantasy football, ça peut être le score par journée, comparé à une sélection humaine et à une stratégie de référence. Dans un cadre professionnel, ça peut être la qualité des prévisions de demande, le taux d'erreur, ou le coût de décisions ratées.

Et surtout : il faut garder les prévisions avant que l'événement arrive. Sans ça, on finit presque toujours par ne retenir que les intuitions qui « tombent juste », en oubliant celles qui se sont trompées. Une évaluation sérieuse suit les résultats sur un échantillon assez large, distingue les types d'événements et évite de changer les règles après coup.

Pour un système de prédiction, une grille minimale peut inclure :

• la précision sur des cas non utilisés pour ajuster le système ;
• la comparaison avec une référence humaine et une méthode simple ;
• le coût total des agents et des données ;
• la capacité à expliquer les facteurs décisifs ;
• le taux d'erreurs graves et, surtout, dans quelles situations elles apparaissent.

La comparaison est centrale. Si une solution coûte dix fois plus cher qu'une méthode simple sans améliorer les décisions, le gain technique n'a aucune valeur pratique. À l'inverse, une performance moyenne peut quand même être utile si elle réduit le travail de collecte ou permet de traiter plus de cas.

Garder un humain dans la boucle, pour de bonnes raisons

Dans les situations à faible enjeu - par exemple entre amis en fantasy - l'automatisation peut servir d'assistant : elle rassemble des infos, propose des options, et signale les incertitudes. La personne garde le choix final. Dans un contexte professionnel, le niveau de contrôle dépend du coût d'une erreur, de la possibilité de revenir en arrière, et des obligations applicables, notamment en matière de données personnelles et de RGPD.

Mais « mettre un humain dans la boucle » ne doit pas devenir une excuse pour un système mal conçu. Si l'utilisateur doit tout relire, tout recalculer, et tout vérifier, l'outil ne réduit pas vraiment la charge. Et s'il ne comprend pas pourquoi une recommandation est faite, il risque de la suivre sans contrôle réel. Le point clé est de préciser ce que l'IA propose, ce qu'elle est capable de décider, et à quel moment une validation humaine est nécessaire.

Une règle pragmatique : automatiser d'abord ce qui est réversible et vérifiable - collecte d'informations, synthèse, comparaison de scénarios. Réserver la décision autonome aux cas où les performances ont été démontrées, les risques cadrés et la reprise prévue. En fantasy football, l'outil reste alors une aide à la sélection. En entreprise, cette distinction évite de confondre « démonstration technique » et « capacité à fonctionner de façon fiable ».