Interprétabilité des LLM : la thèse de Cammarata
Les neurones des LLM seraient-ils plus lisibles qu’on ne le pense ? Découvrez la thèse de Nick Cammarata, ses limites et ses enjeux pour la sécurité de l’IA.
Les LLM sont-ils vraiment illisibles ? Ce que la thèse de Nick Cammarata change - et ne change pas
Pendant des années, une idée a dominé les discussions sur les grands modèles de langage : leurs mécanismes internes seraient si emmêlés qu'on ne pourrait pas vraiment les comprendre, du moins pas en totalité. Et ce n'est pas qu'un débat abstrait. Quand les organisations savent mal ce qui se passe à l'intérieur, elles ont plus de mal à repérer des comportements problématiques, à les expliquer et à agir en conséquence.
Dans un billet très remarqué - 26 000 mots, devenu viral - Nick Cammarata, chercheur chez Goodfire et ancien d'OpenAI, défend une approche plus optimiste. Selon lui, les réseaux neuronaux seraient peut-être plus lisibles qu'on ne le croit, à condition d'observer autrement et de ne pas abandonner trop vite l'interprétation de leurs composants. Son exemple central porte sur un neurone d'un ancien modèle de reconnaissance d'images, activé à la fois par des chats et par des voitures.
Depuis, la thèse a suscité autant d'enthousiasme que de réserves. Que peut-on dire, au juste, quand on observe un neurone ? Est-ce transposable aux LLM actuels ? Et surtout, qu'est-ce que ça change - concrètement - pour la sécurité et pour des équipes qui déploient ces systèmes en entreprise ? Voici ce qu'on peut raisonnablement conclure, et ce qui reste encore trop fragile pour être affirmé.
Pourquoi l'interprétabilité des réseaux neuronaux est difficile
Un réseau neuronal n'est pas un programme qu'on pourrait lire et suivre ligne par ligne. Il apprend des paramètres à partir de données et produit des réponses après une série d'opérations combinées. Même quand on repère un composant actif à un moment donné, il reste à comprendre ce qu'il « signifie », comment il s'insère dans d'autres mécanismes, et pourquoi il contribue à la sortie observée.
C'est précisément l'ambition de l'interprétabilité mécanistique : étudier les composants internes d'un modèle et les liens entre ces composants, plutôt que de s'en tenir à l'observation des entrées et des sorties. L'analogie avec les neurosciences revient souvent : on peut mesurer l'activité d'une partie du système, mais ça ne suffit pas pour expliquer le comportement global.
La superposition, ou pourquoi un neurone ne correspond pas toujours à une idée
En 2020, Nick Cammarata et ses collègues étudiaient Inception v1, un modèle de reconnaissance d'images créé par Google en 2014. Ils avaient observé qu'un même neurone pouvait s'activer pour des images qui n'avaient, au premier regard, rien à voir. Par exemple : des images de voitures et des images de chats.
Une première explication consistait à dire que le modèle aurait « empaqueté » plusieurs concepts dans un même neurone - peut-être parce qu'il faut représenter beaucoup avec des ressources limitées. C'est là que le concept de superposition s'est popularisé : des caractéristiques distinctes seraient représentées de façon entremêlée, dans des activations qui se recouvrent, plutôt que dans des neurones clairement isolés.
Le problème pratique est simple : si on s'attend à ce qu'un neurone corresponde à un concept unique et stable, alors des activations multiples donnent l'impression d'un mélange indémêlable. C'est pour ça qu'une partie des recherches vise à séparer ces représentations. Il y a des progrès, mais l'analyse détaillée des modèles actuels reste freinée par leur taille et par la complexité des interactions internes.
Comprendre une activation ne revient pas à comprendre le modèle
Même quand on parvient à proposer une interprétation pour un neurone, il reste plusieurs étages de compréhension. D'abord, repérer que le neurone réagit à certains exemples. Ensuite, formuler une hypothèse sur la caractéristique qu'il détecte. Enfin, comprendre comment cette caractéristique s'insère dans un circuit qui participe à la réponse, ou à la décision.
Ces étapes ne se valent pas et ne se remplacent pas. Une interprétation intéressante d'un neurone ne prouve pas, à elle seule, qu'on comprend comment le modèle se comporte globalement. C'est encore plus vrai pour un LLM, où les réponses émergent de plusieurs couches, de représentations distribuées et de connexions dont le rôle peut varier selon le contexte.
Au fond, l'interprétabilité ressemble plus à une reconstruction qu'à une simple lecture. Elle demande des hypothèses, des tests, et une évaluation de ce que ces hypothèses permettent réellement de prédire. Sur le papier, ça paraît méthodique. Dans la vraie vie, passer d'une observation locale à une explication fiable du système complet reste le nœud du problème.
L'hypothèse de Cammarata : chercher les motifs plutôt que le désordre
Dans son billet, Cammarata revient sur son travail d'Inception v1, mais avec une question différente. Plutôt que de supposer que le neurone associe « arbitrairement » chats et voitures, il s'est demandé ce que ces images pouvaient avoir en commun. Son hypothèse : certaines présenteraient une forme en V assez marquée.
Le visage d'un chat peut dessiner cette forme. La partie avant d'une voiture, vue sous un angle particulier, peut en présenter une aussi. En examinant d'autres activations, Cammarata dit avoir retrouvé des exemples variés : l'angle d'une table de billard, le nez pointu d'un train à grande vitesse japonais, ou encore l'eau projetée par un bateau-pompe. À l'inverse, des formes plus rondes - en O - pouvaient inhiber l'activation.
Son interprétation est donc différente : le neurone ne ferait pas que répondre à « chat » et « voiture ». Il détecterait plutôt une caractéristique visuelle commune à des images qui, humainement, n'ont pas forcément la même catégorie.
Au départ, ce résultat semblait contre-intuitif : les chercheurs comparaient des catégories d'objets, pas un motif perceptif partagé. Le point, c'est que changer ce qu'on cherche change aussi ce qu'on comprend.
Le changement de regard compte, mais ne règle pas tout
Ce qui frappe ici n'est pas une nouvelle architecture ou un outil miraculeux. D'après Cammarata, les images et le modèle n'avaient pas changé. C'est l'hypothèse de départ qui a changé : au lieu de chercher l'explication dans les catégories, il l'a cherchée dans des motifs, puis il a testé si cette lecture retrouvait d'autres activations.
Cette démarche rappelle une règle utile en analyse : si quelque chose paraît incohérent, ce n'est pas forcément parce que ça n'a pas de structure. Mais ça ne veut pas dire non plus que la première explication plausible est automatiquement la bonne. Une forme en V peut être une piste féconde. Reste à tester si elle tient dans des cas nouveaux, et à voir ce qu'il se passe dans d'autres contextes.
Cammarata affirme avoir cartographié des circuits entiers dans des modèles qu'il étudiait déjà. Il dit aussi avoir consacré une grande partie de l'année à observer des neurones, avec de nouveaux outils et des agents d'IA pour explorer plus vite. Son billet porte clairement une conviction, née d'un travail long. Mais les détails techniques, et surtout leur extension aux LLM modernes, sont encore à confirmer.
La distinction est essentielle : ce que la thèse ouvre, c'est une possibilité de recherche - pas la démonstration que les grands modèles seraient désormais transparents. Cammarata lui-même insiste sur le fait que tout n'est pas réglé et que la façon dont les neurones se combinent reste une question ouverte.
Ce que cette approche peut changer pour la sécurité et les entreprises
Si certains éléments des réseaux neuronaux sont plus lisibles qu'on ne le pensait, alors les outils d'analyse pourraient progresser. Les chercheurs pourraient formuler des hypothèses plus ciblées, suivre des circuits liés à certains comportements et construire de meilleurs tests. Mais il y a un fossé évident entre « comprendre mieux quelques mécanismes » et « maîtriser un système déployé ».
Pour les entreprises, ce point change surtout la manière de traduire la recherche en décisions. Une interprétation interne ne remplace pas les tests fonctionnels, la surveillance en production, les contrôles d'accès, ni les procédures d'escalade. Elle peut, à terme, compléter l'arsenal existant : aider à diagnostiquer des comportements difficiles à expliquer uniquement à partir des entrées et des sorties.
Des cas d'usage possibles, à condition de les valider
Dans un service client automatisé, par exemple, une équipe peut déjà mesurer des réponses erronées, des refus injustifiés, ou des cas où le système expose des informations sensibles. Des outils d'interprétabilité pourraient apporter un niveau d'analyse en plus : pas seulement constater qu'un comportement apparaît, mais explorer ce qui, à l'intérieur, semble l'alimenter.
Dans un système destiné à assister des collaborateurs, l'enjeu est du même ordre. Une banque, un assureur ou une administration ne peut pas se contenter d'une explication convaincante si elle n'a pas été vérifiée sur le fonctionnement réel du modèle. Les conséquences d'une erreur, les contraintes réglementaires et les voies de recours doivent rester pensées à l'échelle du système complet.
Une démarche pragmatique consiste à avancer par étapes :
- Définir un risque observable : réponse dangereuse, fuite de données, comportement incohérent ou contournement d'une règle.
- Établir une mesure de référence : fréquence, gravité, contexte et population concernée.
- Utiliser l'interprétabilité comme outil d'investigation, pas comme preuve automatique d'explication.
- Tester les hypothèses sur des cas nouveaux et vérifier si elles permettent de prévoir ou de réduire le comportement ciblé.
- Garder des contrôles opérationnels indépendants, y compris la validation humaine quand l'impact le justifie.
Cette approche évite un piège courant : confondre raconter une explication et réduire effectivement un risque. Sur des projets soumis au RGPD ou à des exigences sectorielles, la gouvernance doit aussi documenter les usages, les responsabilités et les mécanismes de contrôle. Une avancée en interprétabilité peut alimenter cette démarche, mais elle ne remplace ni l'analyse juridique ni l'architecture opérationnelle.
Le lien avec les agents autonomes
Ces travaux prennent aussi un autre relief avec les agents d'IA, capables d'enchaîner des tâches et d'interagir avec des outils ou des services en ligne. Là, le problème ne se résume plus à la qualité d'une réponse : il faut comprendre quelles actions sont déclenchées, quelles permissions sont utilisées, et comment les erreurs se propagent.
Mieux comprendre certains mécanismes peut aider à examiner des comportements internes. Mais ça ne résout pas, à lui seul, les choix de conception des agents : permissions trop larges, objectifs mal cadrés, absence de confirmation humaine, supervision insuffisante. Un système « interprétable » peut rester mal conçu côté opérationnel.
C'est probablement là que la perspective de Cammarata est intéressante sans être une solution immédiate. Si les mécanismes deviennent plus accessibles, des chercheurs peuvent accélérer certains travaux d'exploration avec des agents automatisés. Mais aller vite ne dispense pas d'évaluer sérieusement ce qu'on croit avoir compris. Automatiser l'exploration d'un modèle n'automatise pas la validation de l'hypothèse.
Les limites qui empêchent de parler de percée décisive
Plusieurs chercheurs cités dans l'enquête de MIT Technology Review contestent l'ampleur des conclusions qu'on tire du billet. Chris Potts (Stanford) estime que les éléments présentés ne rendent pas nécessairement le problème plus facile. Jacob Hilton (Alignment Research Center) rappelle que comprendre des neurones pris un à un ne suffit pas : il faut aussi expliquer comment ils s'assemblent en circuits. Neel Nanda (Google DeepMind) juge le travail intéressant, sans y voir un changement majeur de la situation globale de l'interprétabilité.
Ces réserves portent moins sur la valeur de l'observation que sur le saut vers une conclusion générale. Le modèle pris comme exemple - Inception v1 - reste beaucoup plus simple que les LLM de pointe actuels. Cammarata et ses collègues disent travailler sur des modèles modernes ; les résultats techniques correspondants doivent être examinés en tant que tels, avec leurs détails.
Quatre questions à poser avant de parler de progrès
Pour évaluer sérieusement une avancée en interprétabilité, il faut au minimum se poser quatre questions :
- La méthode marche-t-elle sur des modèles récents ? Un résultat obtenu sur un ancien modèle d'images ne se transpose pas automatiquement à un grand modèle de langage.
- Les interprétations sont-elles reproductibles ? D'autres équipes peuvent-elles retrouver les mêmes motifs avec des méthodes et des données différentes ?
- L'explication permet-elle de faire des prédictions ? Une hypothèse utile doit anticiper des activations ou des comportements, pas seulement décrire après coup des exemples choisis.
- Le niveau d'analyse est-il suffisamment large ? Décrire quelques neurones ne garantit pas qu'on comprenne les circuits, leurs interactions, et le comportement global.
Il y a aussi une question d'échelle. Même si on arrive à expliquer une partie d'un modèle, rien ne dit que cette compréhension couvre une fraction assez grande de son fonctionnement. Hilton rappelle par exemple que la proportion des mécanismes réellement compris dans les grands modèles reste très faible. Ce genre d'estimation doit être pris avec prudence, mais il illustre bien la différence entre une réussite locale et une compréhension globale.
Enfin, il faut éviter de transformer une hypothèse scientifique en garantie de sécurité. L'interprétabilité peut aider à détecter ou à expliquer certains comportements, oui. Mais elle ne prouve pas qu'un modèle se comportera toujours comme prévu, ne supprime pas les risques liés aux données ou au déploiement, et ne dispense pas de supervision adaptée.
La bonne posture, donc, n'est ni le scepticisme systématique, ni l'enthousiasme sans garde-fous. La thèse de Cammarata mérite d'être testée : peut-être que, par le passé, des équipes ont abandonné trop tôt en classant comme « désordre » ce qui pouvait être un motif difficile à repérer. La suite dépendra de résultats reproductibles sur des modèles plus représentatifs, et de leur capacité à expliquer des comportements pertinents.
Conclusion : une piste de recherche, pas une garantie
Le billet de Nick Cammarata bouscule une hypothèse : des activations qui paraissent désordonnées ne sont pas forcément dépourvues de structure. L'exemple des chats et des voitures montre qu'une autre façon de poser la question peut faire apparaître un motif commun. C'est une piste utile, mais elle reste centrée sur un cas précis et ne suffit pas à dire que les LLM de pointe sont désormais déchiffrables.
Pour les équipes qui développent ou déploient de l'IA, la leçon est simple : suivez ces travaux, mais ne confondez pas un progrès de recherche avec une garantie opérationnelle. Testez les modèles sur des scénarios réels, gardez des mécanismes de contrôle indépendants, et demandez des preuves solides avant de baisser le niveau de risque.
Pour aller plus loin, consultez l'entretien original de MIT Technology Review et comparez ces conclusions aux résultats techniques qui seront publiés sur les modèles modernes.