Deux modèles d'IA multimodaux, testés sur des images de lésions cutanées, ont classé un mélanome comme bénin et ont suggéré qu'on pouvait s'en passer d'un suivi. Dans le même exercice, un CNN plus ancien - mis au point il y a près de dix ans - a, lui, donné le bon diagnostic.
Rien de tout cela ne veut dire qu'un ancien algorithme serait « meilleur » que les grands modèles de langage en général. Ce que ça montre surtout, c'est quelque chose de plus terre-à-terre : la performance dépend de la tâche, des données et du protocole d'évaluation. La taille ou l'effet « nouveau modèle » ne suffisent pas.
Un test sur 200 lésions confirmées par biopsie a comparé deux LLM multimodaux à un CNN spécialisé. Le CNN nomme correctement 125 lésions, contre 84 et 85 pour les LLM. Mais ces chiffres bruts ne disent pas tout : les erreurs ne sont pas les mêmes, et la façon dont chaque système « trie » ensuite les cas change le compromis entre sécurité et examens inutiles.
Voici ce que l'expérience permet de conclure - et ce qu'elle ne permet pas - ainsi que les leçons utiles pour les projets d'IA en santé.
Que montre le test comparatif ?
Dans l'évaluation décrite, Inception v3, un CNN publié par Google en 2015 puis adapté à la dermatologie, obtient le bon diagnostic pour 125 des 200 lésions. Les deux LLM multimodaux testés font 84 et 85 bonnes réponses. En pourcentage : 62 % pour le CNN, et environ 42 % pour chaque LLM.
La différence reste visible quand on examine un second choix diagnostique : le CNN atteint 173 bonnes réponses, contre 134 et 138 pour les LLM. Parmi les 30 mélanomes, le CNN en classe correctement 13 en premier choix. Les LLM en identifient 8 et 11.
Ces résultats sont préoccupants pour des modèles généralistes, mais on ne peut pas en déduire, à eux seuls, une capacité « clinique » globale à détecter le cancer dans la vraie vie.
Les erreurs sont aussi importantes que le score
Les modèles ne se trompent pas de façon identique. Un LLM choisit le carcinome basocellulaire dans 75 cas alors que l'échantillon en contient 25. Il attribue aussi cette catégorie à 14 des 30 mélanomes. L'autre LLM privilégie souvent la kératose actinique : il donne cette réponse 53 fois pour 20 cas présents.
De son côté, le CNN confond parfois des mélanomes avec des nævus ou des kératoses séborrhéiques. Sur ses 17 erreurs portant sur des mélanomes, huit sont classées comme nævus et six comme kératoses séborrhéiques. Le détail compte : deux systèmes peuvent afficher un score moyen proche, mais n'aboutir à aucun compromis opérationnel équivalent.
Un exemple frappant, mais pas une preuve générale
Un cas illustre bien l'écart : les deux LLM interprètent un mélanome comme une kératose séborrhéique, une lésion généralement bénigne, et concluent qu'il n'y a pas besoin de prise en charge. Le CNN, lui, identifie le mélanome à partir de l'image dermoscopique.
À l'inverse, une kératose séborrhéique est classée à tort comme nécessitant une attention médicale par les trois systèmes.
Ces exemples rendent les erreurs concrètes. Mais ils ne remplacent pas l'évaluation d'ensemble : sur cet échantillon, pour cette tâche de classification à six catégories, le modèle spécialisé obtient effectivement une meilleure exactitude que les deux LLM testés.
À retenir : un modèle récent n'est pas automatiquement le meilleur choix pour une tâche visuelle précise. La performance doit être mesurée sur le cas d'usage réel, avec des critères de sécurité fixés au préalable.
Pourquoi un ancien CNN peut-il être plus performant ?
Ici, le point clé est la spécialisation. Inception v3, même s'il est ancien, a été ajusté sur de nombreuses images dermatologiques. Il a donc appris des motifs visuels liés à cette tâche précise. Les LLM multimodaux sont conçus pour traiter des entrées très variées et des demandes différentes. Leur polyvalence ne garantit pas qu'ils soient aussi précis dans un sous-domaine où les détails visuels comptent.
C'est une distinction importante en IA : « capacité générale » et « performance sur une tâche donnée » ne sont pas la même chose. Un système peut avoir un bon raisonnement verbal ou une interface séduisante, sans pour autant être à l'aise pour repérer des caractéristiques visuelles utiles à un diagnostic dermatologique.
L'adéquation entre données, architecture et tâche
Le CNN a été entraîné avec des images qui correspondent directement au problème évalué : recevoir des images et choisir une catégorie visuelle parmi un ensemble limité. Les architectures convolutionnelles sont faites pour exploiter les structures locales d'une image : contours, textures, variations de couleur.
Un LLM multimodal traite aussi des images, mais ses objectifs d'entraînement et son fonctionnement suivent d'autres logiques : il peut expliquer, synthétiser, répondre en langage naturel. Cela ne dit pas qu'il sera optimal pour une classification clinique où le seuil de décision a des conséquences directes.
Ce résultat n'est donc pas un appel automatique au « retour » systématique aux modèles anciens. C'est plutôt un rappel de méthode : comparer les options sur la tâche exacte, avec des données représentatives, et avec une mesure qui colle au risque clinique.
Le coût d'entraînement n'est pas le seul coût pertinent
Inception v3 aurait été ajusté en une vingtaine de minutes sur un seul GPU H100. L'empreinte reste assez légère pour qu'une version puisse tourner sur un environnement contraint, sans forcément envoyer les images à un serveur. Sur le papier, cela aide pour la confidentialité et la mise en production.
Mais « peu coûteux » ne veut pas dire « sûr » ou « utilisable en clinique ». Il faut vérifier la robustesse sur des populations différentes, documenter les erreurs, s'assurer que les images reçues sont de qualité suffisante, et clarifier les responsabilités en cas d'incident. En santé, le coût réel inclut aussi la validation, la conformité, la surveillance et la gestion des problèmes après déploiement.
Que signifient les résultats pour le triage médical ?
Classer un diagnostic n'est pas la même chose que décider du triage. Un système peut se tromper sur le nom exact d'une lésion tout en recommandant une biopsie prudente. À l'inverse, il peut produire un diagnostic « plausible » et suggérer une sortie qui retarde la prise en charge d'un cancer.
Dans ce test, les LLM repèrent 97 et 96 des 100 lésions jugées à risque, mais ils autorisent la sortie dans seulement 32 et 22 cas sur 100 pour les lésions bénignes. Ils adoptent donc une posture plutôt conservatrice : peu de lésions à risque sont laissées sans suite, au prix de nombreuses recommandations d'évaluation pour des cas bénins.
Au seuil par défaut du CNN, 76 lésions bénignes sont considérées comme pouvant être écartées. Mais le CNN ne retient que 77 des 100 lésions à risque et laisse repartir 18 des 30 mélanomes. Ce profil n'est pas acceptable pour un outil de triage autonome.
Si on ajuste le seuil pour obtenir une sensibilité comparable, le CNN retient 98 ou 99 lésions à risque et ne laisse repartir qu'un ou deux mélanomes. En contrepartie, il recommande davantage de prises en charge pour les lésions bénignes.
Le seuil traduit un choix de risque
Un seuil n'est pas un paramètre neutre. Il fixe le compromis entre faux négatifs - une lésion dangereuse écartée - et faux positifs - une lésion bénigne envoyée vers un examen supplémentaire. En dermatologie, manquer un mélanome a un coût élevé. Mais multiplier les alertes a aussi un coût : biopsies, anxiété, délais, et charge de travail pour les équipes.
Du coup, la bonne question n'est pas seulement « quel modèle est le plus précis ? ». Il faut plutôt demander : quel taux de faux négatifs est acceptable dans ce contexte, et surtout que se passe-t-il après une alerte ? Un outil destiné à aider un dermatologue à prioriser une file d'attente n'a pas nécessairement le même seuil qu'un outil d'orientation grand public.
L'usage grand public appelle une autre prudence
Quand on leur présente une photographie clinique seule et qu'on leur demande s'il faut consulter, les LLM recommandent de voir un médecin dans presque tous les cas, y compris pour des lésions bénignes. Sur le plan du risque « rassurer à tort », ce comportement limite certains problèmes. Mais ça ne fait pas pour autant un outil de triage efficient, ni un diagnostic fiable.
Pour un service médical, une recommandation systématique de consultation peut déplacer le problème au lieu de le résoudre : elle multiplie les rendez-vous inutiles tout en donnant à l'utilisateur une impression trompeuse d'accompagnement. Les systèmes destinés au public doivent être évalués sur la clarté des consignes, la qualité de l'orientation et le risque de retarder une consultation, pas uniquement sur le ton « rassurant ».
Quelles sont les limites de cette comparaison ?
L'échantillon compte 200 lésions, dont seulement 30 mélanomes. C'est assez pour faire apparaître un écart, mais pas pour établir un classement définitif entre systèmes. La performance sur les mélanomes reste particulièrement incertaine, faute de cas.
Autre point : chaque LLM n'a été exécuté qu'une seule fois. Les réponses peuvent varier d'un passage à l'autre.
Les cas sont aussi difficiles : chaque lésion a été biopsiée. Pour le CNN, la capacité à séparer « à écarter » de « à prendre en charge » semble meilleure sur des images ordinaires d'archive - avec une aire sous la courbe ROC de 0,96 - que sur cet échantillon, où elle descend à 0,86. En clair, les performances dépendent fortement de la difficulté et de la composition du jeu de test.
Un risque de contamination, mais pas de fuite pour le CNN
MILK10k étant public depuis 2025, il est possible que les modèles de langage aient déjà rencontré ces images ou des éléments associés pendant leur entraînement. Ce n'est pas prouvé. Mais si cela a eu lieu, la comparaison devient plus défavorable aux LLM : ils auraient pu bénéficier d'une exposition préalable.
Le CNN, selon le protocole rapporté, n'a pas vu les images de test, ni les images liées aux mêmes patients.
Un CNN de référence, pas un système médical de pointe
Inception v3 est un modèle de référence, pas le dernier état de l'art. Des systèmes spécialisés plus récents peuvent s'appuyer sur des architectures modernes de type transformeur, et sur des jeux de données plus larges. Certains produits déjà réglementés peuvent aussi être mieux adaptés à leur cadre d'utilisation validé.
Il faut donc éviter deux raccourcis : dire que les LLM sont inutiles en médecine, ou dire qu'un ancien modèle suffit à diagnostiquer un cancer. Cette étude plaide surtout pour une règle de gouvernance : pas de résultat général qui remplace une validation indépendante sur la population, le matériel et le parcours de soins où l'outil sera utilisé.
Une lecture utile pour les équipes produit et santé
Avant de déployer une IA, une équipe doit clarifier la décision qu'elle veut améliorer, les erreurs qu'elle peut tolérer et le rôle exact du professionnel. Elle doit ensuite comparer plusieurs approches - modèle spécialisé, modèle généraliste, règles cliniques ou combinaison - sur un jeu de données représentatif et séparé de l'entraînement.
En Europe, la protection des données, le consentement, la sécurité et le statut réglementaire doivent aussi être pris en compte avant mise en production. Une démo réussie ne répond pas à ces questions. La valeur opérationnelle n'apparaît que si la performance est reproductible, les limites sont visibles, et la responsabilité est clairement définie.
Conclusion
Cette comparaison ne prouve pas qu'un ancien réseau neuronal remplace les modèles de langage, ni qu'il remplace un dermatologue. Elle montre simplement qu'en diagnostic d'images spécialisé, un modèle plus ancien et plus ciblé peut dépasser des systèmes plus récents. Et surtout : un meilleur score de classification ne suffit pas à lui seul, car le triage dépend du seuil, des faux négatifs et du contexte d'utilisation.
Pour évaluer une IA médicale, la démarche est concrète : définir la décision que l'on veut soutenir, tester plusieurs familles de modèles sur des données indépendantes, analyser les erreurs par catégorie et fixer le seuil selon les conséquences pour le patient. La question décisive n'est pas « quel modèle paraît le plus avancé », mais « lequel est assez fiable pour cette tâche précise - et avec quelles garanties ».
Comment l'expérience a-t-elle été menée ?
Les 200 lésions viennent de MILK10k, un jeu de données public publié en 2025 dans le cadre de l'International Skin Imaging Collaboration. Chaque lésion comporte deux images : une photographie clinique rapprochée et une image dermoscopique, réalisée avec un dispositif grossissant et éclairé.
L'échantillon regroupe 100 lésions « à ne pas écarter » : 30 mélanomes, 25 carcinomes basocellulaires, 25 carcinomes épidermoïdes (dont la maladie de Bowen) et 20 kératoses actiniques. Les 100 autres sont des lésions bénignes : 50 nævus et 50 kératoses séborrhéiques.
Toutes ont été biopsiées, avec un diagnostic confirmé par histopathologie. Le test est donc plus exigeant qu'une simple sélection de lésions bénignes : même des grains de beauté considérés comme « banals » avaient assez inquiété pour être retirés et analysés.
Les conditions imposées aux modèles
Les LLM reçoivent les deux images, sans autres informations, et doivent fournir le diagnostic le plus probable parmi six catégories ou indiquer qu'ils ne sont pas sûrs. Ils doivent aussi donner un niveau de confiance, un second choix et une recommandation de prise en charge : sortie sans traitement, biopsie ou suivi.
Ils reçoivent le même prompt et sont évalués avec leurs paramètres par défaut. Chaque cas n'est exécuté qu'une seule fois.
Le CNN est entraîné sur 68 011 images cliniques et dermoscopiques issues des archives de l'ISIC. Les images de test, ainsi que les autres photographies des mêmes lésions ou patients, ont été retirées de l'entraînement et de la validation. Le CNN n'a donc pas servi à entraîner ou à sélectionner le modèle à partir de ces données.
Il évalue les deux vues, en accordant davantage de poids à la dermoscopie.
Ce que mesure - et ne mesure pas - le protocole
Le test est une comparaison sur un problème fermé : choisir parmi six diagnostics à partir de deux images. Il ne met pas en jeu l'examen clinique complet, ni l'interrogatoire du patient, ni la qualité d'une recommandation dans un parcours de soins réel. Il ne vérifie pas non plus ce qui se passerait avec une intégration à un dossier médical ou à un cadre réglementé.
Autrement dit : dire que le CNN classe mieux ces images est défendable. En tirer la conclusion que le CNN remplacerait un dermatologue, ou que les LLM sont moins bons pour n'importe quelle tâche médicale, ne l'est pas.