Les modèles d'intelligence artificielle progressent vite, surtout dans des domaines où une mauvaise réponse n'a pas les mêmes effets qu'un texte brouillon ou qu'un résumé incomplet. La cybersécurité illustre bien le genre de conséquence possible. La biologie pourrait devenir un autre terrain sensible : un système capable d'aider à comprendre des mécanismes ou à préparer des expériences peut, dans certaines conditions, faciliter des usages dangereux.
C'est, en substance, l'avertissement lancé par Yao Shunyu, scientifique en chef chargé de l'IA chez Tencent, lors d'un événement à Hong Kong. D'après le South China Morning Post, il estime que les capacités des modèles en cybersécurité ont déjà atteint un seuil préoccupant et que leurs capacités biologiques pourraient suivre. Ses propos arrivent quelques jours après le lancement de Hy4, le nouveau modèle phare de Tencent.
Mais l'enjeu ne se limite pas à Hy4. Il touche à la façon d'évaluer des capacités à risque, aux conditions de publication des modèles ouverts et à la responsabilité des entreprises qui les mettent à disposition. Voici ce qu'on sait de Hy4, ce que recouvre l'alerte, et les questions concrètes que devraient se poser les équipes produit, recherche et sécurité avant une mise à disposition publique.
Ce que Tencent dit réellement sur Hy4
Il faut séparer trois choses : les propos de Yao Shunyu, les informations communiquées par Tencent sur Hy4, et les éléments rapportés par des observateurs externes. Mélanger ces niveaux conduirait à traiter comme acquis ce qui relève encore d'une annonce ou d'une appréciation interne.
Yao Shunyu dit que les modèles pourraient atteindre, en cybersécurité puis en biologie, un niveau capable de causer des dommages. Il appelle aussi les entreprises chinoises qui publient des modèles ouverts à prendre la sécurité au sérieux. Autrement dit, le point n'est pas que Hy4 aurait déjà permis un incident biologique. L'alerte porte plutôt sur l'idée qu'il existe un seuil de capacité au-delà duquel la diffusion exige davantage de précautions.
Côté Tencent, l'entreprise affirme avoir exclu des données d'entraînement de Hy4 des éléments liés à l'exploitation de failles logicielles. Elle indique avoir privilégié des données orientées sécurité défensive. Pour la biologie, Tencent décrit le modèle comme solide sur des connaissances générales, mais moins performant que les meilleurs modèles dans la conception d'expériences. Cette évaluation reposerait, selon Tencent, sur des tests internes menés par des experts. The Next Web précise toutefois ne pas avoir testé le modèle.
Ces limites comptent. Une déclaration de l'éditeur décrit une approche, mais elle ne remplace pas une évaluation indépendante, reproductible et publiée avec assez de détails. Et même si un modèle obtient un bon résultat à un test, cela ne suffit pas à prouver qu'il est sûr dans des usages réels.
Tencent prévoit aussi de publier les poids de Hy4 et un rapport sur ses tests de sécurité, d'après Reuters. La publication des poids rendrait le modèle téléchargeable et modifiable par des tiers : c'est un changement majeur par rapport à une interface en ligne contrôlée par l'éditeur. Par ailleurs, Hy4 serait présenté comme le deuxième meilleur modèle chinois par Artificial Analysis, d'après le South China Morning Post. Un classement global ne mesure cependant pas directement le risque biologique.
À retenir : les informations disponibles décrivent une alerte liée à l'évolution des capacités, une stratégie de filtrage annoncée par Tencent et des résultats internes sur Hy4. Elles ne constituent pas une validation indépendante de sa sûreté ni la preuve d'une capacité dangereuse déjà avérée.
Pourquoi le risque biologique est différent du risque cyber
Comparer avec la cybersécurité aide à cadrer le problème, mais il ne faut pas gommer les différences entre les deux domaines. Dans les deux cas, un modèle peut réduire le temps nécessaire pour trouver de l'information, structurer une démarche ou s'adapter à une demande. En revanche, les conséquences, les contextes de vérification et les moyens de prévention ne sont pas les mêmes.
En cybersécurité, les effets d'une action peuvent souvent être observés dans un environnement informatique de test. Une équipe peut vérifier si une procédure fonctionne sur une infrastructure isolée, puis corriger ses défenses. Cela ne veut pas dire que le risque est faible : une faille exploitée peut interrompre un service, exposer des données ou entraîner des pertes financières. Mais, à une certaine échelle, les systèmes restent copiables, journalisables et réinitialisables.
En biologie, les connaissances peuvent toucher à des systèmes physiques, avec des effets plus difficiles à contenir ou à inverser. Une réponse qui aide à comprendre un protocole ou à planifier une expérience n'entraîne pas automatiquement un résultat dangereux. Le risque dépend du contenu, du niveau de détail, de l'intention de l'utilisateur, de son accès à des moyens matériels et de sa capacité à interpréter les résultats. C'est précisément ce mélange qu'une évaluation sérieuse devrait examiner, sans réduire la sécurité à une simple liste de mots interdits.
Il y a aussi une différence entre savoir et capacité opérationnelle. Un modèle peut restituer des notions biologiques de base sans être en mesure de guider une expérience complexe. À l'inverse, un progrès sur la planification, la résolution de problèmes ou l'adaptation aux retours peut augmenter l'utilité pratique, même sans « saut » spectaculaire sur un test de connaissances. En clair : l'évaluation doit regarder ce que le système permet réellement de faire, pas seulement ce qu'il sait expliquer.
Pour une entreprise, l'enjeu est d'identifier les usages plausibles avant diffusion : recherche légitime, formation, aide documentaire, mais aussi demandes qui exigent une revue humaine ou un refus. Le niveau de protection doit correspondre aux conséquences potentielles et au contexte d'accès. Un dispositif pensé pour un chatbot généraliste peut être trop large pour un outil utilisé par des spécialistes. Et, symétriquement, un blocage uniforme peut pénaliser la recherche sans réduire efficacement les risques réels.
Modèles ouverts : le dilemme entre diffusion et contrôle
Yao Shunyu reprend un argument souvent avancé par des entreprises américaines comme Anthropic en faveur d'un maintien fermé des modèles les plus puissants. Un modèle accessible uniquement via une interface contrôlée permet à l'éditeur de surveiller les requêtes, de limiter certains usages et de modifier le système à distance. Ce contrôle n'est pas parfait, mais il reste utile au quotidien. Quand les poids sont publiés, une grande partie de ces leviers disparaît.
Les modèles ouverts ont pourtant des intérêts bien réels. Des chercheurs et des organisations peuvent les auditer, les adapter et les exécuter dans leur propre environnement. En cybersécurité, des capacités accessibles peuvent aussi servir les défenseurs : analyser des configurations, comprendre des alertes ou accélérer certaines tâches de protection. En Europe, l'hébergement local peut aider sur des questions de confidentialité ou de gouvernance. Ça ne garantit pas la sécurité, mais ça change la façon dont les données et les accès sont gérés.
Le revers, lui, est structurel. Une fois les poids diffusés, l'éditeur ne peut pas empêcher toutes les copies ni appliquer un correctif à chaque instance. Des tiers peuvent modifier le modèle, retirer des garde-fous ou l'intégrer dans un service que le créateur ne connaît pas. La sécurité dépend alors, en partie, de décisions prises en aval, par des acteurs avec des compétences et des moyens très variables.
C'est pour ça que le débat « ouvert contre fermé » n'est pas une affaire de morale simple. Un modèle fermé concentre le pouvoir de contrôle chez le fournisseur et peut rendre l'audit externe plus difficile. Un modèle ouvert peut aider la recherche et l'innovation, tout en rendant les restrictions plus faciles à contourner. Le bon arbitrage dépend du niveau de capacité, de la nature des usages, de la maturité des garde-fous et des conséquences possibles en cas de détournement.
Une approche pragmatique consiste aussi à étaler la diffusion. Quand les capacités sont sensibles, on peut commencer par un accès restreint pendant une phase d'évaluation, avec des tests indépendants et des retours documentés. Si les résultats le justifient, l'éditeur élargit ensuite l'accès ou publie les poids. Ce séquencement a un coût : il retarde certains usages et demande des ressources pour contrôler le déploiement. Mais il évite de traiter une publication difficilement réversible comme un lancement classique.
Comment évaluer le risque avant de publier un modèle
Une équipe ne devrait pas se limiter à vérifier si le modèle répond à des demandes « dangereuses ». Le bon travail consiste à regarder tout le parcours : capacités du modèle, protections intégrées, accès aux outils, profil des utilisateurs, et conséquences possibles d'une sortie non souhaitée. La question n'est pas seulement « le modèle est-il sûr ? », mais plutôt : quels usages à risque peut-il faciliter, pour qui, avec quel niveau de contrôle, et quelles mesures de réduction peut-on réellement mettre en face ?
-
Tester des capacités, pas seulement des refus
Les tests devraient vérifier si le modèle peut contribuer à des tâches sensibles, même quand la demande est reformulée ou découpée en plusieurs étapes. Il faut aussi mesurer les usages légitimes pour éviter qu'un filtre trop large rende l'outil inutile pour les chercheurs, les enseignants ou les équipes de sécurité. Pour Hy4, la distinction annoncée par Tencent entre connaissances biologiques générales et conception d'expériences illustre justement l'intérêt de mesurer plusieurs capacités séparément.
-
Comparer l'évaluation interne et les tests indépendants
Les experts internes connaissent le modèle et peuvent repérer des comportements que des tests génériques manqueraient. Mais ils ont aussi intérêt à documenter leurs méthodes et à confronter leurs résultats à des évaluateurs externes. Une évaluation utile devrait décrire les scénarios testés, les limites de l'exercice, les catégories de risque couvertes et les changements faits après les résultats. Un score unique, sans protocole ni contexte, dit très peu aux utilisateurs en aval.
-
Adapter les contrôles au mode de distribution
Une interface hébergée par l'éditeur peut limiter les requêtes, journaliser les incidents et déployer des mises à jour rapidement. Quand on publie les poids, les mesures changent : documentation plus claire, consignes de déploiement, tests de robustesse et réflexion sur les usages à haut risque. Ces contrôles ne suppriment pas le risque, surtout si le modèle est modifié. Ils rendent toutefois plus explicites les responsabilités et les limites connues.
-
Prévoir une réévaluation après lancement
Les risques évoluent avec les versions, les outils connectés et les usages réels des clients. Une entreprise qui intègre un modèle dans un produit doit suivre les incidents, recueillir les retours et réévaluer les changements importants. Pour un acteur français ou européen, ça implique aussi d'articuler exigences de sécurité et cadre de protection des données, notamment le RGPD quand des données personnelles sont traitées. Le RGPD ne remplace pas une démarche de biosécurité : ce sont deux sujets qui n'exposent pas aux mêmes risques.
Avant publication, une revue de décision peut tenir sur une page : capacités sensibles identifiées, tests effectués, limites connues, mode d'accès choisi, mesures de réduction, responsable en cas d'incident et date de réévaluation. Si ces éléments ne peuvent pas être renseignés, mieux vaut repousser le lancement ou limiter strictement la diffusion. L'urgence de mise sur le marché ne compense pas l'absence de compréhension de ce qu'on met réellement à disposition.
Conclusion
L'alerte de Tencent ne prouve pas que Hy4 représente déjà un danger biologique. Elle pose surtout une question plus large : à partir de quel niveau de capacité faut-il changer les conditions d'accès à un modèle, en particulier quand ses poids peuvent être diffusés et adaptés sans contrôle central ?
La réponse ne tient ni à l'ouverture « par défaut », ni à la fermeture « par principe ». Elle repose sur une évaluation concrète des capacités, des usages possibles et des conséquences, complétée par des tests indépendants et une surveillance une fois le modèle en circulation. Pour les entreprises, la règle se résume ainsi : plus la publication est difficile à révoquer, plus la décision doit être étayée avant la mise à disposition. Les annonces de sécurité sont un point de départ. Ce qui compte vraiment, ce sont les preuves, les limites documentées et les mécanismes de suivi.