Jouets IA pour enfants : risques et règles de sécurité

Que s'est-il passé lors du test de la BBC ?

La BBC a testé un jouet en peluche appelé Doubao, vendu en ligne au Royaume-Uni sous le nom de My Baby Bunny et annoncé comme adapté aux enfants dès trois ans. Son prix affiché était de 75 livres sterling. Une journaliste de BBC Wales lui a posé plusieurs questions sur la façon dont les bébés sont conçus.

Quand elle lui a demandé de définir le mot « sexuel », le jouet a semblé mal interpréter sa question. Il a répondu : « Je suis vraiment désolé que vous vous sentiez ainsi. Je ne peux pas vous aider à vous tuer. » Puis il a conseillé d'appeler les services d'urgence et de s'éloigner de ce qui pourrait blesser l'enfant. Quand la journaliste a précisé qu'elle n'avait pas parlé d'automutilation, le jouet s'est excusé.

Il y a deux raisons qui rendent cet épisode particulièrement préoccupant. D'abord, la réponse elle-même : elle sort du sujet et peut inquiéter un enfant de bas âge. Ensuite, l'impossibilité d'identifier clairement l'entreprise derrière le produit. La BBC a contacté le site marchand, des professionnels du secteur et plusieurs sociétés susceptibles d'être impliquées, sans parvenir à déterminer qui fabriquait Doubao.

Et ça change tout, côté concret : si personne n'est clairement responsable, personne ne peut expliquer comment le système a produit ce type de réponse, quelles protections étaient en place, ou comment le problème serait corrigé. Dans un produit conversationnel, ces informations ne sont pas un détail. Elles servent à vérifier, à signaler et à corriger.

La BBC a aussi testé Grem, un jouet vendu 99 dollars par la société américaine Curio. Celui-ci orientait certaines questions sensibles, comme la manière de s'enfuir de chez soi, vers des adultes. Curio affirme que la sécurité des enfants guide le développement de ses produits. Même si cela ne suffit pas à conclure que Grem est « globalement sûr », le contraste suggère au moins qu'un jouet peut intégrer des mécanismes de redirection vers un adulte.

L'enquête s'inscrit enfin dans un débat plus large. Selon Sky News, des députés et des membres de la Chambre des lords ont écrit le 3 novembre aux ministres et aux distributeurs pour demander le retrait des jouets IA jusqu'à la réalisation de tests indépendants, et pour réclamer une interdiction des jouets chatbot pour les moins de 16 ans. Le gouvernement britannique a indiqué que la sécurité des enfants était une priorité. Sa consultation sur l'adaptation des règles de sécurité aux jouets IA s'est terminée le 6 octobre.

Pourquoi un jouet IA peut-il produire une réponse inadaptée ?

Un jouet conversationnel n'analyse pas une phrase comme le ferait un adulte. Selon sa conception, il peut combiner reconnaissance vocale, traitement du langage, règles de sécurité et génération de texte. Et si une étape se trompe, la suite peut devenir incohérente.

Dans l'affaire rapportée par la BBC, le jouet semble avoir mal compris la question. C'est une hypothèse plausible, pas une cause confirmée : le fabricant n'a pas été identifié et les détails techniques du système ne sont pas connus. Il serait donc injuste d'attribuer l'incident à un modèle précis ou à un bug particulier. Cela dit, le scénario illustre un problème assez connu des systèmes vocaux : bruit ambiant, prononciation, accent, homophones ou vocabulaire inattendu peuvent perturber la transcription.

Une fois la demande mal transcrite, le système doit encore décider comment répondre. Un filtre de sécurité peut détecter un terme lié à l'automutilation et déclencher un message de crise, même si l'enfant parlait d'autre chose. Dans certains cas, cette protection peut être utile. Mais elle devient risquée si elle se déclenche sans discernement, ou si le jouet formule une réponse alarmante à un enfant de trois ans.

Il faut aussi garder en tête que, derrière le mot « IA », on mélange souvent deux fonctions : comprendre ce qui a été dit, puis produire (ou sélectionner) la réponse. La sécurité dépend de toute la chaîne, pas seulement de la performance du modèle de langage. Une réponse pré-écrite peut aussi être mauvaise si elle est déclenchée au mauvais moment.

Dans un produit pour enfants, la vraie question n'est donc pas seulement « le jouet sait-il répondre ? », mais « que fait-il quand il ne comprend pas ? ». Idéalement, il devrait demander à répéter, admettre son incertitude, éviter les réponses sensibles hors contexte, et orienter vers un adulte quand c'est nécessaire. Et surtout, il doit être testé dans des conditions réelles : voix d'enfants, accents variés, conversations interrompues, questions ambigües.

Sur le papier, on serait tenté de voir ces erreurs comme des cas exceptionnels. En pratique, une conversation avec un jeune enfant est souvent imparfaite : formulations approximatives, changements de sujet, incompréhensions. L'ambiguïté n'est pas un bug rare ; c'est une condition normale d'utilisation. La conception doit partir de là.

Quels risques spécifiques pour les jeunes enfants ?

Un jouet conçu pour un adulte peut supposer que l'utilisateur saura douter d'une réponse, ou quitter l'échange si quelque chose ne va pas. Un enfant de trois ans, lui, n'a pas les mêmes réflexes. Il peut prendre au pied de la lettre ce que lui dit un objet auquel il fait confiance, surtout s'il est présenté comme un compagnon.

Le premier risque est émotionnel. Un message de crise inattendu peut effrayer, semer la confusion, ou faire entrer l'enfant dans une idée qu'il ne comprend pas. Et même si le jouet s'excuse après coup, l'effet de la première réponse peut rester. D'où l'importance d'avoir un âge annoncé cohérent avec le vocabulaire, les sujets abordés et la façon dont le produit gère les erreurs.

Le deuxième risque touche à la confiance. Un jouet qui parle avec assurance peut donner l'impression de comprendre l'enfant, même s'il l'a mal interprété. Si l'enfant partage des informations personnelles ou des difficultés, les parents doivent savoir ce qui est enregistré, conservé, et transmis. La discussion vocale pose donc aussi des questions de vie privée, pas seulement de contenu.

Le troisième risque est pratique : en cas d'incident, la famille doit pouvoir identifier le fabricant, contacter quelqu'un et signaler le problème. Sans marque claire, sans notice utile ou avec une chaîne d'approvisionnement floue, tout devient plus compliqué. Les distributeurs aussi sont freinés : sans documentation solide, il est difficile de vérifier les promesses de sécurité et de gérer un retrait si besoin.

Cela ne veut pas dire qu'il faut bannir toute technologie interactive. Mais il faut ajuster le niveau de prudence à l'âge et au rôle du produit. Un jouet qui raconte des histoires préenregistrées n'a pas le même profil qu'un chatbot capable d'aborder des sujets ouverts. Plus l'interaction est libre, plus les scénarios de défaillance existent, et plus les garde-fous doivent être sérieux.

Pour une famille, le critère utile n'est donc pas le nombre de fonctions ni la fluidité de la conversation. Il faut regarder ce que l'enfant peut demander, comment le jouet gère les questions sensibles, s'il laisse l'enfant ouvrir des sujets, et s'il est possible pour un adulte d'interrompre ou de désactiver l'interaction. En clair : l'utilité doit s'évaluer sur le jeu réel, pas sur une démo marketing.

Quelles règles et quels tests devraient encadrer ces jouets ?

L'enquête met en évidence un décalage : les capacités conversationnelles évoluent vite, tandis que les procédures de test et de contrôle doivent encore clarifier comment traiter les risques liés à l'IA. D'après les informations rapportées par la BBC, de nouvelles règles européennes de sécurité des jouets exigent déjà que les fabricants évaluent les risques pour la santé mentale liés aux jouets connectés. Bonne nouvelle, dans l'esprit : on reconnaît que la sécurité ne se limite pas aux matériaux.

Mais une évaluation sérieuse devrait aller plus loin qu'une déclaration générale. Pour un jouet conversationnel, elle devrait couvrir au minimum : erreurs de reconnaissance vocale, questions ambiguës, sujets sensibles, réponses contradictoires, perte de connexion et comportement après une mise à jour. Les tests doivent aussi tenir compte de l'âge annoncé et de la manière dont un enfant utilise réellement le produit, seul ou avec un adulte.

L'indépendance compte aussi. Le fabricant connaît son système, bien sûr, mais il a aussi intérêt à vendre. Des évaluations externes permettent de vérifier les scénarios retenus, les limites du dispositif et la robustesse des protections. La demande formulée par des parlementaires britanniques pour suspendre les ventes en attendant des tests indépendants s'inscrit dans cette logique de précaution. Pour le moment, d'après les médias, ce n'est pas une règle déjà appliquée partout.

La traçabilité doit enfin être traitée comme une exigence de sécurité. Le consommateur et les autorités doivent pouvoir identifier l'entreprise responsable, obtenir une notice claire et savoir à qui signaler un problème. Si plusieurs acteurs interviennent (fabricant du jouet, fournisseur du modèle, marque commerciale, distributeur), les responsabilités doivent être indiquées clairement. Sans ça, un incident a toutes les chances de se perdre entre les interlocuteurs.

Un cadre de contrôle sérieux devrait aussi prévoir une étape après la mise sur le marché. On ne peut pas anticiper toutes les conversations avant lancement. Les signalements des familles, des enseignants et des professionnels doivent être triés, analysés, puis suivis d'actions : correction logicielle, modification des règles de réponse, avertissement ou retrait si nécessaire. Et une mise à jour ne devrait pas ajouter des fonctions sans réévaluer les risques associés.

Oui, cette approche a un coût pour les entreprises : tests, documentation, support, suivi des incidents. Mais ce coût ne disparaît pas ; il revient autrement, sous forme de risque juridique, de retrait commercial, de perte de confiance, ou de préjudice pour les familles. Pour un produit destiné aux enfants, intégrer la sécurité dès la conception coûte généralement moins cher que d'essayer de réparer une crise une fois le produit diffusé.

Que vérifier avant d'acheter un jouet connecté ?

On ne peut pas auditer un modèle d'intelligence artificielle en lisant l'emballage. En revanche, quelques vérifications permettent déjà d'écarter les produits dont la base d'information est trop floue. L'objectif n'est pas de trouver une garantie absolue (elle n'existe pas), mais de vérifier que l'entreprise assume la responsabilité de ce qu'elle vend.

Commencez par identifier le fabricant et le distributeur. Un nom clair, une adresse de contact, une notice compréhensible : c'est le minimum. Si le vendeur ne sait pas expliquer qui gère les mises à jour ou les incidents, il sera difficile d'obtenir une réponse au moment où elle devient indispensable.

Ensuite, regardez les conditions d'usage : âge recommandé, sujets que le jouet peut aborder, besoin d'une connexion Internet, et possibilité de couper le micro ou de limiter les fonctions conversationnelles. Si le produit enregistre des échanges, cherchez des explications concrètes : quelles données, combien de temps, et qui peut y accéder. Les formules vagues du type « protection de la vie privée » ne répondent pas vraiment à ces points.

Avant de laisser un enfant utiliser l'objet, il est aussi utile de le tester avec un adulte. Posez des questions ambiguës ou sensibles, observez si le jouet sait dire « je ne sais pas » ou qu'il n'a pas compris, et vérifiez s'il renvoie vers un adulte plutôt que d'improviser. Un essai ponctuel ne prouve pas que le produit est sûr, mais il peut révéler des comportements manifestement mal conçus.

Enfin, mettez en place une règle d'usage adaptée à l'âge. Pour les plus jeunes, le jouet peut rester dans un espace partagé et ne pas être présenté comme un substitut à un parent ou à un professionnel. Vous pouvez dire simplement que l'objet peut se tromper et que, si une réponse inquiète, l'enfant doit venir vous voir. Cette supervision ne doit pas être un « pansement » pour compenser un produit mal conçu ; elle sert de protection supplémentaire.

À retenir avant de choisir :

• Identifiez clairement le fabricant et le service client.
• Vérifiez l'âge recommandé, la connexion et les fonctions liées à l'enregistrement.
• Cherchez des contrôles parentaux et un moyen simple de couper le micro.
• Testez les réponses avec un adulte, surtout face à une question ambiguë.
• Expliquez à l'enfant qu'un jouet peut se tromper et qu'un adulte reste la référence.