Chatbots IA pour enfants : la loi de New York expliquée
La loi de New York encadre les chatbots IA pour mineurs : comportements interdits, vérification d’âge, sanctions et conséquences concrètes pour les entreprises.
Chatbots IA et enfants : ce que la loi de New York change vraiment
Un chatbot qui se présente comme un ami, entretient une relation affective, ou pousse un adolescent à garder une conversation secrète ne relève plus seulement du « bon sens » en matière d'usages. À New York, ces comportements sont désormais visés par une loi qui encadre la sécurité des mineurs face aux agents conversationnels.
Le texte, signé par la gouverneure Kathy Hochul, interdit certaines interactions pour les utilisateurs de moins de 18 ans et pour les personnes dont l'âge n'a pas été vérifié. Il impose aussi aux entreprises de prévoir plusieurs méthodes de vérification, avec au moins une option qui ne repose pas uniquement sur une pièce d'identité officielle. En cas de manquement, les sanctions peuvent aller jusqu'à 25 000 dollars par infraction.
Pour les entreprises d'IA, l'enjeu ne se limite pas à la modération « à la demande ». Il touche la conception du produit, la façon de gérer les données d'âge et la manière de traiter les situations où l'utilisateur est mineur (ou quand l'âge reste inconnu). Voici ce que la loi prévoit, ce qu'elle ne règle pas, et ce que les acteurs français et européens peuvent en tirer.
Ce que la loi de New York interdit aux chatbots destinés aux mineurs
La loi vise les interactions entre un chatbot et un utilisateur de moins de 18 ans. Elle s'applique aussi lorsque l'âge de la personne n'a pas été vérifié. Autrement dit, une entreprise ne peut pas « par défaut » considérer que l'utilisateur est majeur sous prétexte qu'il n'a pas déclaré être mineur.
Le texte interdit au chatbot de se présenter comme une personne réelle ou comme un être vivant, ou de prétendre ressentir des émotions humaines. Il lui est aussi interdit d'affirmer qu'il entretient avec l'enfant une relation personnelle, amoureuse ou professionnelle. Autre cas visé : poser spontanément des questions émotionnelles, lorsque cela a pour but (ou pour effet) de créer une intimité artificielle.
La loi encadre également les contenus et les encouragements à risque. Un chatbot ne doit pas promouvoir le suicide, l'automutilation, les troubles alimentaires, ni l'usage de drogues ou d'alcool auprès des mineurs. Il ne peut pas non plus inciter un enfant à cacher des informations à ses parents, ni lui montrer des contenus sexuellement explicites.
Une distinction entre conversation utile et relation simulée
La loi ne signifie pas qu'un assistant scolaire, un outil de programmation ou un service de soutien pratique ne peut plus répondre aux jeunes. La différence tient surtout à la façon dont le système « fabrique » la relation et aux sujets qu'il aborde. Aider à comprendre un exercice n'a rien à voir avec se comporter comme un confident qui dit aimer l'utilisateur ou qui lui demande de garder l'échange secret.
Mais, dans un produit réel, ce n'est pas toujours facile à trancher. Un agent conversationnel ne suit pas un script figé : il adapte ses réponses au contexte, à l'historique, et parfois au ton de l'utilisateur. Une fonctionnalité pensée pour rendre l'échange plus fluide peut, dans certaines conversations, glisser vers une dynamique affective trop forte.
Au fond, la règle devient une contrainte de conception. Il ne suffit pas de filtrer quelques mots : il faut regarder les parcours complets, les relances du modèle et les situations où un utilisateur vulnérable exprime une détresse. Un filtre « sur des termes » ne suffit pas pour empêcher un système de renforcer une dépendance ou de répondre de façon inappropriée.
Quelles obligations impose-t-elle aux entreprises d'IA ?
La loi ne s'arrête pas aux interdictions de contenu. Elle impose aux entreprises de vérifier l'âge des utilisateurs et de proposer plusieurs méthodes de vérification. Au moins une méthode ne doit pas dépendre uniquement d'une pièce d'identité délivrée par un gouvernement. Enfin, les données recueillies pour vérifier l'âge doivent être supprimées après usage.
L'idée est d'éviter une réponse trop simple du type « carte d'identité à chaque fois ». Une approche comme celle-là pourrait exclure des personnes qui n'ont pas (ou pas facilement) accès à certains documents, tout en collectant davantage de données personnelles que nécessaire. Mais multiplier les méthodes ajoute aussi une difficulté : chacune doit être suffisamment fiable, accessible et adaptée au niveau de risque du service.
Vérifier l'âge sans conserver plus de données que nécessaire
Pour une équipe produit, la vérification d'âge ne peut pas être un simple champ dans un formulaire. Il faut décider ce qu'il se passe quand l'âge est confirmé, quand il ne l'est pas, et quand la vérification échoue. Dans le cadre décrit par la loi, les utilisateurs dont l'âge reste non vérifié entrent aussi dans le champ des protections. Concrètement, l'entreprise doit donc prévoir un mode de fonctionnement sûr par défaut, au lieu de laisser toutes les fonctionnalités accessibles « jusqu'à preuve du contraire ».
La suppression des données d'âge après leur utilisation est un autre point structurant. L'équipe doit pouvoir expliquer : quelles données sont nécessaires, à quel moment elles servent, et quand elles sont effacées. Une simple phrase dans une politique de confidentialité ne remplace pas un mécanisme technique vérifiable. Il faut aussi éviter que ces informations soient réutilisées à d'autres fins - par exemple personnaliser des recommandations ou entraîner un modèle - si le texte ne l'autorise pas.
Des sanctions qui peuvent toucher les données et les modèles
Le procureur général de l'État, Letitia James, peut demander des sanctions civiles jusqu'à 25 000 dollars par infraction. Et ce n'est pas qu'une question d'amende : la loi permet aussi d'ordonner la destruction de données collectées illégalement et de modèles d'IA entraînés à partir de ces données.
Ça change la façon de calculer le risque. Une collecte non conforme ne reste pas forcément cantonnée à l'inscription : elle peut se retrouver dans la chaîne de développement du modèle. Pour une entreprise, retracer l'origine des données et documenter leurs usages devient donc un sujet de « continuité produit », autant que de conformité.
La loi doit entrer en vigueur le 1er janvier 2027, selon les informations communiquées lors de son adoption. Les règles d'application sont attendues ensuite. Les entreprises concernées ont donc intérêt à auditer leurs systèmes avant cette date, en gardant un œil sur les précisions qui pourraient encore être publiées.
Quels sont les risques et les limites de cette loi ?
Le texte a un mérite : il rend explicites des comportements qui peuvent exposer les mineurs à des risques particuliers, comme la simulation d'une relation humaine, l'incitation à l'automutilation, les contenus sexuels ou la demande de secret. Une entreprise ne peut plus traiter ces cas comme de simples problèmes de ton ou comme des incidents isolés. Ils deviennent des sujets de responsabilité produit et de conformité.
Mais une interdiction ne garantit pas, par elle-même, qu'un système sera sûr. Les modèles génératifs produisent des réponses variables, et le risque vient souvent de plusieurs échanges, pas d'une phrase prise séparément. La loi peut définir ce qui est interdit ; aux entreprises de construire les tests, les mécanismes de limitation et les procédures de traitement des incidents qui rendent la règle effective.
Des notions dont la portée peut être discutée
Des représentants du secteur technologique et des spécialistes de la protection de la vie privée ont critiqué certaines catégories du texte. Ils jugent notamment certaines notions trop larges ou insuffisamment définies. L'expression « relation personnelle », par exemple, peut recouvrir des situations très différentes selon le service. Un assistant de tutorat adopte parfois un ton encourageant ; un compagnon conversationnel peut chercher à devenir l'interlocuteur affectif principal. La frontière ne se résume donc pas à une formule unique.
Cette imprécision peut compliquer l'application de la loi et conduire des entreprises à limiter des usages légitimes, par prudence. Tech:NYC, qui représente des entreprises technologiques à New York, a notamment alerté sur le fait que le texte pourrait toucher des outils d'aide aux devoirs, du code, de l'orientation professionnelle.
Au fond, c'est le dilemme classique de la régulation : trop étroit, et des comportements dangereux passent entre les mailles ; trop large, et les obligations deviennent difficiles à interpréter ou les services utiles ralentissent. L'essentiel dépendra de la qualité de l'application et des clarifications apportées ensuite.
Les systèmes de sécurité doivent couvrir les usages réels
Kathy Hochul a cité le cas d'Adam Raine, un adolescent californien mort par suicide après avoir échangé avec ChatGPT. Ses parents ont participé à la campagne en faveur de la loi. Le message est clair : la question ne se réduit pas à « est-ce que les réponses sont exactes ? ».
Pour les équipes, la conséquence pratique est de tester les conversations difficiles, pas seulement les démonstrations prévues. Que se passe-t-il si un jeune parle de suicide ? S'il demande de garder un secret ? S'il essaie d'approfondir une relation affective avec l'agent ? Il faut définir le comportement attendu, mesurer les échecs et prévoir une réponse adaptée - plutôt que de compter sur la bonne intention du modèle.
Quelles leçons pour les entreprises françaises et européennes ?
La loi de New York ne s'applique pas directement aux entreprises françaises. Elle n'en reste pas moins un signal réglementaire et un aperçu de la manière dont certains usages des assistants IA destinés aux mineurs seront examinés : sécurité, protection des données, et responsabilité envers les utilisateurs.
En Europe, le RGPD encadre déjà le traitement des données personnelles, et les règles applicables aux services numériques et à l'IA continuent d'évoluer. Mais ces cadres ne sont pas identiques à la loi new-yorkaise : il ne faut pas les confondre. Pour un service commercialisé à l'international, les obligations doivent être analysées pays par pays, au lieu de croire qu'une seule politique globale couvre tout.
Une méthode de travail pour les équipes produit
Pour réduire les risques sans supprimer tous les usages utiles, une équipe peut structurer son travail en quatre étapes :
- Définir les usages et les publics. Identifiez si le produit est destiné aux mineurs, s'il peut être utilisé par eux, et quelles fonctionnalités peuvent créer une relation personnelle avec l'agent.
- Cartographier les scénarios à risque. Testez les demandes de soutien émotionnel, les propos sur l'automutilation, les demandes de secret, les contenus sexuels et les tentatives de créer une relation exclusive avec le chatbot.
- Choisir des protections proportionnées. Selon le service, cela peut inclure des limites de réponse, une vérification d'âge, une escalade vers des ressources adaptées ou le retrait de certaines fonctionnalités pour les comptes dont l'âge n'est pas confirmé.
- Documenter et réévaluer. Gardez des preuves de tests, de décisions produit et de traitement des incidents. Reprenez l'évaluation après chaque modification du modèle ou du parcours utilisateur.
Ce n'est pas une garantie juridique. Mais ça aide à relier les obligations aux choix concrets qui produisent les risques : l'interface, les consignes données au modèle, la mémoire conversationnelle, les données collectées et les mécanismes de signalement.
Le cas à part des babyphones connectés
La gouverneure a aussi signé une loi distincte sur les babyphones connectés qui transmettent de l'audio ou de la vidéo par Internet. Les nouveaux appareils vendus dans l'État devront intégrer des protections contre l'accès par des personnes non autorisées et afficher un avertissement. Cette loi doit entrer en vigueur 90 jours après sa signature.
Ce volet ne traite pas des chatbots. Il illustre néanmoins une logique commune : quand un produit connecté expose des informations sensibles, la sécurité ne peut pas reposer uniquement sur la vigilance de l'utilisateur. Pour un fabricant, la question devient : est-ce que l'accès non autorisé est réellement empêché par la conception, et le consommateur comprend-il les limites restantes ?
Pour les entreprises françaises de la French Tech, le bon réflexe n'est pas de copier mécaniquement la loi américaine. C'est d'anticiper les décisions « terrain » qu'elle oblige à se poser : quels usages sont acceptables pour un mineur, comment l'âge est établi, quelles données sont conservées, et comment l'entreprise réagit quand un système produit une réponse dangereuse.
Conclusion : la sécurité doit se concevoir dans le produit
La loi de New York transforme plusieurs risques liés aux chatbots pour mineurs en obligations concrètes : pas de relation humaine simulée, pas d'encouragement à des comportements dangereux, vérification de l'âge et suppression des données utilisées à cette fin. Les sanctions possibles rendent aussi la traçabilité des données et des modèles plus « réelle » qu'un simple principe.
Pour les entreprises françaises et européennes, le texte n'est pas une règle à transposer telle quelle. C'est un cas concret qui montre pourquoi la sécurité des jeunes doit être intégrée dès la conception du service, puis réévaluée quand le modèle ou les usages changent. Commencez par cartographier les parcours destinés aux mineurs, les risques associés et les données nécessaires : c'est là que les décisions de conformité deviennent, vraiment, des décisions produit vérifiables.