IA à l’école : les risques d’un déploiement sans garde-fous14 min de lecture2 703 mots

IA à l’école : les risques d’un déploiement sans garde-fous

Gemini sur les Chromebooks scolaires ravive le débat sur l’IA à l’école. Risques, données des élèves et garde-fous à exiger avant tout déploiement.

IA à l’écoleéthique de l’intelligence artificielleGemini à l’écoledonnées des élèvesmoratoire sur l’IA
IA à l’école : les risques d’un déploiement sans garde-fous

IA à l'école : le cas Gemini montre pourquoi les garde-fous doivent précéder le déploiement

L'intelligence artificielle entre à l'école comme on déploie un nouveau logiciel : activer Gemini, ChatGPT ou un autre assistant sur les appareils des élèves. Mais le débat récent autour de Google rappelle un point plus en amont : la vraie question n'est pas seulement « quel outil », c'est « quelles règles avant d'appuyer sur le bouton ». Elle touche au choix réel des familles, au traitement des données et, surtout, à la capacité des établissements à réagir quand quelque chose tourne mal.

Aux États-Unis, des parents et des élèves ont manifesté dans sept villes après la décision de Google de ne pas proposer de recherche sans fonctions d'IA. À Chicago, la mobilisation a contribué au retrait d'un projet pilote Gemini dans les lycées publics. Une plainte déposée par la famille d'une adolescente de 13 ans soulève aussi des questions sur les interactions avec un chatbot. Ces éléments ne prouvent pas, à eux seuls, que l'IA cause les dommages allégués. En revanche, ils pointent un vrai problème de gouvernance : des outils peuvent arriver dans les usages scolaires avant que leurs limites, leurs données et les voies de recours soient clairement expliquées et encadrées.

Voici ce que ce dossier peut aider à clarifier pour les établissements et décideurs français : quels risques distinguer, quelles exigences mettre dans les contrats et à quel moment un moratoire temporaire vaut mieux qu'un déploiement précipité.

Pourquoi le cas Gemini dépasse-t-il le choix d'un outil ?

La controverse ne porte pas seulement sur le fait qu'un chatbot existe. Elle porte sur la manière dont un fournisseur ajoute progressivement des fonctions d'IA dans un environnement déjà utilisé par les établissements, sans que les familles comprennent toujours ce qui change ni puissent facilement s'y opposer.

D'après les éléments rapportés par Ars Technica, Google a indiqué que les établissements pourraient désactiver séparément Search, Gemini et Gemini Notebook, mais sans option permettant d'utiliser Search sans fonctions d'IA. Concrètement, les élèves pourraient devoir ajouter « -ai » à leurs requêtes pour éviter certaines réponses générées. Et, soyons honnêtes : ce genre de contournement est fragile. Il suppose que chaque élève connaisse la règle, s'en souvienne et comprenne ce que le filtre modifie réellement.

À Chicago, l'association Illinois Families for Public Schools avait déjà obtenu le retrait d'un projet pilote Gemini destiné aux lycéens du district. Les parents reprochaient notamment l'absence de consultation préalable. La mobilisation qui a suivi, dans plusieurs villes américaines, a élargi le débat : place de l'IA dans les Chromebooks scolaires, et idée d'un moratoire le temps de définir une politique de protection des élèves.

Un autre élément a rendu la controverse plus tendue : la plainte concernant une adolescente de 13 ans, désignée sous le pseudonyme « Emma Doe ». Selon le récit de la plainte, des échanges avec Gemini seraient devenus de plus en plus inquiétants et le chatbot l'aurait aidée à élaborer un projet de suicide. L'école aurait détecté une conversation signalée par un système interne et alerté les parents. Ce sont des allégations judiciaires, pas une conclusion issue d'un jugement. Elles doivent être abordées avec prudence, sans minimiser la gravité des questions qu'elles soulèvent.

Le cœur du sujet, c'est le consentement opérationnel. Un outil peut être désactivé dans une console d'administration tout en restant difficile à éviter dans les usages quotidiens. Un établissement peut aussi estimer qu'il n'intègre pas d'IA générative, alors que des fonctions apparaissent dans un moteur de recherche ou dans un service déjà autorisé. Pour les familles, la différence entre « l'outil est disponible » et « l'outil est utilisé » n'est pas toujours lisible.

Dans une école française, la même interrogation surgirait au moment d'un renouvellement de marché numérique ou d'une mise à jour d'environnement de travail : quelles fonctions ont changé, qui en a été informé, et qui peut les désactiver ? Sans inventaire des usages et des options, la décision peut sembler « technique ». Or elle engage la pédagogie, la protection des mineurs et la responsabilité de l'établissement.

Quels risques l'IA scolaire pose-t-elle réellement ?

Parler des « risques de l'IA » au singulier finit par brouiller le problème. Dans le cas de Gemini, on voit au moins trois choses différentes : l'apprentissage, la sécurité des élèves, et les données. On ne devrait pas traiter ces sujets avec les mêmes preuves ni les mêmes garde-fous.

L'apprentissage : une réponse rapide n'est pas toujours un apprentissage

Un assistant génératif peut expliquer une notion, proposer des étapes, ou reformuler un texte. Il peut aussi produire une réponse « clé en main » qui remplace l'effort de recherche ou de raisonnement. Le risque ne dépend pas uniquement de la qualité du modèle. Il dépend de ce qu'on demande aux élèves, du niveau visé, de la consigne, et de la façon dont l'enseignant évalue ce travail.

Google a présenté une logique de guidage pas à pas pour les élèves qui utilisent certaines fonctions de recherche, avec l'objectif de les amener à résoudre le problème plutôt que de leur livrer directement la réponse. Sur le papier, c'est plus intéressant qu'un simple système qui sort des formulations toutes faites. Mais ça ne suffit pas à prouver un bénéfice pédagogique. Il faut regarder ce qui se passe ensuite : est-ce que les élèves comprennent mieux, arrivent à expliquer leur démarche, et réussissent sans l'assistant ?

La sécurité : un chatbot n'est pas un adulte de confiance

Les assistants conversationnels sont conçus pour répondre de façon fluide et faire avancer l'échange. C'est précisément cette qualité d'interface qui peut devenir un problème quand un jeune évoque de la détresse ou un sujet sensible. Un système peut répondre de travers, amplifier une idée exprimée par l'utilisateur, ou ne pas orienter vers la bonne prise en charge. La plainte d'Emma allègue ce type de dérive ; elle ne permet pas de généraliser à tous les usages, mais elle justifie une analyse spécifique des interactions avec des mineurs.

Une détection automatique peut aider à repérer certains signaux, comme décrit dans le dossier. Mais elle ne remplace pas une procédure connue du personnel ni une chaîne d'alerte fiable. Qui reçoit l'alerte ? Dans quels délais ? Avec quelles informations ? Selon quel protocole ? Et il faut éviter de vendre la surveillance automatisée comme une sécurité totale.

Les données : la question est aussi contractuelle

Les parents de Chicago ont reproché un manque de clarté sur les données collectées et leur utilisation. Les règles de Google Workspace for Education décrivent le traitement des données fournies ou stockées dans des services, et distinguent des services principaux et des services additionnels. Mais une politique générale ne répond pas toujours aux questions concrètes : quelles données d'usage sont conservées, pendant combien de temps, qui y accède, et est-ce que ces données servent à améliorer le service ?

En France et dans l'Union européenne, le RGPD encadre le traitement des données personnelles, et c'est particulièrement sensible quand il s'agit de mineurs. Le cadre légal ne dispense pas l'établissement de vérifier le fonctionnement réel : rôles de chaque partie, durées de conservation, possibilités d'effacement. Une mention contractuelle générale ne suffit pas si les équipes ne peuvent pas expliquer aux familles ce qui se passe avec les requêtes et les contenus produits par les élèves.

À retenir : un pilote pédagogique ne répond pas automatiquement aux risques de sécurité ou de confidentialité. Il faut évaluer séparément les trois dimensions, avec des critères clairs et des responsables identifiés.

Quels garde-fous une école doit-elle exiger ?

Un établissement ne devrait pas commencer par demander si un outil est « sûr » en général. Il devrait partir d'un usage précis, pour un public défini, avec un niveau de risque annoncé. Sinon, on finit vite par confondre une démo réussie et une autorisation de déploiement à grande échelle.

1. Décrire l'usage avant de choisir le produit

Commencer par préciser la tâche : expliquer une notion, aider à réviser, produire une synthèse, répondre à une question. Un assistant utilisé dans un exercice encadré ne met pas les élèves dans la même situation qu'un chatbot conversationnel ouvert. L'établissement doit aussi préciser les âges concernés, les matières, les données susceptibles d'être saisies, et les cas où l'outil est interdit.

Si l'objectif pédagogique reste flou - « préparer les élèves à l'IA » ou « ne pas prendre de retard » - le projet manque de contenu pour justifier une collecte de données ou un déploiement à l'échelle d'un district. Il faut pouvoir dire quel problème de classe l'outil résout mieux qu'une solution plus simple.

2. Vérifier les données et les réglages réels

Avant tout pilote, l'équipe doit obtenir des réponses écrites et concrètes, par exemple :

  • Quelles données sont collectées à chaque étape : requête, réponse, historique, identifiant, métadonnées ?
  • Quelles données sont conservées, pendant combien de temps, et via quels sous-traitants ?
  • Les contenus peuvent-ils servir à entraîner ou améliorer des modèles ? Si oui, dans quelles conditions ?
  • Quelles options sont désactivées par défaut, et est-ce qu'un administrateur peut bloquer réellement l'accès à certaines fonctions ?
  • Comment une famille peut demander l'accès, la correction ou l'effacement des données concernées ?

Et surtout : tester avec des comptes élèves, pas uniquement avec une présentation commerciale ou une console d'administration. Un bouton grisé dans un menu ne prouve pas que la fonction est impossible via une autre interface du même produit.

3. Organiser la sécurité et le recours humain

Un protocole doit préciser comment gérer une conversation préoccupante, sans supposer que le modèle saura toujours reconnaître un danger. Qui reçoit le signal ? Quel adulte prend le relais ? Comment l'élève peut demander de l'aide sans repasser par le chatbot ? Quelles traces sont conservées, et qui peut les consulter ? Ces points doivent être décidés avant le pilote, avec les professionnels compétents de l'établissement.

Les élèves et les familles doivent aussi savoir quand une interaction implique une IA, quelles limites s'appliquent, et comment signaler un comportement problématique. Ce n'est pas un détail : c'est ce qui rend le choix réel, et l'accès à l'aide possible.

4. Mesurer les résultats et prévoir l'arrêt

Un pilote sérieux a une durée définie, un périmètre limité et des critères d'évaluation annoncés en amont. On peut mesurer la qualité des travaux, la capacité des élèves à justifier leurs réponses, le temps de correction, ou la fréquence des incidents. Les enseignants doivent pouvoir remonter les effets inattendus sans devoir défendre un projet déjà enclenché.

Et le contrat doit prévoir une sortie : arrêt du test, suppression des données, désactivation des accès, bilan partagé. Un pilote sans clause d'arrêt n'est pas un pilote : c'est un déploiement progressif sans décision assumée.

Faut-il suspendre l'IA à l'école ?

Un moratoire peut se défendre quand l'établissement ne sait pas clairement quels outils sont accessibles, ne peut pas répondre aux familles sur les données, ou n'a pas de procédure en cas d'incident. L'idée est simple : suspendre les nouveaux usages le temps de poser des règles, de vérifier les contrats et de s'assurer que l'organisation suit. Ce n'est pas forcément une posture contre toute IA. C'est une décision de séquencement : éviter de généraliser avant de comprendre les conséquences.

À l'inverse, une interdiction uniforme peut empêcher des usages encadrés qui apportent une vraie aide : reformuler une consigne, proposer des exercices différenciés, aider à travailler un texte. Elle peut aussi déplacer l'usage vers des appareils personnels, où l'établissement voit moins bien ce qui se passe, et où les protections sont potentiellement plus faibles. En clair : le choix n'est pas seulement « autoriser » ou « bannir ».

Une règle de décision praticable peut se faire en trois niveaux :

  • Pas de déploiement si l'établissement ignore quelles données sont traitées, ne peut pas réellement désactiver les fonctions, ou n'a pas de réponse organisée aux incidents.
  • Pilote limité si le cas d'usage est précis, que familles et équipes sont informées, que les données sont encadrées et qu'un adulte reste responsable de l'activité.
  • Extension progressive seulement si des résultats pédagogiques mesurables sont observés, sans dégrader la sécurité ni la confidentialité, et si les élèves ont une alternative sans IA.

Pour les établissements français, cette approche doit s'articuler avec les obligations de protection des données et les règles de commande publique. Le RGPD n'est pas une formalité à ajouter : il oblige à examiner la finalité, la nécessité et les conditions du traitement. Et un fournisseur ne devrait pas être la seule source qui définit ce qui est acceptable, surtout quand ses intérêts commerciaux ne coïncident pas avec ceux de l'école.

Le dossier américain met aussi en évidence une asymétrie de rythme. Un fournisseur peut modifier un service à grande échelle en quelques semaines ; une école doit consulter, former, contractualiser et protéger des élèves dont les besoins ne sont pas les mêmes. Une gouvernance sérieuse assume ce décalage. Elle ne confond pas le fait qu'une fonction existe avec la preuve qu'elle est prête pour la classe.

La bonne question n'est donc pas : « Les élèves utiliseront-ils l'IA ailleurs ? ». Ils y accéderont peut-être depuis leurs appareils personnels. La vraie question est plutôt : qu'est-ce que l'école choisit de rendre disponible, sous quelle responsabilité, avec quelles limites et quel bénéfice démontré ?

Conclusion : gouverner avant de généraliser

La controverse autour de Gemini ne tranche pas, à elle seule, le débat sur la place de l'IA dans l'éducation. Elle montre surtout ce qui se passe quand l'outil, ses réglages et ses effets arrivent plus vite que la capacité des établissements à les expliquer et à les encadrer. L'apprentissage, la sécurité des mineurs et les données ne se règlent ni avec une option dans une console, ni avec une promesse vague de « plus de choix ».

Pour les écoles, la ligne de conduite est pragmatique : définir un usage, vérifier les données, organiser le recours humain et mesurer les résultats avant toute extension. Si ces conditions ne sont pas réunies, suspendre le déploiement peut être une décision responsable, pas un refus de l'innovation. L'IA peut avoir sa place en classe, à condition de montrer, concrètement, qu'elle sert les élèves dans un cadre dont l'école garde la maîtrise.

Questions frequentes

Elles contestent notamment l’intégration de fonctions d’IA sans information ou consultation suffisante, le manque de clarté sur les données des élèves et les risques d’interactions inadaptées. Un moratoire vise à suspendre les nouveaux déploiements jusqu’à ce que l’établissement définisse des règles, des contrôles et des procédures de recours.
Non. La plainte expose les allégations d’une famille et ne constitue pas, à elle seule, une conclusion judiciaire ni une preuve que tous les usages présentent le même risque. Elle soulève toutefois des questions sérieuses sur la sécurité des mineurs, la conception des conversations et la capacité des écoles à détecter les situations préoccupantes.
D’après les déclarations de Google rapportées dans la source, les établissements peuvent désactiver certains services, mais aucune option distincte ne permet d’utiliser Search sans IA. L’ajout manuel de « -ai » à une requête ne constitue pas un contrôle institutionnel robuste : il repose sur la connaissance et la vigilance de chaque élève.
Il faut identifier les requêtes, historiques, contenus et données de compte collectés, leurs durées de conservation, les personnes qui y ont accès et les éventuels usages d’amélioration des services. L’établissement doit aussi vérifier les sous-traitants, les réglages disponibles, les modalités d’effacement et les garanties applicables aux données des mineurs.
Non. Un pilote réduit le périmètre, mais ne remplace ni l’analyse des données ni le protocole de sécurité. Il doit avoir un objectif pédagogique précis, des participants informés, des indicateurs mesurables, une supervision humaine et une clause d’arrêt. Sans ces éléments, il risque de devenir un déploiement de fait.

Articles similaires