Les deepfakes sexuels ne sont plus une hypothèse réservée aux spécialistes de l'IA. Des outils accessibles permettent de fabriquer, à partir de l'image d'une personne réelle, des contenus dégradants ou pornographiques qui peuvent paraître crédibles. Le problème ne tient donc pas seulement à la qualité des modèles : il touche aussi à la façon dont les produits sont conçus, la manière dont les signalements sont gérés et, surtout, la capacité des personnes visées à obtenir réparation.
Jess Asato, députée travailliste britannique et militante pour la protection des femmes et des enfants, dit l'avoir vécu après avoir dénoncé les usages de Grok, le chatbot de xAI intégré à X. Des images et une vidéo la mettant en scène dans des situations sexualisées ou violentes ont circulé. D'après son témoignage, ses signalements initiaux auraient été rejetés par la plateforme. Elle a ensuite engagé une action en justice contre xAI, en s'appuyant notamment sur le droit des données et le respect de sa vie privée.
L'affaire ne préjuge pas de la décision d'un tribunal. Mais elle soulève, pour les entreprises qui conçoivent ou déploient des systèmes génératifs, des questions très concrètes : qui doit prévenir les usages prévisibles, que signifie le consentement quand les images peuvent être générées à la volée, et comment traiter une plainte quand le préjudice est déjà arrivé ? Voici les faits rapportés, les enjeux juridiques et ce que les équipes produit peuvent en tirer.
Ce qui s'est passé avec Grok et Jess Asato
Jess Asato est députée de Lowestoft, dans l'est de l'Angleterre. Avant son entrée au Parlement, elle a travaillé auprès d'organisations qui soutiennent les victimes de violences domestiques et les enfants vulnérables. Ces expériences ont nourri son engagement pour renforcer les protections des femmes et des mineurs, y compris dans l'espace numérique.
D'après l'entretien publié par WIRED, Asato connaissait déjà les détournements sexuels d'images générées par IA avant la controverse autour de Grok. Ce phénomène est parfois appelé « nudification » : une personne demande à un outil de transformer l'image d'un individu réel pour le représenter nu, partiellement dénudé ou dans une situation pornographique. La personne représentée n'a pas forcément donné son accord, et le résultat peut être très photoréaliste.
La députée a dénoncé publiquement le fait que Grok pouvait être utilisé pour produire ce type de contenu. Elle a appelé l'entreprise à empêcher ces usages et a plaidé au Parlement britannique pour des mesures visant les applications de nudification et les chatbots d'IA. Toujours selon son récit, après sa prise de position, des utilisateurs ont généré des images d'elle en bikini, ainsi que des contenus à caractère politique ou humiliant. Une vidéo la montrait dans une scène simulant une agression sexuelle.
D'après elle, ses premiers signalements à X n'ont pas abouti : la plateforme lui aurait répondu à plusieurs reprises que les contenus ne contrevenaient pas à ses règles. Après l'intervention d'un avocat, les contenus concernés ont été retirés. C'est à ce moment-là qu'elle a décidé d'engager une procédure contre xAI.
Une action fondée sur le droit existant
Asato indique que son action s'appuie notamment sur le RGPD et sur le droit à la vie privée. Sa thèse est que son visage et son apparence relèvent de données personnelles, dont le traitement par l'outil n'aurait pas été autorisé. Elle estime aussi que la vidéo franchit un seuil particulièrement grave, compte tenu de la mise en scène d'une agression sexuelle.
Ces éléments relèvent de la plainte et ne constituent pas une décision de justice. Au moment de l'entretien, elle disait attendre la réponse de l'entreprise et ne pouvait pas donner de calendrier pour une éventuelle audience. xAI n'avait pas répondu à la demande de commentaire rapportée par WIRED. Il faut donc distinguer les faits décrits par Asato, les arguments juridiques avancés par ses conseils, et ce qu'un tribunal décidera éventuellement.
Pourquoi une image fausse peut produire un préjudice réel
Dire qu'un deepfake est « faux » confond deux choses : l'authenticité du fichier et le dommage causé à la personne visée. Une image peut être fausse au sens documentaire tout en utilisant le visage, le nom ou la réputation d'une personne réelle, sans son accord. Elle peut ensuite être partagée, copiée, et extraite de son contexte avant même que la cible sache qu'elle existe.
Asato insiste sur cette distinction. Pour les victimes, ce n'est pas seulement une question de prouver qu'une scène s'est réellement déroulée. C'est aussi le fait de voir son identité associée à une scène qu'on n'a pas choisie : sexualisée, humiliante, parfois violente. Ce type de représentation peut impacter la vie privée, les relations personnelles, la sécurité ressentie et la capacité à participer librement aux échanges en ligne.
La circulation renforce le problème. Une fois qu'un contenu est publié, il peut être téléchargé ou reproduit sur d'autres services. La personne visée ne sait pas toujours quel outil a été utilisé, qui l'a demandé, ni où le contenu continue d'être diffusé. Dans le cas décrit par Asato, le lien avec Grok semblait plus facile à repérer, car l'outil était intégré à X et les commandes apparaissaient dans les échanges. Mais cette traçabilité n'est pas la norme : ailleurs, l'origine peut être difficile à établir.
Le coût humain ne se réduit pas au retrait du contenu
Une suppression rapide après signalement règle une partie du problème, pas forcément l'ensemble du préjudice. Le contenu a peut-être déjà été vu, partagé, ou conservé. La victime doit parfois documenter ce qui s'est passé, contacter plusieurs intermédiaires et répéter son récit à différentes équipes. Et quand les procédures de signalement sont opaques, on a vite l'impression que le problème n'est pas pris au sérieux - jusqu'au moment où ça explose.
Asato dit avoir reçu des témoignages de femmes, de parents et d'enseignants. Certains parlaient de contenus produits à l'école par des élèves, à partir d'images de camarades ou d'enseignantes. Ces exemples montrent une réalité simple : quand les outils deviennent accessibles, l'échelle du risque change. On n'est plus seulement face à des opérations sophistiquées menées par des spécialistes, mais aussi à des usages lancés sans compétence technique particulière.
Cela ne veut pas dire que chaque contenu généré entraîne les mêmes conséquences, ni que toutes les victimes réagissent pareil. Mais réduire automatiquement ces actes à de la « plaisanterie », c'est minimiser l'absence de consentement et le rapport de force entre la personne ciblée, l'auteur et les plateformes. En clair : dans une analyse produit, le préjudice doit se lire à travers l'usage, la diffusion et les options de recours, pas uniquement à partir du caractère « synthétique » de l'image.
La responsabilité commence dans la conception du produit
Un point central, dans le témoignage d'Asato, est que certains usages abusifs peuvent être anticipés. Elle affirme que des outils génératifs avaient déjà prévu des refus face aux demandes de nudification. Si une catégorie de requêtes est connue et qu'il existe des moyens de la bloquer ou d'en limiter les résultats, l'entreprise ne peut pas traiter chaque détournement comme une surprise.
Cette logique ne s'arrête pas à la modération après publication. Le risque dépend de plusieurs couches : les capacités du modèle, les règles appliquées aux requêtes, les garde-fous sur les images, les outils de partage, et la qualité du traitement des signalements. Une entreprise peut agir avant, pendant et après la génération. Aucun filtre n'est parfait, mais ne rien mettre en place n'est pas équivalent à une « protection imparfaite ».
Un cadre de prévention à plusieurs niveaux
Pour une équipe qui développe un assistant multimodal, la question utile n'est pas seulement : « avons-nous une politique contre les contenus abusifs ? ». Il faut vérifier comment cette politique fonctionne dans le produit réel, y compris quand les utilisateurs reformulent leurs demandes ou combinent plusieurs fonctionnalités.
Un dispositif pragmatique peut s'organiser en quatre étapes :
- Cartographier les usages prévisibles. Tester les demandes de nudification, la sexualisation d'une personne identifiable et la mise en scène de violence. Prévoir des scénarios réalistes, pas seulement les formulations les plus évidentes.
- Réduire les capacités à risque. Appliquer des refus et des contrôles adaptés aux images de personnes réelles. Le bon niveau de restriction dépend du contexte du produit : un outil d'édition à usage professionnel n'a pas la même situation qu'un chatbot grand public, mais le contexte ne dispense pas de garde-fous.
- Rendre le signalement praticable. Permettre à une personne concernée de signaler sans devoir maîtriser les détails techniques du modèle. Prévoir une priorité de traitement, une confirmation de réception et une explication de la décision.
- Mesurer et corriger. Suivre les tentatives, les contournements, les délais de traitement et les récidives. Réviser les protections à partir des cas observés, plutôt que de considérer la mise en production comme la fin du travail.
La modération n'est pas un substitut à la conception sûre
Une plateforme peut retirer rapidement un contenu après une plainte tout en laissant un risque évitable se produire. À l'inverse, un garde-fou de génération peut limiter certains abus sans empêcher la diffusion de contenus fabriqués ailleurs. Les deux niveaux sont nécessaires, avec des responsabilités distinctes et une coordination claire.
Dans la pratique, ces arbitrages ont un coût. Des contrôles plus stricts peuvent bloquer des demandes légitimes, créer de la friction et augmenter les dépenses d'exploitation. Des contrôles trop faibles déplacent ce coût vers les personnes ciblées, vers les équipes de modération, et, en cas de litige, vers l'entreprise elle-même. La décision n'est donc pas « innovation contre sécurité ». C'est plutôt : quels usages veut-on accepter, et qui porte le risque résiduel ?
Ce que l'affaire peut changer pour les entreprises d'IA
L'affaire Asato pourrait contribuer à clarifier la façon dont les règles existantes s'appliquent à la génération d'images et à l'utilisation de données personnelles. Elle ne permet pas, à elle seule, d'affirmer qu'un tribunal retiendra la responsabilité de xAI, ni que toutes les entreprises d'IA aboutiront au même résultat. Son intérêt, c'est surtout le test qu'elle pose : une entreprise peut-elle répondre de la manière dont son système traite l'image identifiable d'une personne, quand cet usage n'a pas été autorisé et cause un préjudice ?
Le RGPD devient particulièrement important pour les entreprises qui opèrent en Europe. Une image n'est pas automatiquement une donnée biométrique au sens juridique dans tous les contextes, mais une image qui permet d'identifier une personne peut relever des données personnelles. Il faut alors regarder le traitement, sa finalité, la base juridique et les mesures de protection, au regard des circonstances. Les entreprises ne devraient donc pas résumer l'analyse à « l'utilisateur a fourni la photo » ou « le modèle n'a fait que répondre à une requête ».
Une grille de décision pour les équipes produit et conformité
Avant de lancer une fonction capable de transformer des images ou de générer des scènes réalistes, une équipe peut documenter cinq questions :
- Qui peut être représenté ? La fonction traite-t-elle uniquement des personnages fictifs, ou aussi des personnes réelles identifiables ?
- Quel consentement est requis ? Le fait qu'un utilisateur dispose d'une image ne prouve pas que la personne représentée a accepté la transformation ou la diffusion.
- Quels dommages sont prévisibles ? Évaluer les atteintes à la vie privée, le harcèlement, la sexualisation non consentie, l'usurpation et les effets possibles sur les mineurs.
- Que se passe-t-il après un signalement ? Définir qui reçoit la plainte, sous quel délai elle est examinée, quelles preuves sont conservées, et comment limiter une nouvelle diffusion.
- Qui prend la décision ? Clarifier la responsabilité entre l'équipe modèle, le produit, la modération, le juridique et la direction. Quand le risque est « partagé » sans responsable identifié, il est souvent sous-traité.
Cette grille ne remplace pas une analyse juridique. Mais elle force les équipes à traiter le sujet comme un problème de produit et de gouvernance, pas comme une simple « gestion de crise ».
Des règles nationales face à des services mondiaux
Asato a aussi plaidé au Parlement britannique pour des mesures contre les applications de nudification et pour une couverture plus large des chatbots par les règles de sécurité en ligne. D'après son entretien, certaines dispositions devaient encore entrer en application et faire l'objet de consultations. Le calendrier et le périmètre exacts relèvent du droit britannique : ils ne peuvent pas être transposés mécaniquement au cadre français.
Le point de friction reste européen. Les services circulent d'un pays à l'autre, tandis que les recours et les autorités compétentes s'inscrivent dans des cadres juridiques précis. Une victime peut ne pas connaître l'auteur, ni le service qui a généré le contenu. Asato dit que la police avait identifié l'auteur d'une vidéo la concernant, mais que sa localisation aux États-Unis empêchait, selon elle, d'engager des poursuites. Ce décalage rend les mécanismes de coopération et de réponse des plateformes déterminants.
Pour les entreprises, la conséquence pratique est assez simple : attendre une règle unique, totalement stabilisée, avant d'agir est risqué. Les exigences légales évolueront, mais les usages prévisibles peuvent déjà être intégrés dans la conception, les procédures de signalement et les évaluations de conformité.
Conclusion : traiter le risque avant qu'il ne devienne viral
L'affaire Jess Asato met en évidence une réalité à garder en tête : un modèle génératif ne produit pas ses effets dans le vide. Le risque dépend de ce que le système permet, de la façon dont il s'insère dans une plateforme et de la réponse apportée aux personnes ciblées. Une image artificielle peut créer un préjudice très réel, même si la scène représentée n'a jamais existé.
La procédure contre xAI doit suivre son cours et les arguments seront examinés dans le cadre juridique applicable. Pour les équipes qui conçoivent des produits d'IA, attendre un jugement ne devrait pas servir d'excuse pour différer les décisions de prévention. Cartographier les usages, réduire les capacités à risque, rendre les signalements efficaces et clarifier les responsabilités, ce sont déjà des choix de produit concrets.
La question à se poser avant chaque lancement n'est pas seulement de savoir si la technologie fonctionne. C'est aussi : qui risque d'en payer le prix, quelles protections existent avant la diffusion et à qui revient la responsabilité quand ces protections ne suffisent pas.