Robots IA : 13 sites malaisiens sur 100 les bloquent
Une enquête sur 100 sites malaisiens révèle quels robots IA sont bloqués et pourquoi. Comprenez les résultats et décidez quoi autoriser sur votre site.
Robots IA : ce que révèlent 100 sites malaisiens
Faut-il autoriser les robots d'intelligence artificielle à parcourir son site ? En pratique, la réponse ne tient pas dans un oui ou un non : ces robots ne cherchent pas tous la même chose. Certains collectent des pages pour entraîner des modèles, d'autres alimentent des moteurs de recherche IA, et d'autres encore récupèrent une page à la demande d'un utilisateur. Les bloquer tous, c'est donc mélanger plusieurs décisions différentes dans un seul geste.
Pour savoir ce que les entreprises font vraiment, une enquête a examiné le fichier robots.txt de 100 grands sites malaisiens, dans dix secteurs, le 20 octobre 2026. Résultat : 13 sites bloquent au moins un robot IA, aucun ne les bloque tous, et les sites d'information sont les plus restrictifs. Mais le point le plus révélateur est peut-être ailleurs : la majorité des sites n'a tout simplement pas prévu de règle spécifique pour les robots IA.
Voici les principaux résultats, les robots concernés et les limites de cette mesure. On verra aussi comment distinguer l'entraînement des modèles de la visibilité dans les réponses générées, puis comment traduire cette distinction en règles concrètes pour son propre site.
Que révèle l'échantillon de 100 sites malaisiens
Sur les 100 sites étudiés, 78 ont fourni un fichier robots.txt que le script pouvait lire. Parmi eux, 13 bloquaient au moins un des robots IA testés. Neuf autres sites n'avaient pas de fichier robots.txt : dans ce cas, le protocole ne prévoit aucune restriction via ce mécanisme.
| Résultat au 20 octobre 2026 | Nombre de sites |
|---|---|
| Sites de l'échantillon | 100 |
| Fichier robots.txt lisible | 78 |
| Blocage d'au moins un robot IA | 13 |
| Fichier absent | 9 |
| Fichier inaccessible au script | 13 |
| Accès autorisé à tous les robots IA testés, ou fichier absent | 74 |
| Blocage des 17 robots IA testés | 0 |
Les 74 sites « ouverts » regroupent 65 fichiers lisibles sans blocage des robots testés et les neuf sites sans fichier. Les 13 sites restants ont refusé l'accès au script ou renvoyaient une réponse qui ne permettait pas de conclure : on ne peut donc pas déduire leur politique sur les robots IA.
Autre point à noter : seuls 18 des 78 fichiers lisibles mentionnaient explicitement au moins un robot IA. Les 60 autres n'en parlent pas. Et il faut être clair là-dessus : l'absence de règle spécifique ne prouve pas un choix réfléchi. Elle veut juste dire que le fichier ne signale pas de restriction à ce sujet.
Les sites d'information sont les plus restrictifs
Les médias se démarquent. Sur 15 sites d'information testés, cinq bloquent au moins un robot IA. Dans les autres secteurs, les blocages sont plus dispersés. Dans l'échantillon, aucun fichier lisible des banques, des opérateurs télécoms, des sites de voyage ou des universités ne bloquait les robots testés.
| Secteur | Sites étudiés | Fichiers lisibles | Blocage d'au moins un robot IA |
|---|---|---|---|
| Information | 15 | 14 | 5 |
| Gouvernement et agences | 12 | 9 | 2 |
| Commerce en ligne | 8 | 6 | 2 |
| Emploi | 6 | 5 | 2 |
| Immobilier et automobile | 10 | 9 | 1 |
| Alimentation, paiements, logistique et services publics | 11 | 8 | 1 |
| Banques et finance | 10 | 5 | 0 |
| Télécoms et Internet | 10 | 9 | 0 |
| Voyage et transport | 8 | 6 | 0 |
| Universités | 10 | 7 | 0 |
Parmi les médias anglophones, quatre sur huit bloquent au moins un robot IA : New Straits Times, Free Malaysia Today, The Edge Malaysia et Bernama. Côté presse en malais, Harian Metro est concerné. Les trois titres chinois de l'échantillon ne bloquent aucun des 17 robots testés. Berita Harian n'a pas permis au script de consulter son fichier : son cas reste donc inconnu.
Et surtout, il ne faut pas transformer ces chiffres en palmarès « définitif » des intentions. Un fichier robots.txt peut changer, et une interdiction limitée à quelques robots ne prouve pas forcément que l'organisation refuse toute utilisation de ses contenus par l'IA.
Quels robots IA sont bloqués et par qui
Le robot le plus souvent bloqué est GPTBot, associé à la collecte de pages pour l'entraînement des modèles d'OpenAI. Il est interdit par neuf sites sur les 100. CCBot, qui collecte des pages pour Common Crawl, et Bytespider, associé à ByteDance, suivent avec huit blocages chacun.
| Robot | Organisation | Fonction décrite | Sites qui le bloquent |
|---|---|---|---|
| GPTBot | OpenAI | Collecte pour l'entraînement | 9 |
| CCBot | Common Crawl | Constitution d'une archive du Web utilisée notamment pour l'entraînement | 8 |
| Bytespider | ByteDance | Collecte de pages pour l'entraînement | 8 |
| ClaudeBot | Anthropic | Collecte pour l'entraînement | 7 |
| Meta-ExternalAgent | Meta | Collecte pour l'entraînement | 6 |
| ChatGPT-User | OpenAI | Récupération d'une page demandée par un utilisateur | 4 |
| Google-Extended | Contrôle de l'utilisation des pages pour les modèles IA de Google | 4 | |
| Applebot-Extended | Apple | Contrôle de l'utilisation des pages pour les services IA d'Apple | 4 |
| Amazonbot | Amazon | Exploration de pages, notamment pour l'entraînement | 4 |
| OAI-SearchBot | OpenAI | Exploration pour l'index de recherche de ChatGPT | 2 |
| Claude-SearchBot | Anthropic | Exploration pour un index de recherche IA | 2 |
| Claude-User | Anthropic | Récupération d'une page demandée par un utilisateur | 2 |
| PerplexityBot | Perplexity | Exploration pour l'index de Perplexity | 2 |
| Meta-ExternalFetcher | Meta | Récupération d'une page demandée par un utilisateur | 2 |
| Perplexity-User | Perplexity | Récupération à la demande d'un utilisateur | 0 |
| DuckAssistBot | DuckDuckGo | Récupération de pages pour des réponses IA | 0 |
| MistralAI-User | Mistral | Récupération d'une page demandée par un utilisateur | 0 |
La différence entre « collecte pour l'entraînement » et « exploration pour la recherche » change beaucoup la lecture. Dix des treize sites qui bloquent au moins un robot IA refusent au moins un robot d'entraînement tout en laissant passer OAI-SearchBot et PerplexityBot. À l'inverse, seuls quatre sites bloquent un robot lié à la recherche IA ou à la récupération d'une page pour répondre à un utilisateur.
Sur ces 13 sites, New Straits Times et Harian Metro bloquent chacun 12 des 17 robots testés. Ils refusent notamment GPTBot, les robots de recherche et de récupération d'OpenAI, ceux d'Anthropic et Perplexity, ainsi que plusieurs robots associés à Meta, ByteDance et Common Crawl. En revanche, leurs fichiers autorisent un répertoire propre à chaque titre. Ils contiennent aussi un signal indiquant que la recherche est autorisée, mais pas l'utilisation des contenus pour l'entraînement ou comme « entrée » pour les modèles.
KWSP, le fonds de prévoyance des salariés, et EdgeProp, le site immobilier, bloquent chacun huit robots. Leurs fichiers sont identiques et mentionnent « Cloudflare Managed content ». Autrement dit : le blocage semble venir d'une configuration gérée par leur réseau de diffusion de contenu, plutôt que d'une règle écrite « à la main » par chaque site.
Les autres cas montrent des choix plus ciblés :
- Bernama bloque cinq robots, dont GPTBot, ClaudeBot et CCBot. Un commentaire en malais indique que la règle vise les robots IA et les collecteurs jugés agressifs afin de limiter la charge serveur.
- Free Malaysia Today autorise plusieurs robots IA, dont GPTBot et ClaudeBot, mais bloque CCBot, Bytespider et Amazonbot.
- The Edge Malaysia bloque uniquement GPTBot parmi les robots testés.
- Lotus's Malaysia bloque GPTBot, ChatGPT-User, Google-Extended et CCBot.
- foodpanda Malaysia bloque GPTBot, tout en autorisant OAI-SearchBot et ChatGPT-User : un exemple net de séparation entre entraînement et recherche.
- Zalora bloque le robot de collecte de Meta, mais pas les autres robots de la liste.
- Maukerja et Ricebowl, deux sites d'emploi, bloquent des combinaisons différentes de robots.
- Bank Negara Malaysia bloque CCBot.
À noter : JobStreet Malaysia limite l'accès de plusieurs robots à certaines pages d'entreprise et à des annonces d'emploi, sans interdire l'ensemble du site. Comme la mesure ne portait que sur la page d'accueil, ce cas est compté comme « autorisé » dans les résultats globaux. La règle de comptage change donc l'interprétation : une politique peut être sélective par répertoire sans être un blocage général.
Que doit faire une entreprise avec son robots.txt
Pour une entreprise française ou européenne, la vraie question n'est pas seulement « faut-il bloquer l'IA ? ». Il faut d'abord distinguer l'usage visé et les pages concernées. Une politique utile peut autoriser l'exploration pour les réponses de recherche, tout en refusant la collecte destinée à l'entraînement. Elle peut aussi protéger certains contenus (par exemple des espaces clients) sans fermer le reste du site.
Décider séparément de l'entraînement et de la découverte
Commencez par répondre à deux questions :
- Autorisez-vous l'utilisation de vos pages pour entraîner des modèles ?
- Autorisez-vous les moteurs IA à lire ces pages pour les résumer, les citer ou orienter un utilisateur vers votre site ?
Ces réponses peuvent très bien être différentes. Bloquer GPTBot ne veut pas automatiquement dire bloquer l'apparition dans ChatGPT : OAI-SearchBot et ChatGPT-User n'exécutent pas la même fonction. Le cas de foodpanda illustre bien cette idée : refuser l'entraînement tout en gardant certains usages liés à la recherche.
Cette séparation a quand même un coût. Autoriser les robots de recherche augmente la probabilité que vos pages soient prises en compte dans des réponses IA, mais ça ne garantit ni citation ni trafic. Bloquer a l'effet inverse. La décision dépend du contenu (et de ce que ça vaut), du modèle économique, et de votre capacité à mesurer ce que ces services apportent réellement.
Employer les noms de robots actuels et contrôler ce qui se passe « ailleurs »
Une règle fondée sur un ancien nom de robot ne bloque pas forcément son successeur. Dans l'échantillon, Lotus's cite des identifiants d'Anthropic « historiques », mais pas ClaudeBot sous son nom actuel. De même, Google-Extended correspond à un choix sur l'usage des contenus par les modèles IA de Google ; bloquer Googlebot classique est une autre décision, qui peut aussi impacter la recherche classique.
Avant de déployer une règle, vérifiez la documentation du fournisseur concerné et testez. Et faites aussi contrôler le pare-feu et le CDN : si ces couches renvoient une erreur 403 à tous les robots « inconnus », alors une autorisation dans robots.txt ne suffit pas à rendre le contenu accessible.
Appliquer une procédure simple avant toute modification
- Inventorier les contenus. Séparez les pages publiques, les contenus sous licence, les espaces personnels et les pages à ne pas indexer.
- Clarifier l'objectif. Séparez la protection contre l'entraînement, la visibilité dans les réponses IA et la réduction de charge serveur.
- Choisir les robots précisément. Ne bloquez pas « une catégorie » au hasard : vérifiez le rôle et le nom de chaque agent utilisateur.
- Tester sur les bons chemins. Une interdiction générale et une restriction limitée à un répertoire ne produisent pas le même résultat.
- Vérifier le comportement réel. Contrôlez aussi les réponses du serveur, du CDN et du pare-feu, puis surveillez les journaux de requêtes.
- Réévaluer régulièrement. Les noms et les usages des robots évoluent ; une règle correcte aujourd'hui peut devenir incomplète demain.
En Europe, cette décision opérationnelle ne remplace pas l'examen des droits sur les contenus, des contrats ou des obligations applicables, notamment sur les données personnelles et le RGPD. Le fichier robots.txt décrit une préférence d'accès : ce n'est ni une politique juridique complète, ni un mécanisme de sécurité à lui seul.
Conclusion
Cette enquête montre moins une opposition générale à l'IA qu'une réalité plus simple : beaucoup de sites n'ont pas encore formulé de règle claire pour ce qui relève de l'entraînement, de la recherche, et de la récupération de pages. Sur 100 sites malaisiens, 13 bloquent au moins un robot IA, souvent un robot lié à l'entraînement. Les robots orientés recherche sont moins souvent concernés. Et dans l'échantillon, les médias sont les plus restrictifs, tandis que plusieurs secteurs n'affichent aucun blocage dans les fichiers lisibles.
Pour une entreprise, la démarche utile consiste à séparer l'entraînement des modèles, la recherche IA et l'accès à des pages précises. Clarifiez d'abord vos objectifs, vérifiez les noms de robots actuels, puis testez vos règles dans robots.txt et dans les couches techniques qui protègent le site. Le « bon » choix n'est pas forcément tout autoriser ou tout bloquer : c'est une politique explicite, testable et adaptée à la valeur de vos contenus.
Comment l'enquête a été menée et quelles sont ses limites
Le 20 octobre 2026, entre 16 h 31 et 16 h 34 (heure de Malaisie), un script a envoyé une requête HTTPS à l'adresse robots.txt de chacun des sites. Il a suivi au maximum trois redirections, attendu au plus dix secondes, et n'a consulté aucun autre contenu. L'échantillon regroupe 100 sites répartis dans dix secteurs. Trente-neuf sites provenaient des classements publics de Similarweb pour la Malaisie en septembre 2026 ; les autres ont été choisis parce qu'ils sont connus dans leur secteur.
Ce n'est pas un échantillon des 100 sites les plus visités du pays. C'est une sélection documentée de sites importants : utile pour comparer des organisations identifiables, mais insuffisant pour extrapoler mécaniquement les pourcentages à tout le Web malaisien.
Ce que robots.txt permet de conclure
Un fichier robots.txt est une consigne. Elle s'adresse aux robots qui choisissent de la respecter. Ce n'est pas une barrière technique : un robot peut l'ignorer, et un site peut aussi filtrer des requêtes via son pare-feu ou son réseau de diffusion de contenu sans que cela apparaisse dans le fichier.
L'étude mesure donc ce que les fichiers affichent, pas forcément tout ce que les sites appliquent. De plus, le script n'était pas GPTBot (ni un autre robot officiel). Un site peut répondre différemment selon l'agent utilisateur authentifié, ou l'identité supposée du robot.
Pourquoi certains résultats restent inconnus
Treize sites n'ont pas laissé le script lire leur fichier. Huit ont renvoyé une erreur 403, souvent via des services de protection comme Cloudflare ou Akamai. Un refus ne dit pas quelles règles auraient été appliquées à GPTBot, ClaudeBot, ou à d'autres robots d'entreprises : il indique juste que la requête a été filtrée.
Quatre autres sites n'ont pas répondu normalement : connexion fermée, délai dépassé, connexion réinitialisée ou problème de vérification du certificat. Un site a redirigé vers une page de connexion. Enfin, neuf sites n'avaient pas de fichier accessible à cette adresse. Dans le cadre du protocole robots.txt, l'absence de fichier veut dire qu'aucune restriction n'est formulée via ce canal, mais ça ne prouve pas qu'il n'existe pas d'autres contrôles techniques.
Il faut aussi voir ça comme une « photo » à un instant T : les règles peuvent changer vite. Une vérification indépendante des 78 fichiers lisibles a recalculé 1 560 décisions et n'a trouvé aucune différence avec le premier traitement, ce qui valide le calcul, pas la stabilité dans le temps.