La société Internet Fastly observe avec inquiétude la croissance du trafic généré par les robots d’IA. Cette augmentation met à rude épreuve l’infrastructure et la sécurité d’Internet.
Les robots d’IA sont aujourd’hui responsables d’une part importante du trafic Internet. Selon un rapport de Fastly, la majorité de ce trafic provient des robots d’indexation de grandes entreprises d’IA telles que Meta, Google et OpenAI. Meta se distingue particulièrement, représentant plus de la moitié de tout le trafic des robots d’indexation d’IA.
Robots d’indexation et fetchers
Au deuxième trimestre, Fastly a analysé plus de 6,5 billions de requêtes Web via ses produits de sécurité. Il en ressort que 80 % du trafic des robots d’IA provient de robots d’indexation, qui parcourent systématiquement les sites Web pour « collecter » des informations pour les modèles. Plus de la moitié provient de Meta, Google et OpenAI représentant chacun plus de vingt pour cent.
La répartition géographique de ce trafic n’est pas uniforme. En Europe, la part des robots d’indexation est beaucoup plus faible qu’en Amérique du Nord. Cette différence pourrait avoir des conséquences sur la représentation des régions dans les modèles d’IA, qui sont orientés vers l’Amérique du Nord.
Les 20 % restants du trafic des robots d’IA proviennent de ce que l’on appelle les fetchers, qui récupèrent du contenu en temps réel en fonction des requêtes des utilisateurs. OpenAI est en tête de liste : les robots de l’entreprise représentent 98 % du trafic des fetchers.
lire aussi
GPT-5 testé : un penseur structuré et « professionnel »
Les fetchers ne sont donc pas moins agressifs. Dans certains cas, Fastly a enregistré jusqu’à 39 000 requêtes par minute sur un seul site Web, ce qui est comparable à une attaque DDoS. De tels pics peuvent mettre fortement sous pression les sites Web dotés d’une protection limitée, même sans intentions malveillantes.
Internet sous pression
L’augmentation du trafic d’IA ne se contente pas de surcharger l’infrastructure, elle rend également plus difficile la distinction entre les robots légitimes et les imitateurs malveillants. Les secteurs tels que le commerce électronique, les médias, le divertissement et la technologie sont particulièrement touchés par les activités de scraping.
Fastly conseille aux organisations de gérer de manière proactive le trafic d’IA. Les fichiers robots.txt peuvent donner des instructions aux robots sur les parties du site qui sont accessibles. Cependant, certains robots ignorent ces instructions. C’est pourquoi Fastly recommande également des mesures techniques telles que le blocage d’IP, la limitation du débit et les systèmes CAPTCHA. Pour plus de contrôle, les entreprises peuvent utiliser des solutions de gestion des robots qui reconnaissent et contrôlent le trafic d’IA en temps réel.
La transparence des opérateurs de robots est également essentielle. Les robots doivent s’identifier clairement et publier des plages d’IP vérifiables. OpenAI donnerait le bon exemple. Enfin, les organisations peuvent proposer leur contenu via des plateformes de licences, ce qui offre la possibilité de transformer le trafic d’IA en source de revenus.
Les robots d’IA ne sont pas forcément nuisibles, mais sans visibilité ni règles, ils peuvent involontairement entraîner une surcharge et des coûts, prévient Fastly. Les entreprises qui souhaitent protéger leur contenu et leur infrastructure ont tout intérêt à faire des choix clairs quant à savoir qui a accès et à quelles conditions.