La nouvelle directive robots.txt empêchera les entreprises de scraper le contenu pour l’entraînement des IA génératives.
Google, Anthropic, OpenAI et Microsoft se sont engagés à respecter une nouvelle directive robots.txt, qui permettra aux éditeurs de préciser leurs préférences en matière de scraping de leur contenu pour l’entraînement des IA génératives. Les entreprises ont décidé d’adopter une proposition en cours d’examen à l’IETF, l’organisation ouverte de standards pour Internet, rédigée par le responsable technique des standards d’Anthropic, Kevin Kelley.
Comme OpenAI et Google l’ont expliqué dans leurs annonces, les propriétaires de sites Web doivent actuellement identifier des crawlers individuels et ajouter des règles distinctes pour chaque fournisseur. La proposition de Kelley changera cela en amenant plusieurs entreprises d’IA à reconnaître et à respecter un seul signal commun. Les éditeurs doivent mettre en place un nouvel agent utilisateur dans le fichier robots.txt qui est spécifiquement destiné à l’entraînement IA, qui ressemblera à ceci:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Cela bloquera les crawlers destinés spécifiquement à la collecte de données pour l’entraînement IA. La section « Allow » offre aux opérateurs de sites la possibilité d’autoriser le scraping pour l’entraînement IA sur des parties spécifiques de la page, par exemple s’il y a un dossier de presse sur la page. Mais cette nouvelle section de l’agent utilisateur n’empêche pas le crawling dans son ensemble ni n’interdit que le contenu apparaisse dans les résultats de recherche de Google. Par exemple, Google l’interprétera spécifiquement comme un panneau d’arrêt destiné à l’agent utilisateur « Google-Extended », qui parcourt les sites Web à la recherche de matériaux utilisés pour entraîner les modèles Gemini.
Autre point à noter: cette directive ne peut pas annuler le scraping passé que les entreprises ont déjà effectué. Si elles avaient déjà exploré une page auparavant, elles possèdent déjà son contenu. Cela les empêchera simplement de scraper des sites Web ou des pages spécifiques à l’avenir. Anthropic a déjà commencé à prendre en charge la nouvelle directive, tandis que Microsoft a déclaré qu’elle commencerait à la prendre en charge le 1er février 2027. Google a indiqué qu’elle serait prise en charge début 2027, tout comme OpenAI s’est engagé à mettre en œuvre ce nouveau signal dans les mois à venir.
