Un robot IA est un agent automatisé qui récupère des pages web pour une entreprise d'IA, soit pour répondre aux utilisateurs en temps réel, soit pour recueillir des données d'entraînement.
Il en existe trois sortes. Les robots de recherche (comme OAI-SearchBot, PerplexityBot et Claude-SearchBot) indexent les pages pour que les assistants puissent les citer. Les robots déclenchés par l'utilisateur (comme ChatGPT-User) chargent une page quand la question d'un utilisateur l'exige. Les robots d'entraînement (comme GPTBot, ClaudeBot et Google-Extended) recueillent des données pour les futurs modèles.
Chacun peut être autorisé ou bloqué séparément dans le fichier robots.txt. Bloquer les robots de recherche, souvent par accident au moyen de la protection anti-robots d'un CDN, écarte un site des réponses de l'IA. Beaucoup de robots IA n'exécutent pas JavaScript : le contenu qui ne se charge que dans le navigateur peut leur être invisible.