Crawlers IA dans vos logs serveur : Cloudflare, AI Overviews et Copilot en 2026
Quel robot alimente AI Overviews, Copilot ou ChatGPT, ce que Cloudflare affiche sans outil supplémentaire, et ce qu'il faut ajouter pour relier un crawl à une citation.
Vous ouvrez vos logs serveur, ou l'onglet bots de Cloudflare, et vous cherchez le crawler d'AI Overviews. Vous ne le trouverez pas. Il n'existe pas sous ce nom. Le crawler de Copilot non plus. Une bonne partie des questions sur l'activité des robots IA vient de ce malentendu : on s'attend à un robot par produit, alors que deux des surfaces les plus consultées passent par les robots de recherche classiques.
Cet article fait la correspondance entre chaque surface IA et le robot que vous verrez réellement dans vos logs. Il regarde ensuite ce que Cloudflare montre nativement, puis l'endroit précis où cette vue s'arrête.
Google : AI Overviews et AI Mode passent par Googlebot
La documentation de Google sur ses crawlers courants, mise à jour le 14 juillet 2026, indique que les préférences de crawl de Googlebot s'appliquent à Google Search, « y compris Discover et toutes les fonctionnalités de Google Search ». AI Overviews et AI Mode en font partie. Il n'y a pas de user agent propre à AI Overviews. Si Googlebot lit votre page, c'est ce passage qui la rend éligible. Si vous le bloquez, vous sortez de la recherche classique et des réponses IA en même temps.
Google-Extended sème souvent la confusion. Ce n'est pas un robot : Google précise qu'il n'a pas de chaîne user agent HTTP distincte. C'est un jeton robots.txt qui contrôle l'usage de vos contenus pour l'entraînement de Gemini et pour l'ancrage (grounding) dans les applications Gemini et Vertex AI. Google ajoute qu'il n'a aucun effet sur votre inclusion dans Google Search et qu'il n'est pas un signal de classement. Deux conséquences. Vous ne verrez jamais « Google-Extended » dans un log. Et une règle Disallow sur ce jeton ne retire pas vos pages d'AI Overviews.
GoogleOther apparaît bien dans les logs, mais Google le décrit comme un crawler générique dont les préférences n'affectent aucun produit précis. Un pic de GoogleOther ne dit rien de votre présence dans AI Overviews.
Dernier réflexe : un user agent se falsifie en une ligne de code. Google recommande de vérifier par DNS inverse (domaine googlebot.com) ou par ses plages d'adresses IP publiées. Un « Googlebot » qui échoue à ce contrôle n'est pas Google, et il n'a rien à faire dans vos statistiques.
Microsoft : le crawler de Copilot s'appelle Bingbot
Les consignes pour webmasters de Bing sont explicites : les expériences de recherche Bing et Copilot reposent sur les mêmes fondations de crawl, d'indexation et de classement que la recherche traditionnelle. Bing classe même le blocage de Bingbot dans robots.txt parmi les erreurs à éviter. Le « crawler Copilot » de vos logs, c'est donc Bingbot. Pour confirmer qu'il est authentique, Microsoft propose l'outil Verify Bingbot, qui s'appuie sur le DNS inverse.
Chez Bing, le contrôle de Copilot passe par les balises, pas par le robot. robots.txt gère le crawl, pas l'indexation. NOINDEX écarte une URL de Bing, de Copilot et des résultats d'ancrage. NOARCHIVE empêche le contenu de servir aux réponses Copilot et à l'ancrage. NOCACHE limite Copilot à l'URL, au titre et à l'extrait. Vous voulez rester dans Bing tout en sortant des réponses Copilot ? C'est NOARCHIVE qui joue, pas un Disallow.
OpenAI : là, les robots sont vraiment séparés
OpenAI documente GPTBot (entraînement) et OAI-SearchBot (recherche) comme deux robots différents. ChatGPT-User correspond aux récupérations déclenchées par un utilisateur. C'est le seul grand acteur de cette liste où le nom du robot vous dit à quoi sert la visite. Nous avons détaillé la lecture par rôle dans Les crawlers IA en 2026.
| Surface | Ce que vous voyez dans les logs | Où se règle l'accès |
|---|---|---|
| AI Overviews, AI Mode | Googlebot | robots.txt Googlebot (retire aussi de Google Search) |
| Entraînement Gemini, ancrage Gemini Apps et Vertex AI | Rien (jeton Google-Extended) | robots.txt, jeton Google-Extended |
| Copilot | Bingbot | NOINDEX, NOARCHIVE, NOCACHE |
| Recherche ChatGPT | OAI-SearchBot | Règles documentées par OpenAI |
| Entraînement OpenAI | GPTBot | Règles documentées par OpenAI |
Ce que Cloudflare affiche sans rien installer
Si votre site passe par Cloudflare, AI Crawl Control (anciennement AI Audit) est disponible sur toutes les offres. Les onglets Overview, Crawlers et Metrics montrent les requêtes par crawler et par opérateur (OpenAI, Microsoft, Google, ByteDance, Anthropic, Meta), les requêtes autorisées et celles qui ont échoué, les violations de robots.txt, les codes de statut, les chemins et les hôtes. Vous pouvez autoriser ou bloquer chaque crawler. Le paiement au crawl existe en bêta privée.
Les limites dépendent de l'offre. En gratuit, la détection se fait uniquement par la chaîne user agent, et l'onglet Metrics ne remonte que sur les dernières 24 heures. Les décomptes de référents sont réservés aux offres payantes. Avec Enterprise et Bot Management, vous obtenez des identifiants de détection, des périodes configurables et le paiement au crawl. Les données sont aussi exposées via l'API GraphQL Analytics.
C'est une très bonne vue d'infrastructure. Elle vous dit qui est venu et ce qu'il a reçu. Elle ne vous dit pas si cette visite a débouché sur une citation, dans quelle réponse, pour quel prompt, ni si le lecteur qui a cliqué a ensuite converti.
Le trou propre à Google et à Bing
Pour OpenAI, un pic d'OAI-SearchBot sur votre page tarifs est un signal lisible. Pour Google et Microsoft, non. Googlebot et Bingbot crawlent pour la recherche classique et pour les réponses IA dans le même passage. Aucun log, Cloudflare compris, ne sépare la part AI Overviews de la part « dix liens bleus ».
La seule preuve qu'AI Overviews, AI Mode ou Copilot utilisent votre page, c'est la réponse elle-même. Il faut donc mesurer côté réponse : interroger ces surfaces sur vos prompts importants, régulièrement, et noter quelle URL est citée. Le log reste utile pour diagnostiquer une erreur, une redirection ou un blocage, mais il ne peut pas confirmer l'usage.
Relier le crawl, la citation et la visite
C'est la combinaison que nous recommandons de chercher, et c'est là que Promptwatch se distingue. Le suivi de prompts lit les interfaces réelles de ChatGPT, Gemini, Claude, Perplexity, Copilot et d'autres moteurs, plus Google AI Overviews et AI Mode. L'analytique des citations descend jusqu'à la page citée. Pour Google et Bing, c'est la seule façon honnête de savoir si votre contenu est repris.
Côté logs, Agent Analytics suit en temps réel ChatGPTBot, ClaudeBot, PerplexityBot, GoogleOther et le crawler Meta AI, avec le chemin crawl-vers-citation et le suivi des erreurs. Sur Cloudflare, les comptes Enterprise passent par Logpush, les autres offres par un Worker déployé automatiquement (l'enregistrement DNS doit être proxyé, nuage orange). L'analytique visiteur, via un script léger ou un modèle GTM, relie ensuite le trafic issu de l'IA aux conversions. Les journaux de crawlers commencent avec Professional à 245 $/mois (25 millions de lignes). Essential à 95 $/mois couvre le suivi de prompts et les visiteurs, sans quota de logs.
Gardez AI Crawl Control pour décider qui entre. Ajoutez une couche qui suit la réponse et la visite, sinon vous pilotez AI Overviews et Copilot à l'aveugle. Produit : promptwatch.com.