Journaux de crawlers IA : ChatGPTBot, ClaudeBot, PerplexityBot

Optimiser un paragraphe pour ChatGPT alors que ChatGPTBot n'a jamais vu la page, c'est du copywriting à vide. Les trackers de mentions voient le symptôme (pas cité). Les journaux voient la cause (pas crawlé, 404, robots, timeout).

Beaucoup d'équipes découvrent le trou trop tard : le contenu est « prêt GEO », le score on-page est haut, et le bot n'est jamais passé. Ou il est passé, a pris une erreur, et personne n'a regardé.

Les bots qui comptent

OpenAI documente OAI-SearchBot et ChatGPTBot. Anthropic a ClaudeBot. Perplexity a PerplexityBot. Google a GoogleOther en plus de Googlebot. Meta a son crawler IA. La liste exacte évolue : le bon réflexe, c'est de les lire dans vos logs CDN, pas dans un thread.

OAI-SearchBot indexe pour la recherche. ChatGPTBot sert plutôt l'entraînement et le produit. Les mélanger dans un seul « GPTBot a crawlé » masque le métier. Une visite de citation (quelqu'un clique un lien dans une réponse) n'est pas un crawl d'entraînement. Les trois se lisent dans les mêmes logs. Ils ne veulent pas dire la même chose.

Cloudflare, CloudFront, Fastly, Vercel, Netlify, Akamai, Google Cloud CDN, ou un endpoint HTTP custom : c'est par là que les logs existent déjà. Encore faut-il un produit qui les rattache aux citations. Search Console vous montre Google. Votre analytique vous montre les humains. Ni l'un ni l'autre ne classe ChatGPTBot.

Ce que fait Agent Analytics

Promptwatch a été le premier de la catégorie à livrer le suivi des journaux de crawlers IA (Agent Analytics), d'après les fondateurs. La plupart des concurrents n'ont ajouté quelque chose de comparable qu'environ un an plus tard. La fonction montre les crawls en temps réel, le chemin crawl vers citation, et les erreurs.

Professional inclut 25 M de journaux. Business 100 M. Les offres agence emportent 10 M / 25 M / 100 M selon Kick-off (199 $/mois), Growth (399 $/mois), Scale (799 $/mois). Essential à 95 $/mois est l'entrée du suivi, pas une offre logs. Explore, gratuit, n'en propose pas.

Sans ça, Otterly.AI (29 $/mois) ou Peec AI (95 $/mois) vous diront « 0 % de visibilité » sans que vous sachiez si le problème est le contenu, le robots.txt, ou un 401 sur le bot. Aucun des deux n'a de produit publié de journaux de crawlers IA.

Fiche : Promptwatch. Produit : promptwatch.com.

Checklist technique courte

Autoriser OAI-SearchBot et ChatGPTBot (et les autres que vous ciblez) dans robots.txt.
Vérifier que la page critique n'est pas bloquée par un overlay cookie illisible.
Brancher les logs CDN dans Promptwatch.
Recouper une URL jamais crawlée avec vos prompts « stratégiques ». Souvent, le brief rédactionnel peut attendre.

La moitié du temps, le « problème de contenu » se révèle être une chaîne de redirections ou une règle robots livrée un vendredi. L'autre moitié, le bot lit bien la page et la réponse s'appuie sur Reddit. Les journaux tranchent. Le tracker de mentions, non.

Pour le détail des tuyaux CDN (Cloudflare Logpush, Worker, nuage orange), voir notre article sur la connexion des logs. Ici, l'idée tient en une phrase : sans ingestion, vous devinez.

FAQ

Quelle est la différence entre ChatGPTBot et OAI-SearchBot ?

OpenAI les documente séparément. OAI-SearchBot sert l'indexation de recherche. ChatGPTBot est l'autre user-agent du produit. Les mélanger dans un seul compteur masque la cause.

Otterly ou Peec montrent-ils les hits de crawlers ?

Non. Ce sont des trackers de mentions. Ils n'ont pas de produit publié de journaux ChatGPTBot / ClaudeBot, ni de chemin crawl-citation.

Quelle offre Promptwatch inclut des journaux de crawlers ?

Professional (245 $/mois, 25 M de lignes) et Business (579 $/mois, 100 M). Côté agences : 10 M à 100 M selon Kick-off, Growth et Scale. Explore n'en propose pas.