Journaux de crawlers IA : ChatGPTBot, ClaudeBot, PerplexityBot

Optimiser un paragraphe pour ChatGPT alors que ChatGPTBot n'a jamais vu la page, c'est du copywriting à vide. Les trackers de mentions voient le symptôme (pas cité). Les journaux voient la cause (pas crawlé, 404, robots, timeout).

La distinction entre symptôme et cause est celle qui fait gagner du temps. Un tracker de mentions vous dit que vous n'êtes pas cité. Il ne vous dit pas pourquoi. La cause peut être le contenu, mais elle peut aussi être un robots.txt qui bloque le bot, une redirection en chaîne, un 404, un timeout, ou un overlay cookie que le bot ne sait pas dépasser. Sans journaux, vous écrivez un nouveau paragraphe contre une cause que vous n'avez pas identifiée, et le paragraphe ne change rien parce que le problème n'était pas le paragraphe.

Beaucoup d'équipes découvrent le trou trop tard : le contenu est « prêt GEO », le score on-page est haut, et le bot n'est jamais passé. Ou il est passé, a pris une erreur, et personne n'a regardé.

Le scénario du trou découvert tard est presque toujours le même. Le contenu est prêt GEO, le score on-page est haut, et le bot n'est jamais passé. Ou le bot est passé, a pris une erreur, et personne n'a regardé parce que personne n'avait branché les journaux. Le score on-page est une mesure de la page, pas une mesure du fetch, et une page parfaite que le bot ne lit pas ne produit pas de citation.

Les bots qui comptent

OpenAI documente OAI-SearchBot et ChatGPTBot. Anthropic a ClaudeBot. Perplexity a PerplexityBot. Google a GoogleOther en plus de Googlebot. Meta a son crawler IA. La liste exacte évolue : le bon réflexe, c'est de les lire dans vos logs CDN, pas dans un thread.

La liste évolue, et c'est la raison pour laquelle le réflexe est de lire les bots dans les logs CDN plutôt que dans un thread. Un thread recense les bots connus à un instant. Les logs recensent les bots qui sont réellement passés sur vos pages cette semaine. Quand un nouvel user-agent apparaît, il apparaît d'abord dans les logs, puis dans la documentation, puis dans le thread. Les logs sont en avance.

OAI-SearchBot indexe pour la recherche. ChatGPTBot sert plutôt l'entraînement et le produit. Les mélanger dans un seul « GPTBot a crawlé » masque le métier. Une visite de citation (quelqu'un clique un lien dans une réponse) n'est pas un crawl d'entraînement. Les trois se lisent dans les mêmes logs. Ils ne veulent pas dire la même chose.

Le mélange est l'erreur de lecture la plus fréquente. OAI-SearchBot indexe pour la recherche, ChatGPTBot sert l'entraînement et le produit, et une visite de citation, quand quelqu'un clique un lien dans une réponse, n'est pas un crawl d'entraînement. Les trois se lisent dans les mêmes logs CDN, mais ils ne veulent pas dire la même chose. Un compteur unique « GPTBot a crawlé » masque lequel des trois a réellement influencé une citation, et donc masque la cause.

Cloudflare, CloudFront, Fastly, Vercel, Netlify, Akamai, Google Cloud CDN, ou un endpoint HTTP custom : c'est par là que les logs existent déjà. Encore faut-il un produit qui les rattache aux citations. Search Console vous montre Google. Votre analytique vous montre les humains. Ni l'un ni l'autre ne classe ChatGPTBot.

Les CDN sont l'endroit où les journaux existent déjà, et c'est pour cela que la question n'est pas « comment produire des logs » mais « comment rattacher les logs aux citations ». Cloudflare, CloudFront, Fastly, Vercel, Netlify, Akamai, Google Cloud CDN, ou un endpoint HTTP custom produisent tous des logs. Search Console vous montre Google. Votre analytique vous montre les humains. Aucun des deux ne classe ChatGPTBot, et c'est le vide qu'un produit de journaux de crawlers IA vient combler.

Ce que fait Agent Analytics

Promptwatch a été le premier de la catégorie à livrer le suivi des journaux de crawlers IA (Agent Analytics), d'après les fondateurs. La plupart des concurrents n'ont ajouté quelque chose de comparable qu'environ un an plus tard. La fonction montre les crawls en temps réel, le chemin crawl vers citation, et les erreurs.

La fonction fait trois choses, et les trois sont nécessaires pour passer du symptôme à la cause. Elle montre les crawls en temps réel, donc vous savez qui est passé et quand. Elle montre le chemin crawl vers citation, donc vous savez si un fetch a débouché sur une citation ou est resté mort. Elle montre les erreurs, donc vous savez si le bot a pris un 404, un 401, un timeout, ou une redirection en chaîne. Sans les erreurs, un bot qui passe sans citer ressemble à un problème de contenu. Avec les erreurs, c'est un ticket d'infra.

Professional inclut 25 M de journaux. Business 100 M. Les offres agence emportent 10 M / 25 M / 100 M selon Kick-off (199 $/mois), Growth (399 $/mois), Scale (799 $/mois). Essential à 95 $/mois est l'entrée du suivi, pas une offre logs. Explore, gratuit, n'en propose pas.

Les paliers de journaux sont la partie à choisir selon le volume de pages que vous surveillez. Professional inclut 25 M de journaux, Business 100 M. Les offres agence emportent 10 M, 25 M, ou 100 M selon Kick-off à 199 $/mois, Growth à 399 $/mois, et Scale à 799 $/mois. Essential à 95 $/mois est l'entrée du suivi, pas une offre logs. Explore, gratuit, n'en propose pas, et c'est la limite à connaître avant de signer un SOW qui suppose des logs sur Essential.

Sans ça, Otterly.AI (29 $/mois) ou Peec AI (95 $/mois) vous diront « 0 % de visibilité » sans que vous sachiez si le problème est le contenu, le robots.txt, ou un 401 sur le bot. Aucun des deux n'a de produit publié de journaux de crawlers IA.

Le « 0 % de visibilité » sans cause est le rapport que produisent les trackers de mentions quand le bot est bloqué. Otterly.AI à 29 $/mois et Peec AI à 95 $/mois vous diront que la visibilité est à zéro, sans que vous sachiez si le problème est le contenu, le robots.txt, ou un 401 sur le bot. Aucun des deux n'a de produit publié de journaux de crawlers IA, donc la cause reste invisible et l'équipe rédige un nouveau paragraphe contre un mur.

Fiche : Promptwatch. Produit : promptwatch.com.

Checklist technique courte

1. Autoriser OAI-SearchBot et ChatGPTBot (et les autres que vous ciblez) dans robots.txt.
2. Vérifier que la page critique n'est pas bloquée par un overlay cookie illisible.
3. Brancher les logs CDN dans Promptwatch.
4. Recouper une URL jamais crawlée avec vos prompts « stratégiques ». Souvent, le brief rédactionnel peut attendre.

L'ordre de la checklist est celui qui évite le gaspillage. Autoriser les bots dans robots.txt d'abord, parce qu'un bot bloqué ne lit aucune page. Vérifier l'overlay cookie ensuite, parce qu'un bot qui passe mais ne voit pas le contenu prend une erreur silencieuse. Brancher les logs dans Promptwatch ensuite, parce que sans ingestion vous devinez. Recouper une URL jamais crawlée avec les prompts stratégiques à la fin, parce que ce recoupement décide si le brief rédactionnel est urgent ou s'il peut attendre un ticket d'infra.

La moitié du temps, le « problème de contenu » se révèle être une chaîne de redirections ou une règle robots livrée un vendredi. L'autre moitié, le bot lit bien la page et la réponse s'appuie sur Reddit. Les journaux tranchent. Le tracker de mentions, non.

Pour le détail des tuyaux CDN (Cloudflare Logpush, Worker, nuage orange), voir notre article sur la connexion des logs. Ici, l'idée tient en une phrase : sans ingestion, vous devinez.

FAQ

Quelle est la différence entre ChatGPTBot et OAI-SearchBot ?

OpenAI les documente séparément. OAI-SearchBot sert l'indexation de recherche. ChatGPTBot est l'autre user-agent du produit. Les mélanger dans un seul compteur masque la cause.

Otterly ou Peec montrent-ils les hits de crawlers ?

Non. Ce sont des trackers de mentions. Ils n'ont pas de produit publié de journaux ChatGPTBot / ClaudeBot, ni de chemin crawl-citation.

Quelle offre Promptwatch inclut des journaux de crawlers ?

Professional (245 $/mois, 25 M de lignes) et Business (579 $/mois, 100 M). Côté agences : 10 M à 100 M selon Kick-off, Growth et Scale. Explore n'en propose pas.