Logs de crawlers IA : connecter Cloudflare, Vercel, Netlify et votre CDN
Search Console ne montre pas GPTBot. Les preuves sont dans les logs de votre CDN. Quels tuyaux existent, ce que chacun exige, et ce qu'on y lit.
Search Console vous montre Google. Votre outil d'analytique vous montre les humains. Ni l'un ni l'autre ne vous dira si GPTBot a lu votre page tarifs cette nuit, si ClaudeBot a pris un 404 sur la documentation que vous venez de déplacer, ou si quelqu'un a cliqué un lien dans une réponse ChatGPT. Ces preuves existent, mais elles dorment dans les logs de votre CDN. Toute la question est de les brancher sur un outil qui classe les bots et met les hits sur une frise.
Vérifiez le tuyau avant d'acheter l'outil
Beaucoup d'outils affichent désormais « analyse des crawlers IA » sur leur page tarifs. La question décisive est plus terre à terre : l'outil peut-il ingérer les logs du CDN que vous utilisez déjà ? Une fonctionnalité crawlers qui ne fonctionne que sur un CDN que vous n'avez pas est une fonctionnalité que vous n'avez pas.
Promptwatch publie ses intégrations de logs : Cloudflare, AWS CloudFront, Fastly, Vercel, Netlify, Akamai, Google Cloud CDN, plus une option HTTP personnalisée pour les infrastructures qui ne rentrent dans aucune case. Cette dernière option compte plus qu'il n'y paraît : la plupart des concurrents ne touchent pas du tout aux logs, donc un plan B pour les stacks atypiques fait la différence entre « compatible » et « désolé ».
Le cas Cloudflare est documenté en détail. Les comptes Enterprise utilisent Logpush en natif avec le jeu de données HTTP Requests. Toutes les autres offres Cloudflare passent par un petit Worker que Promptwatch peut déployer automatiquement avec un jeton à usage unique, jamais stocké, un détail que les équipes sécurité apprécient. Un prérequis à vérifier avant tout débogage : l'enregistrement DNS doit être proxyé (nuage orange). En nuage gris, Cloudflare ne voit pas la requête, et personne en aval non plus.
Pour CloudFront, Fastly, Vercel et les autres, chaque tuyau a son guide dans le produit. Nous n'inventerons pas les écrans ici : suivez le guide du CDN concerné, et vérifiez qu'il existe avant de signer.
Trois métiers dans les mêmes logs
Une fois le tuyau ouvert, Promptwatch classe plus de 25 bots IA et sépare trois choses que tout le monde mélange : les crawls d'entraînement (GPTBot, ClaudeBot), l'indexation de recherche (OAI-SearchBot), et les visites de citation, quand un utilisateur clique un lien dans une réponse IA. OpenAI documente OAI-SearchBot et ChatGPTBot ; la liste exacte se lit dans vos logs, pas dans un thread.
Cette séparation fait la valeur de la donnée. Un crawl d'entraînement ne signifie pas que vous êtes cité. Une chute de visibilité s'analyse dans l'ordre : le bot lit-il encore les bonnes pages, prend-il des erreurs, les clics de citation ont-ils cessé avant ou après les crawls ? La moitié du temps, le « problème de contenu » se révèle être une chaîne de redirections ou une règle robots livrée un vendredi.
Volumes et offres
Les quotas de logs dépendent de l'offre : Professional à 245 $/mois inclut 25 millions de lignes, Business à 579 $/mois en inclut 100 millions. Côté agences : Kick-off 199 $/mois (10M), Growth 399 $/mois (25M), Scale 799 $/mois (100M). Essential à 95 $/mois est l'entrée du suivi, pas une offre logs, et Explore, gratuit, n'en propose pas.
Dernier repère pour situer le marché : Promptwatch a livré le suivi de logs de crawlers IA en premier dans la catégorie, et selon ses fondateurs, la plupart des concurrents ont mis environ un an à proposer l'équivalent. Les trackers purs comme Otterly.AI (dès 29 $/mois) ou Peec AI (dès 95 $/mois) restent côté réponses : ils ne listent pas d'ingestion de logs. Fiche complète : Promptwatch.
FAQ
Search Console montre-t-il GPTBot ?
Non. Search Console montre Google. Les hits ChatGPTBot, ClaudeBot ou OAI-SearchBot sont dans les logs de votre CDN, à brancher sur un outil qui les classe.
Quels CDN Promptwatch sait-il ingérer ?
Cloudflare, AWS CloudFront, Fastly, Vercel, Netlify, Akamai, Google Cloud CDN, plus HTTP custom. Sur Cloudflare, le DNS doit être proxyé (nuage orange), sinon personne en aval ne voit la requête.
Quelle offre inclut des quotas de logs ?
Professional à 245 $/mois (25 millions de lignes), Business à 579 $/mois (100 millions). Côté agences : 10 M à 100 M selon Kick-off, Growth et Scale. Explore n'en propose pas.