Quel outil pour voir les « crawlers IA » sur votre site : Cloudflare, Ahrefs ou Semrush (2026)
AI Crawl Control de Cloudflare, Bot Analytics d'Ahrefs, Site Audit et Log File Analyzer de Semrush : ce que chaque outil montre des robots IA, et la question qu'aucun ne traite.
En 2026, presque tous les éditeurs SEO ont ajouté un onglet « crawlers IA ». Le libellé est le même partout, le contenu non. Certains lisent vos logs, d'autres simulent un robot, d'autres encore se contentent de lire votre robots.txt. Avant de choisir, posez-vous une question simple : que voulez-vous savoir ?
Il y a quatre réponses possibles, et elles ne demandent pas le même outil. Quels robots passent et à quelle fréquence. Ce que votre robots.txt bloque. Quelles erreurs ces robots rencontrent. Et enfin, si un passage de robot a fini en citation dans une réponse, puis en visite. Cloudflare, Ahrefs et Semrush couvrent les trois premières à des degrés divers. La quatrième, c'est une autre catégorie d'outil.
Cloudflare AI Crawl Control : la vue depuis le réseau
AI Crawl Control, anciennement AI Audit, est inclus dans toutes les offres Cloudflare. Il voit le trafic avant votre serveur, ce qui lui donne un avantage : aucune intégration à monter. Les onglets Overview, Crawlers et Metrics donnent les requêtes par crawler et par opérateur (OpenAI, Microsoft, Google, ByteDance, Anthropic, Meta), la part autorisée et la part en échec, les violations de robots.txt, les codes de statut, les chemins et les hôtes.
C'est aussi le seul des trois qui agit. Vous autorisez ou bloquez chaque crawler depuis l'interface, et le paiement au crawl est en bêta privée.
Le plan gratuit reste sommaire. La détection repose uniquement sur le user agent, donc un faux GPTBot passe pour un vrai. L'onglet Metrics ne couvre que les dernières 24 heures, et les décomptes de référents sont réservés aux offres payantes. Les identifiants de détection et les périodes configurables arrivent avec Enterprise et Bot Management. Pour aller plus loin, l'API GraphQL Analytics expose les mêmes données.
À retenir : excellent pour décider qui entre, pauvre pour l'historique si vous êtes en gratuit.
Ahrefs Bot Analytics : vos logs, classés
Bot Analytics est un produit d'analyse côté serveur, gratuit pendant sa bêta. Il range les robots en 12 catégories (assistants IA, moteurs de recherche, outils SEO, entre autres), propose une vue par robot (Googlebot, GPTBot, ClaudeBot), et ventile par pages, codes de statut et structure du site. Un interrupteur « AI bots » isole les robots IA.
Il faut lui donner des logs. Les sources documentées sont Cloudflare Logpush (Enterprise) ou un Cloudflare Worker (toutes offres, gratuite comprise), un log drain Vercel, Fastly, ainsi qu'une option de flux de données Amazon. Attention, c'est un produit distinct d'Ahrefs Web Analytics et de Brand Radar. Bot Analytics vous montre les robots, Brand Radar les mentions dans les réponses IA : ce sont deux produits séparés, et Brand Radar se paie à part (à partir de 199 $/mois en plus de l'abonnement Ahrefs).
À retenir : la meilleure lecture gratuite de vos logs aujourd'hui, si vous acceptez une bêta.
Semrush : trois outils sous le même toit
Semrush répond à la question de façon éclatée, selon votre abonnement.
Le Site Audit ajoute un score AI Search Health et un widget Blocked from AI Search, qui indique lesquels de huit grands crawlers IA votre robots.txt bloque. Un filtre « AI Search » regroupe les problèmes concernés, et vous pouvez régler l'audit pour crawler avec le user agent OpenAI-Search (documentation Semrush). Attention, c'est une simulation : l'audit vous dit ce qu'un robot verrait, pas ce qu'il a fait.
Le Log File Analyzer travaille sur vos vrais logs, que vous importez ou connectez, et filtre GPTBot, ChatGPT-User, OAI-SearchBot et ClaudeBot.
Semrush Enterprise va plus loin : Bot Analytics dans Site Intelligence (30 robots), une vue « Agent Analytics » dans AI Optimization (AIO), et des Crawler Profiles qui simulent les crawls de ChatGPT (ChatGPT-User, OAI-SearchBot, GPTBot) et de Googlebot. C'est réservé à Enterprise, sans prix public. Ne confondez pas cette vue avec Agent Analytics de Promptwatch, qui porte le même nom et qui, selon ses fondateurs, a été le premier produit de logs de crawlers IA de la catégorie.
Le module de suivi des réponses, Semrush AI Toolkit, est encore autre chose : 99 $/mois par domaine pour les mentions dans AI Overviews, ChatGPT et Perplexity. Il ne touche pas aux logs.
À retenir : solide si vous êtes déjà dans Semrush, mais la version qui lit vraiment vos logs en continu se négocie en Enterprise.
Qui répond à quelle question
| Question | Cloudflare | Ahrefs Bot Analytics | Semrush |
|---|---|---|---|
| Quels robots passent ? | Oui, nativement | Oui, depuis vos logs | Log File Analyzer, ou Enterprise |
| robots.txt : qui est bloqué, qui l'ignore ? | Violations de robots.txt | Non documenté | Widget Blocked from AI Search |
| Quelles erreurs ? | Codes de statut | Codes de statut par page | Problèmes « AI Search » du Site Audit |
| Le crawl a-t-il produit une citation ? | Non | Non publié | Non publié |
| La citation a-t-elle produit une visite ? | Non | Non publié | Non publié |
| Prix | Toutes offres, limites en gratuit | Gratuit en bêta | Selon abonnement, Enterprise sur devis |
La ligne que personne ne remplit
Les deux dernières lignes du tableau sont celles qui comptent pour un programme GEO. Savoir que ClaudeBot a lu votre guide mardi n'a de valeur que si vous pouvez répondre à la suite : ce guide est-il cité quand on pose la question à Claude, et ceux qui cliquent achètent-ils ?
Promptwatch est le seul outil de cette comparaison qui relie les trois. Agent Analytics suit ChatGPTBot, ClaudeBot, PerplexityBot, GoogleOther et le crawler Meta AI en temps réel, avec le chemin crawl-vers-citation et le suivi des erreurs. Le même projet suit vos prompts (avec volumes de recherche et query fan-outs), montre quelle page est citée dans chaque réponse, et l'analytique visiteur rattache le trafic issu de l'IA aux conversions. Côté ingestion, Cloudflare (Logpush en Enterprise, Worker déployé automatiquement sur les autres offres), AWS CloudFront, Fastly, Vercel, Netlify, Akamai, Google Cloud CDN et HTTP personnalisé sont pris en charge.
Côté prix, les logs démarrent avec Professional à 245 $/mois (25 millions de lignes, 150 prompts, 2 projets), puis Business à 579 $/mois (100 millions). Les agences commencent à Kick-off, 199 $/mois avec 10 millions de lignes. Essential à 95 $/mois n'inclut pas de quota de logs.
Notre conseil : si vous êtes sur Cloudflare, gardez AI Crawl Control pour la politique d'accès, c'est gratuit et c'est le bon endroit pour bloquer. Pour la mesure, ne cumulez pas Bot Analytics, un audit Semrush et un tracker de mentions qui ne se parlent pas. Branchez vos logs sur une plateforme qui les met à côté des réponses. Produit : promptwatch.com.