[Pro] Le crawler Ahrefs signale des liens JavaScript brisés (403 Forbidden ?) "Page has broken JavaScript"

[MatthieuMnz]

Bonjour à l'équipe Tarteaucitron,

Nous avons récemment migré notre site vers la version Pro de TAC et nous rencontrons depuis un souci avec le crawler Ahrefs.

Description du problème :

Le crawler Ahrefs nous signale un grand nombre d'erreurs (environ 4000 pages) liées à des liens JavaScript qu'il considère comme "brisés" ("broken"). Voici un exemple du type d'erreur remontée :

https://tarteaucitron.io/load.js?domain=www.icarsoft-france.fr&uuid=bf640a38c51ae5598e6ab4b78512729b64324937

Constatations importantes :

1. Non reproductible manuellement : Ces erreurs ne sont pas reproductibles lorsque nous naviguons sur le site avec un navigateur standard (Chrome, Firefox, etc.). Les fonctionnalités liées à ces scripts fonctionnent correctement.
2. Hypothèse : Nous suspectons que Tarteaucitron pourrait intercepter ou bloquer les requêtes du crawler Ahrefs d'une manière spécifique, peut-être en retournant un statut HTTP particulier (comme un 403 Forbidden qui serait interprété comme un lien brisé par le crawler).
3. Whitelistage serveur : L'user-agent et les IP du crawler Ahrefs sont intégralement whitelistés au niveau de notre infrastructure serveur (firewall, WAF, etc.). Nous ne pensons pas que le blocage provienne de cette couche.
4. En exécutant curl -A "AhrefsBot" -I "https://tarteaucitron.io/load.js?domain=www.icarsoft-france.fr&uuid=bf640a38c51ae5598e6ab4b78512729b64324937" on obtient bien un 403 Forbidden

Rien n'est sûr quant à l'origine du problème, cela vient peut-être de chez nous.

Nous sommes à votre disposition pour fournir toute information complémentaire qui pourrait vous aider à diagnostiquer ce problème.

Nous vous remercions par avance pour votre aide et vos éclaircissements.

[AmauriC]

Bonjour,

C'est bien un blocage côté tarteaucitron du bot ahrefs qui est particulièrement gourmand et n'a pas besoin d'accéder à ce fichier.

Ca ne concerne pas vos utilisateurs ou l'infra tarteaucitron 👍

[MatthieuMnz]

Génial, merci beaucoup pour la réponse hyper rapide !
Bonne journée,