Jump to content
coffrant@me.com

Accès de Googlebot aux fichiers CSS et JS impossible

Recommended Posts

Bonjour à tous,

Je viens de recevoir aujourd'hui une notification de Google Search Console dont les termes sont les suivants ;

 

" Nos systèmes ont récemment détecté un problème avec votre page d'accueil qui affecte l'affichage et l'indexation de votre contenu par nos algorithmes. Plus particulièrement, Googlebot ne peut accéder à vos fichiers JavaScript ou CSS à cause de restrictions dans votre fichier robots.txt. Ces fichiers nous permettent de comprendre que votre site Web fonctionne correctement. En bloquant l'accès à ces éléments, il est donc possible que le classement du site ne soit pas optimal."

 

Après recherche sur le sujet, il est effectivement déconseillé de restreindre l'accès à ces fichiers afin d'améliorer l'indexation par Google.

 

En éditant le fichier robot.txt généré automatiquement par prestashop, je ne vois aucune mention particulière qui interdit à Googlebot d'indexer ces fichiers (voir la capture écran).

Est-ce que l'un de vous aurais une piste ? Merci par avance

 

 

Share this post


Link to post
Share on other sites

Bonjour,

 

J'ai aussi reçu le même message pour nombre de mes clients. C'est le fichier standard robots.txt de Prestashop que j'utilise. Je pense que la ligne 

 

Disallow: /modules/

 

Peut en être la case. 

 

Cordialement

Patrice

Share this post


Link to post
Share on other sites

Bonjour à tous

 

Idem pour moi

@boostervente : Google Webmaster Tools indique en effet que c'est le répertoire modules auquel Googlebot souhaite accéder...

J'ai aussi lu qu'il ne fallait pas bloquer son accès...

"Ce que le Roi veut..." je pense que je vais supprimer la ligne Disallow: /modules/

Étonnant pour robot.txt généré par PS ???

Share this post


Link to post
Share on other sites

Bonjour,

Effectivement, je pense que je vais faire de même à savoir supprimer la ligne de blocage sur le répertoire module.

 

Cordialement
Patrice

Share this post


Link to post
Share on other sites

Bonjour,

j'ai supprimer la ligne modules dans le fichier robot.txt

et si vous utilisez CrawlProtect il faut cocher les cases "theme" et "module" dans Accès aux fichiers spéciaux dans Autres paramètres

depuis j'ai fait le teste "Explorer comme Google" de ma page d'accueil et tout passe bien

Share this post


Link to post
Share on other sites

Bonsoir, je viens de faire la correction sur la ligne 'modules' et soumis de nouveau plusieurs sites et effectivement cela à l'air de corriger le problème. J'attends 24h… avant de crier victoire…

Share this post


Link to post
Share on other sites

Pas de précipitations, d'après mes premières constatations et analyses je pencherais plutôt pour un bug temporaire de Search Console.

 

Je m'explique :

Mes sites pros tournant sous WP j'ai également reçu le message pour certains d'entre eux (robots.txt incriminé), or je n'ai pas de robots.txt sur ces derniers (je les ai supprimé il y a quelques temps, ils ne me sont d'aucune utilité puisque je bloque les accès à Google via meta robots noindex et utilise des canonicals pour rediriger certaines pages).

 

Pourtant après vérification dans Search Console, Google m'affiche encore l'ancienne version (antidatée donc) des robots.txt où j'y bloquais les dossiers /wp-admin/ et /wp-includes/...

 

Du coup j'ai régénéré un robots.txt vide avec la seule ligne User-agent: * et forcé le passage de Google, cela semble revenir à la normale sur le premier site.

 

D'autre part, pour Prestashop je ne vois pas pourquoi autoriser le crawl des modules changerait quoi que ce soit, le CSS et le java ne sont pas à cet endroit à ma connaissance, pas plus que dans les dossiers /wp-admin/ et /wp-includes/ de Wordpress !

Edited by Presta_SEO (see edit history)

Share this post


Link to post
Share on other sites

@Presta_seo

 

Dans de nombreux modules, il y a des fichiers css et des js dans le module. Ils sont donc bien bloqués si le répertoire complet /modules/ est bloqué.

Share this post


Link to post
Share on other sites

j'ai reçu le même message aujourd'hui

alors que peut t’ont faire enlever la ligne Disallow: /modules/  ???

merci pour vos retour

Share this post


Link to post
Share on other sites

Bonsoir,

 

J'ai également reçu cette notifiacation mais pour mon wordpress qui a bel et bien des fichiers dont l'accès est bloqué mais pas dans le robot.txt car mes blocages sont écrits dans le .htaccess.

La même pour mon Prestashop devrait suivre puisque j'ai les mêmes ressources bloquées.

 

Perso je ne change rien pour le moment, je trouve que Mister Google commence sérieusement à abuser de sa position dominante. Je suis assez éffarée de voir que beaucoup se précipitent pour faire ce que Google veut :blink: heureusement qu'il nous a pas dit de nous jeter d'un pont ...

 

Je précise que si j'ai bloqué certains types de fichiers c'est pour une bonne raison : j'avais un taux d'accès au dela de tout entendement à leurs urls dans mes stats, pour certains ça venait de liens Russes ou Ukrainiens qui pointait vers mes fichiers de fonts et de css ... :wacko:

après je peux toujours faire une exception pour le roi, ou pas ;) .

Share this post


Link to post
Share on other sites

Bonjour, j'ai également reçu ce message hier fin d'après-midi :-/. Vous me conseillez quoi ? 

Cordialement, 

Share this post


Link to post
Share on other sites

Bonjour,

 

Il y a effectivement des CSS/JS dans les dossiers des modules.

Cependant, lors de l'activation de la compression CSS/JS on ne devrait plus avoir de CSS/JS appelés dans le dossier modules.

Hormis si des modules mal développés effectuent des ajouts de CSS/JS en dur dans le code ...

 

Je pencherai également pour un bug de la part de Google.

Il est étonnant que ce problème ne soit jamais remonté, et d'un coup remonte sur de nombreux site sans raison.

Share this post


Link to post
Share on other sites

Hello,

 

I'm sorry if I'm writing in english

 

I think the problem is in your robot.txt, in this row:

Disallow: /modules/

to fix the problem add # before this row

#Disallow: /modules/

Matteo

Share this post


Link to post
Share on other sites

Bonjour,

 

Je suis assez dubitatif quand à ce problème qui sort d'un coup du chapeau…

Néanmoins peut-on poser la question autrement ; est-ce qu'il est problématique d'autoriser Google à crawler le dossier 'modules' afin de vérifier que cela solutionne (ou non) la question ?

  • Like 1

Share this post


Link to post
Share on other sites

Bonjour,

 

Il y a effectivement des CSS/JS dans les dossiers des modules.

Cependant, lors de l'activation de la compression CSS/JS on ne devrait plus avoir de CSS/JS appelés dans le dossier modules.

Hormis si des modules mal développés effectuent des ajouts de CSS/JS en dur dans le code ...

 

Je pencherai également pour un bug de la part de Google.

Il est étonnant que ce problème ne soit jamais remonté, et d'un coup remonte sur de nombreux site sans raison.

 

C'est ce que je voulais dire, au même titre que les dossiers wp-admin et wp-include de Wordpress qui contiennent eux aussi CSS et Java.

 

Ce n'est pas pour autant une raison d'en autoriser le crawl et l'accès à Google puisque ce sont des dossiers censés être "cachés" !

 

Je le répète encore une fois, patience...

Edited by Presta_SEO (see edit history)

Share this post


Link to post
Share on other sites

Bonjour,

 

J'ai également rencontré ce problème et je serai tenté de mettre en commentaire la ligne "Disallow: /modules/". Mais si PrestaShop génère un fichier robots.txt pour désactiver l'indexation du répertoire "modules", c'est qu'il y a une bonne raison...

 

N'y aurait-il pas un risque d'afficher des données sensibles du répertoire "modules" dans les serps ?

Share this post


Link to post
Share on other sites

Bonjour,

 

J'ai aussi reçu cet avertissement et pour limiter une éventuelle indexation  de tout et n'importe quoi par google j'ai opté pour cette solution:

# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
Allow: /modules/*.css
Allow: /modules/*.js

L'ajout des 2 dernières lignes limite l’accès de google aux seuls fichiers javascript et css.

Edited by lehangart (see edit history)
  • Like 1

Share this post


Link to post
Share on other sites

bonjour,

juste un détail...

Pensez-vous vraiment que les modules aient une quelconque importance dans le positionnement de votre site ?

 

Pensez vous trouver dans les lignes de codes de ces modules de quoi positionner votre site en première position ?

 

NNOOONNN bien sûr que non un module est un outil alors que googlebot ne puissent y avoir accès n'empêchera surement pas votre site de continuer a être bien positionné si vous avez du contenu pertinent et efficace.

 

Il faut arrêter de "flipper" des que Google envoi un mail informant qu’il ne peut avoir accès a une partie dont personne =n'a besoin d'avoir accès.

 

Pour finir

 

donner cet accès a vos modules permet aux hackers en herbe de connaitre le fondement de votre site et donc pour peu que vous ayez un module foireux alors bonjour le piratage. En effet a partir du moment ou googlebot a accès alors il le publie c'est le principe même du "Allow"

Edited by labelandco (see edit history)
  • Like 1

Share this post


Link to post
Share on other sites

@Labelandco :

 

Un disallow n'empêche (malheureusement dans le cas de Prestashop) pas l'indexation, comme une meta robots noindex n'empêche pas le crawl (à moins de la coupler à une meta robots nofollow).

 

C'est pour cela (dans le cas des pages "physiques" et pour Prestashop du moins) qu'il est impératif de coupler le disallow à une meta robots noindex, seule commande qui empêche radicalement l'indexation.

 

Mais comme tu le soulignes à juste titre, niveau sécurité certaines pages/dossiers doivent impérativement rester "invisible", n'en déplaise à sAigneur Google...

Edited by Presta_SEO (see edit history)

Share this post


Link to post
Share on other sites

oui bien  évidemment je suis d'accord avec toi, mais le fond de ma pensée et mes propos étaient justement une mise en garde sur le fait de l'importance que certains dossiers doivent être invisibles

Share this post


Link to post
Share on other sites

Absolument, j'ai juste profité de l'occasion pour faire une petite piqure de rappel sur des notions qui restent abstraites voire inconnues à la majorité des utilisateurs de Prestashop ! ;)

Share this post


Link to post
Share on other sites

Tout ça me fait doucement rigoler, surtout ceux qui commencent à autoriser tout et n'importe quoi parce que M. Google a dit que...

 

Il faut déjà savoir que les bots Google (et les autres) ne tiennent compte du robot.txt que pour savoir quel contenu doit être indexé. En aucun cas cela ne les empêche de scanner TOUS vos répertoires, sauf si vous y avez mis des protections. Regardez vos logs de connexions, vous serez épatés^^

 

Google avait annoncé cette vérification en automne 2014 et apparemment pas grand monde ne l'a lu.

 

Qu'est-ce qui se passe donc alors ?

 

Tout simplement, qu'avant, Google n'en avait rien à carrer du "look" de votre site, se penchant surtout sur son contenu, pertinence etc...

Depuis l'arrivée des mobiles/tablettes et autres moyens connectés, il se pose la question de l'accessibilité à ces terminaux. Tout ça dans le but de l'indiquer dans les moteurs de recherche.

Là où il se moque de vous, c'est qu'il a accès à tous les fichiers nécessaires pour afficher votre site suivant le terminal utilisé (comme n'importe quel internaute d'ailleurs). Mais le fait d'autoriser des répertoires entiers pour lui faire plaisir ne va pas dans le sens de la sécurité/confidentialité.

 

Alors faites comme vous voulez, mais si vos sites s'affichent convenablement dans les différents modes, ne tenez pas compte de la deman de d'ingérence de Mister Google.

 

Vous aurez été prévenus^^

  • Like 3

Share this post


Link to post
Share on other sites

Mais le fait d'autoriser des répertoires entiers pour lui faire plaisir ne va pas dans le sens de la sécurité/confidentialité.

 

Alors faites comme vous voulez, mais si vos sites s'affichent convenablement dans les différents modes, ne tenez pas compte de la deman de d'ingérence de Mister Google.

 

Vous aurez été prévenus^^

 

C'est exactement ce à quoi je pensais d'autant plus que là on touche au sujet sensible de la confidentialité/respect des données personnelles.

 

Google n'a pas l'air d'avoir mesuré l'impact d'une telle décision, cela pourrait aller très loin...

 

Mais ne nous emballons pas, cela n'est après tout peut-être qu'un bug temporaire ! :D

Edited by Presta_SEO (see edit history)

Share this post


Link to post
Share on other sites

Ce qui est intéressant c'est qu'avant que j'intervienne et aussi @prestaseo, personne n'avait fait la remarque.

Mais bon le principal c'est que maintenant les choses soient faites.(c'était juste une parenthèse...)

 

@Eolia je suis mille fois d'accord avec toi.

il est ESSENTIEL de rappeler que ce n'est pas parce que Google demande qu'il faut absolument accorder ou faire.

 

le souci c'est que l'ancrage Google est tel et surtout certains forums de M.... disent tellement de C.......que cela fait que les choses se présentent ainsi

Edited by labelandco (see edit history)

Share this post


Link to post
Share on other sites

Salut @eolia @atch et @labelandco

 

Que pensez vous de la solution où on n'autorise que l'accès aux fichiers js et css pour satisfaire l'apparence du site aux yeux de google?

Share this post


Link to post
Share on other sites

pour ma part je reprendrai le paragraphe de @Eolia qui résume très bien la chose

 

@Eolia dit :

 

Tout simplement, qu'avant, Google n'en avait rien à carrer du "look" de votre site, se penchant surtout sur son contenu, pertinence etc...

Depuis l'arrivée des mobiles/tablettes et autres moyens connectés, il se pose la question de l'accessibilité à ces terminaux. Tout ça dans le but de l'indiquer dans les moteurs de recherche.

Là où il se moque de vous, c'est qu'il a accès à tous les fichiers nécessaires pour afficher votre site suivant le terminal utilisé (comme n'importe quel internaute d'ailleurs). Mais le fait d'autoriser des répertoires entiers pour lui faire plaisir ne va pas dans le sens de la sécurité/confidentialité.

Share this post


Link to post
Share on other sites

C'est la moins mauvaise, mais inutile.

 

En quoi faut-il satisfaire cette exigence ??? Si demain il vous demande l'identifiant de connexion admin, vous lui donnez ?

Share this post


Link to post
Share on other sites

Bonjour,

 

N'enlevez pas le disallow de /modules/, vous risqueriez de voir certaines pages inutiles indexées dans les SERPs. Utilisez plutôt l'astuce que quelqu'un a partagé plus tôt. Dans le robots.txt :

Allow: */.js$

Allow: */.css$

Share this post


Link to post
Share on other sites

Bonsoir...la réponse ici (testée et approuvée) 

 

http://www.pullseo.com/alerte-googlebot-css-et-js/

 

Cordialement,

Je voulais tester cette solution.. je galère un peu avec le ftp.. J'ai ça (voir ci-dessous) pouvez-vous me donner ce que je dois mettre à la place?

 

# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
 
 
D'avance merci...

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

×
×
  • Create New...

Important Information

Cookies ensure the smooth running of our services. Using these, you accept the use of cookies. Learn More