Robots.txt : autoriser extensions dossier modules

[Serial]

Bonjour,

Sur Google Webmaster Tools, j'ai remarqué des ressources bloquées sur mon site.

En effet, ces ressources sont des fichiers .png, .jpg, .css et .js mais seulement du répertoire modules.

Comment faire ca sur mon robots.txt ?

Y a t-il un impact sur le référencement ?

[P i l o u]

Bonjour,

Je ne peux répondre à ta question sur le référencement.

J'ai ajouté ces lignes à mon robots.txt et depuis, plus d'erreurs dans GWT.

 

Allow: */modules/*.css
Allow: */modules/*.js
Allow: */modules/*.jpg
Allow: */modules/*.png
Allow: */modules/*.gif

 

[Serial]

1 minute ago, P i l o u said:

Bonjour,

Je ne peux répondre à ta question sur le référencement.

J'ai ajouté ces lignes à mon robots.txt et depuis, plus d'erreurs dans GWT.

 

Allow: */modules/*.css
Allow: */modules/*.js
Allow: */modules/*.jpg
Allow: */modules/*.png
Allow: */modules/*.gif

 

Merci, mais tu as laissé la ligne suivante ou pas ? :

Disallow: */modules

 

[P i l o u]

oui

[Johann Corbel]

En effet, il faut permettre à notre ami googlebot de lire TOUS les fichiers qu'un visiteur normal peut lire. Donc les .js, les .css, etc... qui se trouvent dans modules. Sinon il ne "verra" pas correctement votre page, et ne pourra pas par exemple juger correctement si elle est responsive ou non

[Oron]

Bonjour

Robots.txt : autoriser extensions dossier modules  << le robots.txt n'est pas là pour autorisé ou empêcher mais pour dire a googlbot quel dossier et fichiers ne doit pas être lu et/ou référencé.

Il n'empêche rien si googlebot respecte le robot.txt le bot des autres moteurs de recherches ne lisent pas forcément ce fichier ou n'en tiennent pas compte

Les fichiers .txt sont que des fichiers d'informations , ils n'ont aucun pouvoir contrairement au .htaccess

[Isady]

Bonjour à tous!

Est-ce que quelqu'un sait comment faire pour que le fichier Robots autorise l'indexation des pages traduites www.monsite.fr/en/ par exemple?
J'ai supprimé Disallow: */translations/ et ajouté: Allow: /en/ mais je ne parviens toujours pas à valider mon URL www.monsite.com qui redirige vers www.monsite.fr/en/ ...

Merci pour votre aide si vous le pouvez.

[cyssoo]

Hey !  J'aime  @Pilou qui refuse le crawl de tous les modules, puis derrière autorise l'indexation de Google envers n'importe quelle image de n'importe quel module. 
@Isady, t'as un souci différent, cela devrait faire l'objet d'un autre post.
Dans l'ensemble :
Ne touchez pas au htaccess ! Vous connaissez le langage Apache ou Nginx ?
Lisez les articles SEO de WebRankInfo ou d'Olivier Clémence. Au top, des références SEO.
Payez-vous un module de robots.txt, de noindex... J'dis ça, j'dis rien :-P
Travaillez votre hreflang, vos indexes, la totale. Attention aussi au fait que le SEO est un univers. Y mettre les pieds sous Presta, je vous conseille d'être formés. 

Edited September 23, 2018 by cyssoo
Houps ! difference between index and crawl (see edit history)

[Soyons Solidaire]

Il est pas aussi https://www.webpc.com.ua/