Url bloquées par le fichier robot txt

[firenze]

Bonjour,

 

Je débute et j'ai un problème avec Search console qui me dit que des URL sont bloquées par

le fichier robots.txt et je ne comprends pas d'ou cela peut provenir,pouvez vous m'aider s'il vous plait.

 

[Johann]

Le robots.txt généré par ps bloque trop de choses !

En gros, tu dois laisser les robots lire les fichier dont l'utilisateur a besoin. Donc les js, les CSS...

[firenze]

Comment laisser les robots lire ces fichiers et

comment activer les elements qui bloquent l'indexation de google.

Est qu'il faut refaire un sitemap ou comment faire?

Voici mon sitemap:

 

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/robotstxt.html
User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
# Private pages
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /*mot-de-passe-oublie
Disallow: /*adresse
Disallow: /*adresses
Disallow: /*authentification
Disallow: /*panier
Disallow: /*bons-de-reduction
Disallow: /*historique-des-commandes
Disallow: /*identite
Disallow: /*mon-compte
Disallow: /*details-de-la-commande
Disallow: /*avoirs
Disallow: /*commande
Disallow: /*recherche
Disallow: /*commande-rapide
Disallow: /*suivi-commande-invite
Disallow: /*confirmation-commande

Edited February 3, 2017 by firenze (see edit history)

[Johann]

peux tu coller ici les erreurs bloquantes que GSC te sort ?

[firenze]

Pour le moment je ne vois aucune erreur sauf 1 avertissement et

voiCI les résultats de GSC.

1

 

Avertissements

URL bloquée par le fichier robots.txt.

Le sitemap contient des URL qui sont bloquées par le fichier robots.txt.

5

Valeur : http://templelakota.com/adresses

-

2 févr. 2017

Valeur : http://templelakota.com/confirmation-commande

-

2 févr. 2017

Valeur : http://templelakota.com/mon-compte

-

2 févr. 2017

 

Par contre je remarque que mon site n'est pas indexé par google,cela provient des url

bloquées par le ficher robots,txt?

Edited February 3, 2017 by firenze (see edit history)

[Johann]

j'ai regardé rapidement, je ne vois pas de pb, et ton site est bien indexé par Google (62 url)

[firenze]

Merci beaucoup pour votre intervention,

c'est très aimable a vous .

[Manu-41]

bonjour, je rencontre aussi des avertisements par google qui bloque des urls.

 

Le répertoire tools qui bloque, doit je l'enlever du fichier robot?

 

voici une erreur qui me bloque 135 urls: themes/default-bootstrap/js/tools/treeManagement.js

 

merci pour vos informations

[P i l o u]

Tu peux peut-être ajouter à ton robots.txt

Allow: */themes/*.js

[Manu-41]

Tu peux peut-être ajouter à ton robots.txt

Allow: */themes/*.js

 

bonsoir, je vais tester ca.

merci

[xaxa]

Bonjour,

Avez-vous résolu le problème ?

Merci!

[SOURIRE DES SAVEURS]

Bonjour,

j'ai les mêmes problèmes et j'ai l'impression que mon indexation google diminue.

Voici ce que google me dit :

Ressources bloquées > https://souriredessaveurs.com > /modules/advancedeucompliance/views/js/fo_aeuc_tnc.js

Ressources bloquées > https://souriredessaveurs.com > /modules/steavisgarantis/views/img/icon.png

...

c'est toujours avec les modules.

Que dois-je faire ?

Ajouter Allow: */modules/*.js ?

Dans ce cas, où dois-je le mettre ? Aussi, je suis en multi-sites (4 domaines) et en bas du fichier il y a un lien pour le sitemap d'un site seulement, faut il le laisser ou ajouter quelque chose ,

Mon fichier robots.txt se trouve :

https://souriredessaveurs.com/robots.txt

Merci de votre aide

[SOURIRE DES SAVEURS]

Bonjour,

je n'ai pas pu ajouter Allow:*/modules/*.js

J'ai dû enlever *.js

ça ne fonctionnait pas autrement.

Je l'ai ajouter dans # Directories

J'espère que c'est ça qu'il fallait que je fasse ?

Sinon, j'ai toujours ma question sur pourquoi il y a un lien vers un sitemap en bas du robtos.txt :

# Sitemap
Sitemap: https://souriredessaveurs.com/2_index_sitemap.xml

et pas les 4 domaines et sitemap ?

Merci

[vincent cruvellier]

Bonjour à tous,
je rebondi sur le Forum suite à pb du même genre
GoogleSC n'est pas très clair sur les erreurs, je dois utiliser "outils de test des données structurés" et le reporter sur "test des résultats enrichi"
et la je peux voir que des modules ou une partie du thème comporte des en erreur et la... ben c'est un peu la roulette russe.
Un matin je peux voir le fichier qui est bloqué et qui doit etre autorisé à googlebot et un autre jour sur la même page le statut de l'erreur affiche seulement "erreur"

du coup j'ai fait un premier test et j'ai rajouté ceci :

User-agent: *
# Allow Directives
Allow: /js/jquery/*
Allow: */js/*.css
Allow: */js/*.js
Allow: */modules/*.css
Allow: */modules/*.js
Allow: */modules/*.png
Allow: */modules/*.jpg
Allow: */modules/*.ttf
Allow: */modules/*.woff
Allow: */modules/*.woff2
Allow: */themes/*.js
Allow: */themes/*.css
Allow: */themes/*.jpg
Allow: */themes/*.png
Allow: */themes/*.gif
Allow: */themes/*.woff
Allow: */themes/*.woff2

Jour 1
Donc après avoir vu que "Outil de test du fichier robots.txt" avait bien la MAJ j'ai pu faire le test et valider la page puisque les accès son grand ouverts. Parfait rien à dire...

Jour 2
"Outil de test du fichier robots.txt" ne voit plus le fichier et le test enrichi me remonte les pb.

Jour 3
tout reviens en ok.

En gros il me manque une étape pour rendre stable donc j'hésite à retirer les accès et peut etre rajouter dans le head ceci sur les pages que je souhaite index : <meta name="googlebot" content="all">

Est-ce que le sujet vous parle ?

[zepelucheclub.com]

j'ai un problème du même type ubersuggest me réfère plus de mille pages bloquées de ce type :

https://zepelucheclub.com/66-doudou-grenouille-orange-et-rouge-25-cm-sigikid.html?SubmitCurrency=1&id_currency=2

dois-je modifier le fichier robots txt Disallow: /*?id_currency= et le mettre en Allow: /*?id_currency=

ou installer une balise no index quelque part

merci d'avance