Jump to content

Url bloquées par le fichier robot txt


Recommended Posts

Bonjour,

 

Je débute et j'ai un problème avec Search console qui me dit que des URL sont bloquées par

le fichier robots.txt et je ne comprends pas d'ou cela peut provenir,pouvez vous m'aider s'il vous plait.

 

Share this post


Link to post
Share on other sites

Le robots.txt généré par ps bloque trop de choses !

En gros, tu dois laisser les robots lire les fichier dont l'utilisateur a besoin. Donc les js, les CSS...

  • Like 1

Share this post


Link to post
Share on other sites

Comment laisser les robots lire ces fichiers et

comment activer les elements qui bloquent l'indexation de google.

Est qu'il faut refaire un sitemap ou comment faire?

Voici mon sitemap:

 

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/robotstxt.html
User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
# Private pages
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /*mot-de-passe-oublie
Disallow: /*adresse
Disallow: /*adresses
Disallow: /*authentification
Disallow: /*panier
Disallow: /*bons-de-reduction
Disallow: /*historique-des-commandes
Disallow: /*identite
Disallow: /*mon-compte
Disallow: /*details-de-la-commande
Disallow: /*avoirs
Disallow: /*commande
Disallow: /*recherche
Disallow: /*commande-rapide
Disallow: /*suivi-commande-invite
Disallow: /*confirmation-commande

Edited by firenze (see edit history)

Share this post


Link to post
Share on other sites

Pour le moment je ne vois aucune erreur sauf 1 avertissement et

voiCI les résultats de GSC.

1
 
Avertissements
URL bloquée par le fichier robots.txt.
Le sitemap contient des URL qui sont bloquées par le fichier robots.txt.
5
-
2 févr. 2017
-
2 févr. 2017
-
2 févr. 2017
 
Par contre je remarque que mon site n'est pas indexé par google,cela provient des url
bloquées par le ficher robots,txt?
Edited by firenze (see edit history)

Share this post


Link to post
Share on other sites
  • 2 weeks later...

bonjour, je rencontre aussi des avertisements par google qui bloque des urls.

 

Le répertoire tools qui bloque, doit je l'enlever du fichier robot?

 

voici une erreur qui me bloque 135 urls: themes/default-bootstrap/js/tools/treeManagement.js

 

merci pour vos informations

Share this post


Link to post
Share on other sites
  • 6 months later...
  • 7 months later...

Bonjour,

j'ai les mêmes problèmes et j'ai l'impression que mon indexation google diminue.

Voici ce que google me dit :

Ressources bloquées > https://souriredessaveurs.com > /modules/advancedeucompliance/views/js/fo_aeuc_tnc.js
Ressources bloquées > https://souriredessaveurs.com > /modules/steavisgarantis/views/img/icon.png

...

c'est toujours avec les modules.

Que dois-je faire ?

Ajouter Allow: */modules/*.js ?

Dans ce cas, où dois-je le mettre ? Aussi, je suis en multi-sites (4 domaines) et en bas du fichier il y a un lien pour le sitemap d'un site seulement, faut il le laisser ou ajouter quelque chose ,

Mon fichier robots.txt se trouve :

https://souriredessaveurs.com/robots.txt

Merci de votre aide

Share this post


Link to post
Share on other sites

Bonjour,

je n'ai pas pu ajouter Allow:*/modules/*.js

J'ai dû enlever *.js

ça ne fonctionnait pas autrement.

Je l'ai ajouter dans # Directories

J'espère que c'est ça qu'il fallait que je fasse ?

Sinon, j'ai toujours ma question sur pourquoi il y a un lien vers un sitemap en bas du robtos.txt :

# Sitemap
Sitemap: https://souriredessaveurs.com/2_index_sitemap.xml

et pas les 4 domaines et sitemap ?

Merci

Share this post


Link to post
Share on other sites
  • 2 years later...

Bonjour à tous,
je rebondi sur le Forum suite à pb du même genre
GoogleSC n'est pas très clair sur les erreurs, je dois utiliser "outils de test des données structurés" et le reporter sur "test des résultats enrichi"
et la je peux voir que des modules ou une partie du thème comporte des en erreur et la... ben c'est un peu la roulette russe.
Un matin je peux voir le fichier qui est bloqué et qui doit etre autorisé à googlebot et un autre jour sur la même page le statut de l'erreur affiche seulement "erreur"

du coup j'ai fait un premier test et j'ai rajouté ceci :

User-agent: *
# Allow Directives
Allow: /js/jquery/*
Allow: */js/*.css
Allow: */js/*.js
Allow: */modules/*.css
Allow: */modules/*.js
Allow: */modules/*.png
Allow: */modules/*.jpg
Allow: */modules/*.ttf
Allow: */modules/*.woff
Allow: */modules/*.woff2
Allow: */themes/*.js
Allow: */themes/*.css
Allow: */themes/*.jpg
Allow: */themes/*.png
Allow: */themes/*.gif
Allow: */themes/*.woff
Allow: */themes/*.woff2

Jour 1
Donc après avoir vu que "Outil de test du fichier robots.txt" avait bien la MAJ j'ai pu faire le test et valider la page puisque les accès son grand ouverts. Parfait rien à dire...

Jour 2
"Outil de test du fichier robots.txt" ne voit plus le fichier et le test enrichi me remonte les pb.

Jour 3
tout reviens en ok.

En gros il me manque une étape pour rendre stable donc j'hésite à retirer les accès et peut etre rajouter dans le head ceci sur les pages que je souhaite index : <meta name="googlebot" content="all">

Est-ce que le sujet vous parle ?

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
×
×
  • Create New...

Important Information

Cookies ensure the smooth running of our services. Using these, you accept the use of cookies. Learn More