Jump to content

Url bloquées par le fichier robot txt


Recommended Posts

Comment laisser les robots lire ces fichiers et

comment activer les elements qui bloquent l'indexation de google.

Est qu'il faut refaire un sitemap ou comment faire?

Voici mon sitemap:

 

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/robotstxt.html
User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
# Private pages
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /*mot-de-passe-oublie
Disallow: /*adresse
Disallow: /*adresses
Disallow: /*authentification
Disallow: /*panier
Disallow: /*bons-de-reduction
Disallow: /*historique-des-commandes
Disallow: /*identite
Disallow: /*mon-compte
Disallow: /*details-de-la-commande
Disallow: /*avoirs
Disallow: /*commande
Disallow: /*recherche
Disallow: /*commande-rapide
Disallow: /*suivi-commande-invite
Disallow: /*confirmation-commande

Edited by firenze (see edit history)
Link to comment
Share on other sites

Pour le moment je ne vois aucune erreur sauf 1 avertissement et

voiCI les résultats de GSC.

1
 
Avertissements
URL bloquée par le fichier robots.txt.
Le sitemap contient des URL qui sont bloquées par le fichier robots.txt.
5
-
2 févr. 2017
-
2 févr. 2017
-
2 févr. 2017
 
Par contre je remarque que mon site n'est pas indexé par google,cela provient des url
bloquées par le ficher robots,txt?
Edited by firenze (see edit history)
Link to comment
Share on other sites

  • 2 weeks later...

bonjour, je rencontre aussi des avertisements par google qui bloque des urls.

 

Le répertoire tools qui bloque, doit je l'enlever du fichier robot?

 

voici une erreur qui me bloque 135 urls: themes/default-bootstrap/js/tools/treeManagement.js

 

merci pour vos informations

Link to comment
Share on other sites

  • 6 months later...
  • 7 months later...

Bonjour,

j'ai les mêmes problèmes et j'ai l'impression que mon indexation google diminue.

Voici ce que google me dit :

Ressources bloquées > https://souriredessaveurs.com > /modules/advancedeucompliance/views/js/fo_aeuc_tnc.js
Ressources bloquées > https://souriredessaveurs.com > /modules/steavisgarantis/views/img/icon.png

...

c'est toujours avec les modules.

Que dois-je faire ?

Ajouter Allow: */modules/*.js ?

Dans ce cas, où dois-je le mettre ? Aussi, je suis en multi-sites (4 domaines) et en bas du fichier il y a un lien pour le sitemap d'un site seulement, faut il le laisser ou ajouter quelque chose ,

Mon fichier robots.txt se trouve :

https://souriredessaveurs.com/robots.txt

Merci de votre aide

Link to comment
Share on other sites

Bonjour,

je n'ai pas pu ajouter Allow:*/modules/*.js

J'ai dû enlever *.js

ça ne fonctionnait pas autrement.

Je l'ai ajouter dans # Directories

J'espère que c'est ça qu'il fallait que je fasse ?

Sinon, j'ai toujours ma question sur pourquoi il y a un lien vers un sitemap en bas du robtos.txt :

# Sitemap
Sitemap: https://souriredessaveurs.com/2_index_sitemap.xml

et pas les 4 domaines et sitemap ?

Merci

Link to comment
Share on other sites

  • 2 years later...

Bonjour à tous,
je rebondi sur le Forum suite à pb du même genre
GoogleSC n'est pas très clair sur les erreurs, je dois utiliser "outils de test des données structurés" et le reporter sur "test des résultats enrichi"
et la je peux voir que des modules ou une partie du thème comporte des en erreur et la... ben c'est un peu la roulette russe.
Un matin je peux voir le fichier qui est bloqué et qui doit etre autorisé à googlebot et un autre jour sur la même page le statut de l'erreur affiche seulement "erreur"

du coup j'ai fait un premier test et j'ai rajouté ceci :

User-agent: *
# Allow Directives
Allow: /js/jquery/*
Allow: */js/*.css
Allow: */js/*.js
Allow: */modules/*.css
Allow: */modules/*.js
Allow: */modules/*.png
Allow: */modules/*.jpg
Allow: */modules/*.ttf
Allow: */modules/*.woff
Allow: */modules/*.woff2
Allow: */themes/*.js
Allow: */themes/*.css
Allow: */themes/*.jpg
Allow: */themes/*.png
Allow: */themes/*.gif
Allow: */themes/*.woff
Allow: */themes/*.woff2

Jour 1
Donc après avoir vu que "Outil de test du fichier robots.txt" avait bien la MAJ j'ai pu faire le test et valider la page puisque les accès son grand ouverts. Parfait rien à dire...

Jour 2
"Outil de test du fichier robots.txt" ne voit plus le fichier et le test enrichi me remonte les pb.

Jour 3
tout reviens en ok.

En gros il me manque une étape pour rendre stable donc j'hésite à retirer les accès et peut etre rajouter dans le head ceci sur les pages que je souhaite index : <meta name="googlebot" content="all">

Est-ce que le sujet vous parle ?

Link to comment
Share on other sites

  • 9 months later...

j'ai un problème du même type ubersuggest me réfère plus de mille pages bloquées de ce type :

https://zepelucheclub.com/66-doudou-grenouille-orange-et-rouge-25-cm-sigikid.html?SubmitCurrency=1&id_currency=2

dois-je modifier le fichier robots txt Disallow: /*?id_currency= et le mettre en Allow: /*?id_currency=

ou installer une balise no index quelque part

merci d'avance

Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
×
×
  • Create New...