Jump to content

...controller=attachment... Indexée malgré robots.txt


Recommended Posts

Bonjour,

Sur la console google j'ai ces warnings sur toutes mes pièces jointes des produits : Indexée malgré le blocage par le fichier robots.txt

Dans mon robots.txt j'y ai effectivement la ligne : Disallow: /*controller=attachment

Je n'ai pas franchement envie de l'enlever car je ne pense pas utile d'indexer ces urls. 

Mais comment ne plus avoir ces warnings ?

Merci

Link to comment
Share on other sites

  • 3 weeks later...

Bonjour,

pour faire un résumé, il serait bien d'employer les deux noindex et disallow dans le fichier robots.txt

 

Disallow indique aux robots les pages ou les répertoires à ne pas explorer.

Noindex indique aux moteurs de recherche les pages à ne pas indexer dans les résultats de recherche.

 

exemple:

Disallow: /example-page-1/

Noindex: /example-page-1/

voir ici pour plus de détails,

Ornot 😉😉😉

Link to comment
Share on other sites

Comme je l'ai encore expliqué dans un autre post pour corriger les conneries d'Ornot, le robots.txt n'a jamais été fait pour désindexer des URLs mais pour empêcher de les crawler.
Et empêcher de crawler une URL, c'est empêcher de lire la balise "noindex" qu'elle contient...

  • Like 1
Link to comment
Share on other sites

  • 2 weeks later...

Bonjour, 

J'ai appliqué les directives sur le robots.txt. J'ai demandé a google de procéder à la validation de ces erreurs mais elle a échoué. Je me retrouve toujours avec toutes ces erreurs (chaque fiches produits avec un document joint)https://prnt.sc/ne044d

Auriez-vous une (autre) idée ?

Je vous remercie encore pour votre contribution :)

Link to comment
Share on other sites

bonjour Ric34,

pourrais tu copier/coller le fichier robots.txt, si tu veux je peux t'envoyer par MP mon adresse mail google pour que tu me donnes accès temporairement à ta google console?

tu peux demander à google aussi de desindexer ces pages manuellement,

à bientot

Ornot

Link to comment
Share on other sites

Bonjour Ornot, voici le contenu de mon robots.txt :

User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
# Private pages
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Noindex: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /*mot-de-passe-oublie
Disallow: /*adresse
Disallow: /*adresses
Disallow: /*authentification
Noindex: /*authentification
Disallow: /panier
Disallow: /*bons-de-reduction
Disallow: /*historique-des-commandes
Disallow: /*identite
Disallow: /*mon-compte
Disallow: /*details-de-la-commande
Disallow: /*avoirs
Disallow: /*commande
Disallow: /*recherche
Disallow: /*commande-rapide
Disallow: /*suivi-commande-invite
Disallow: /*confirmation-commande

 

Je te remercie pour ta disponibilité.

Link to comment
Share on other sites

Re

Merci pour ces précisions, j'ai enlevé le disallow et n'ai laissé que le Noindex. J'ai également supprimé ces urls via l'outil. 

J'ai demandé une nouvelle demande de validation je vous tiens au courant.

Merci

Link to comment
Share on other sites

bonjour,

il faut attendre plusieurs semaines. De toute manière une erreur 404 n'influence pas le référencement de ton site.

De plus, tu peux faire une redirection 301 à partir de ton fichier .htaccess comme cela les internautes, au cas où il tombent sur ces pages indexées en erreurs, il pourront être redirigés directement vers ta page d'accueil, par exemple.

 

Link to comment
Share on other sites

Re, ce ne sont pas des erreurs 404 mais des erreurs du type "Indexée malgré le blocage par le fichier robots.txt". Soit pas de redirection possible.

Depuis ma dernière demande de validation je me retrouve avec 824 avertissements sur des erreurs de ce type https://prnt.sc/njeqb9. Çà m'inquiète... (je ne pense pas que ce soit lié à ma dernière modif du robots.txt recommandée ci-dessus)

Dans ces warnings un nouveau type d'url y ressort, celle contenant monsite.com/panier?qty=1&id_product=1796&token=xxxazerty...

Quand j'ouvre une de ces urls je suis redirigé vers monsite.com/commande?ipa=000 ; soit la page de "récapitulatif commande" avec l'ajout du produit en GET.

Qu'en pensez-vous ? Grave ? Que dois-je faire ?

Merci

 

Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
×
×
  • Create New...