Jump to content

Indexée malgré le blocage par le fichier robots.txt

freds83
 Share

Recommended Posts

freds83 Collaborator

freds83

Posted
Posted

Bonjour dans google webmaster j'ai ce message:

Indexée malgré le blocage par le fichier robots.txt

Voici les urls concernées 

https://sublime-cadeaux.fr/connexion?back=https://sublime-cadeaux.fr/gourde-personnalisee/351-gourde-personnalisee-foot-st-etienne-avec-prenom.html?ets_rv_add_question=1	20 mai 2025
https://sublime-cadeaux.fr/connexion?create_account=1&back=https://sublime-cadeaux.fr/gourde-personnalisee/351-gourde-personnalisee-foot-st-etienne-avec-prenom.html?ets_rv_add_question=1	20 mai 2025
https://sublime-cadeaux.fr/connexion?back=https://sublime-cadeaux.fr/body-bebe-personnalise/223-body-pour-bebe-personnalise-le-meilleur-papa.html?ets_rv_add_question=1	17 mai 2025
https://sublime-cadeaux.fr/connexion?create_account=1&back=https://sublime-cadeaux.fr/mug-divers/341-mug-personnalise-je-peux-pas-j-ai-gaming.html?ets_rv_add_question=1	17 mai 2025
https://sublime-cadeaux.fr/connexion?back=https://sublime-cadeaux.fr/mug-divers/341-mug-personnalise-je-peux-pas-j-ai-gaming.html?ets_rv_add_question=1	17 mai 2025
https://sublime-cadeaux.fr/connexion?back=https://sublime-cadeaux.fr/mug-divers/269-mug-personnalise-homme-presque-parfait.html?ets_rv_add_question=1	17 mai 2025
https://sublime-cadeaux.fr/connexion?back=https://sublime-cadeaux.fr/body-bebe-personnalise/209-body-pour-bebe-personnalise-50-papa-50-maman.html?ets_rv_add_question=1	16 mai 2025
https://sublime-cadeaux.fr/connexion?create_account=1&back=https://sublime-cadeaux.fr/body-bebe-personnalise/209-body-pour-bebe-personnalise-50-papa-50-maman.html?ets_rv_add_question=1	16 mai 2025
https://sublime-cadeaux.fr/connexion?back=https://sublime-cadeaux.fr/trousse-scolaire-personnalisee/444-trousse-ecole-personnalise-supporter-strasbourg.html?ets_rv_add_question=1	16 mai 2025
https://sublime-cadeaux.fr/connexion?create_account=1&back=https://sublime-cadeaux.fr/mug-divers/132-mug-personnalise-l-argent-ne-fait-pas-le-bonheur.html?ets_rv_add_question=1

J'ai essayé en ajoutant ca dans le robot txt mais ça ne fonctionne pas 
  

Disallow: /*?ets_rv_add_question=
Disallow: /*connexion?back=

Merci a ceux qui prendront le temps de me lire 

Link to comment
Share on other sites
Prestashop Addict Grand Master

Prestashop Addict

Posted
Posted (edited)

Bonjour,

robots.txt bloque le crawl, pas l'indexation (les liens peuvent être trouvés dans les pages, votre cas en l'occurrence). Google a donc trouvé des liens et a décidé de les indexer (pertinent pour lui). Si vous voulez bloquer ces pages de Google Search, robots.txt n'est pas le bon mécanisme pour éviter d'être indexé. Pour éviter d'être indexé, supprimer le bloc des ces pages dans robots.txt et utiliser «noindex» dans le header de ses pages.

Edited by Prestashop Addict (see edit history)
Link to comment
Share on other sites
Mediacom87 Grand Master

Mediacom87

Posted
Posted

Bonjour,

Vous avez déjà le blocage comme vous l'explique Google : 

Disallow: /*?back=

La question est de savoir ce qui a pu se passer pour que ces URL soient indexées.

Si vous n'en avez pas beaucoup, alors vous pouvez demander leur désindexation, sinon il va falloir mettre en place un noindex sur cette page et retirer le blocage du robots.txt le temps du nettoyage par Google.

Link to comment
Share on other sites
Prestashop Addict Grand Master

Prestashop Addict

Posted
Posted
il y a 2 minutes, freds83 a dit :

Ces pages sont générées via un module d'avis, donc mettre un no index dans le module?
le bloc en question est justement desactivé de toutes les pages

Ben ça dépend des pages, certaines sont certainement importantes vu que ce sont des avis. Mais les formulaires non. Donc il faudrait mettre le noindex uniquement en fonction du type de page affichée dans le module

Link to comment
Share on other sites
Eolia Grand Master

Eolia

Posted
Posted

Depuis quelques mois Google fait vraiment ce qu'il veut. Dès qu'il trouve un href il suit le lien même si nofollow / noindex, il ne respecte plus le robots.txt, la seule solution actuelle est d'obfusquer tous les liens qu'on ne veut pas qu'il crawle (et indexe suivant son bon vouloir)

Link to comment
Share on other sites
freds83 Collaborator

freds83

Posted
  • Author
Posted

Dans le module en question j'ai la possibilité d'activer les avis et les questions sur le produit.
La le module est configuré pour afficher que les avis , les questions réponses sont désactivées, normalement ces urls ne devrait même pas existées

Link to comment
Share on other sites
Mediacom87 Grand Master

Mediacom87

Posted
Posted
Il y a 2 heures, Eolia a dit :

Depuis quelques mois Google fait vraiment ce qu'il veut. Dès qu'il trouve un href il suit le lien même si nofollow / noindex, il ne respecte plus le robots.txt, la seule solution actuelle est d'obfusquer tous les liens qu'on ne veut pas qu'il crawle (et indexe suivant son bon vouloir)

Tout à fait, cela vient du fait qu'il utilise toutes les visites du navigateur Chrome pour récupérer toutes les informations des sites.

J'aborde le sujet dans cet article https://www.mediacom87.fr/googlebot-deviendrait-il-fou/

Link to comment
Share on other sites
Olivier CLEMENCE Proficient

Olivier CLEMENCE

Posted
Posted

Hello,
la bonne méthode pour résoudre ce problème c'est : 

  1. Retirer le blocage du crawl dans le robots.txt
  2. Mettre les pages en noIndex
  3. Attendre que Google visite ces pages et les desindexe
  4. Remettre le blocage du crawl dans le robots.txt

Si vous le souhaitez, vous pouvez facilement ajouter un noindex sur toutes les pages générées par ce module en utilisant notre module Op'art No Index: 

https://addons.prestashop.com/fr/seo-referencement-naturel/30924-op-art-noindex-booster-votre-seo-eviter-les-penalites.html

 

Link to comment
Share on other sites
freds83 Collaborator

freds83

Posted
  • Author
Posted (edited)
On 5/21/2025 at 6:20 PM, Olivier CLEMENCE said:

Hello,
la bonne méthode pour résoudre ce problème c'est : 

  1. Retirer le blocage du crawl dans le robots.txt
  2. Mettre les pages en noIndex
  3. Attendre que Google visite ces pages et les desindexe
  4. Remettre le blocage du crawl dans le robots.txt

Si vous le souhaitez, vous pouvez facilement ajouter un noindex sur toutes les pages générées par ce module en utilisant notre module Op'art No Index: 

https://addons.prestashop.com/fr/seo-referencement-naturel/30924-op-art-noindex-booster-votre-seo-eviter-les-penalites.html

 

Bonjour merci pour votre réponse, votre module est compliqué a configurer? Je voudrai pas me louper et mettre en no index les mauvaises pages

Si j'ai bien compris en regardant votre video dans votre module, je vais sur l'onglet module et je mets en no index le module avis commentaires vu que c'est lui qui génère ces pages ?

Edited by freds83 (see edit history)
Link to comment
Share on other sites
freds83 Collaborator

freds83

Posted
  • Author
Posted

Plus haut Prestashop Addict dit Ben ça dépend des pages, certaines sont certainement importantes vu que ce sont des avis. Mais les formulaires non. Donc il faudrait mettre le noindex uniquement en fonction du type de page affichée dans le module.

Avec votre module ca fait mettre en no index formulaire + avis ?

Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share
Go to topic listing
×
×
  • Create New...