Jump to content
Dekkade

[Résolu] URL bloquées par le fichier robots.txt

Recommended Posts

Bonjour,

 

Je me permet de poster une demande, car après avoir épluché le forum dans tous les sens, je ne trouve pas de réponse à mon problème...

Depuis Février, je suis en chute constante de page indexée et aujourd'hui pour des mots clés importants pour lesquels j'apparaissait entre la 1ère et la 5ème page, et bien je ne suis même plus présent du tout...

Apparemment, j'ai un gros souci avec mon fichier robots.txt car toutes mes fiches produits sont systématiquement bloqués avec ce message :

Type d'erreur Pourcentage Nombre URL bloquées par le fichier robots.txt 100 % 211

 

Après plusieurs modifications, je n'arrive toujours pas à voir ce qui ne va pas et c'est pourquoi je me permet de vous demander votre aide avec un regard neuf et extérieur.

Edited by Dekkade (see edit history)

Share this post


Link to post
Share on other sites

Bonjour,

Retirez cette ligne de votre robots.txt :

Noindex:/product.php

  • Like 1

Share this post


Link to post
Share on other sites

Je me demande comment il est arrivé là ce noindex! il est généré Prestashop ce sitemap?...laissez les cases vides si vous ne savez pas en 1.5.4 par exemple..c'est barbare là

Share this post


Link to post
Share on other sites

Je viens de faire le nécessaire pour virer cette ligne....Merci.

Sinon, non le sitemap et le fichier robots ne sont pas générés par Prestashop, mais modifiés par une tierce personne professionnelle !!!!

Moi, perso quand je ne sais pas faire ou quand je ne connais pas, je ne touche pas.....C'est pourquoi je vous demande votre avis, car je me retrouve seul avec ce problème, et je dois le régler.

Pensez vous que mon sitemap a aussi des gros problèmes ?

Share this post


Link to post
Share on other sites

voici un lien qui vous permettra d'avoir un bon sitemap : http://www.xml-sitemaps.com/

 

• vous indiquez l'url

•vous télécharger le fichier décompressé et vous le remplacez par l'ancien

 

pour le fichier robots @Herdrad vous a donné la bonne instruction et en principe tout rentre dans l'ordre.

Share this post


Link to post
Share on other sites

Un grand Merci pour ton aide Hedrad, le pourcentage d'URL bloqués diminue chaque jour et tout devrait rentrer dans l'ordre...

Merci labelandco pour ton lien, je changerai le sitemap un peu plus tard, car j'ai pas mal de modifs à faire avant...D'ailleurs juste une dernière petite question, je dois mettre à jour le Sitemap régulièrement même si il n'y a pas de modifs, et à quelle fréquence ?

Encore un grand merci à vous......

Share this post


Link to post
Share on other sites

Bonjour

 

Votre problème est résolu merci de bien vouloir mettre [Résolu] devant le sujet de votre 1er post en cliquant sur Modifier puis Utiliser l'éditeur complet.

Share this post


Link to post
Share on other sites

Bonjour,

 

Je me permets de relancer le sujet car j'ai un souci similaire au niveau des url bloquées, et elles augmentent de plus en plus :

 

  2 342 22 oct. 2013 200 (Réussi)

 

Donc 2342 Url bloquées

 

Si quelqu'un avait une petite se serait bien sympathique car j'ai beau chercher je ne trouve pas.

 

Tetra

 

Je suis même en train de me tâter à mettre le robot.txt vide ...

Edited by tetranet2 (see edit history)

Share this post


Link to post
Share on other sites

 

Je me permets de relancer le sujet car j'ai un souci similaire au niveau des url bloquées, et elles augmentent de plus en plus :

 

  2 342 22 oct. 2013 200 (Réussi)

 

Donc 2342 Url bloquées

 

salut quelle version de PS? je suis en 1.6.0X

j'ai eu le même soucis, la misère sans déc!! Mais j'ai encore un paquet de bins dans la façon dont google scanne le contenu du site PS mais sur l'indexation de base ça refonctionne normalement. voir ci aprés :

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/robotstxt.html
User-agent: *
Allow: /img
Allow: /images
Allow: /themes/lenomduthemequivabien/
Allow: /modules/
# Private pages
Disallow: /*?option=
Disallow: /*?redirected=
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: /classes/
Disallow: /config/
Disallow: /download/
Disallow: /mails/
Disallow: /translations/
Disallow: /tools/
# Files
Disallow: /fr/mot-de-passe-oublie
Disallow: /fr/adresse
Disallow: /fr/adresses
Disallow: /fr/authentification
Disallow: /fr/panier
Disallow: /fr/bons-de-reduction
Disallow: /fr/historique-des-commandes
Disallow: /fr/identite
Disallow: /fr/mon-compte-client
Disallow: /fr/details-de-la-commande
Disallow: /fr/avoirs
Disallow: /fr/commande
Disallow: /fr/recherche
Disallow: /fr/commande-rapide
Disallow: /fr/suivi-commande-invite
Disallow: /fr/confirmation-commande
Disallow: /en/
# Sitemap
Sitemap: http://www.tonsite.fr/nom-du-sitemap.xml

Si pas de version englaise en vue, tu peux dégager les lignes avec "/*en/..."pour ma part, ce sont les images utilisées pour google merchant qui sont bloqué car inaccessible à cause de ce fichier robot... je n'ai pas encore trouvé pourquoi. Pas de saut de ligne, pas de ligne blanche, celui-ci fonctionne mieux. Vous pouvez détailler repertoire par répertoire si nécessaire ne fonction des besoins.

Edited by zoomzoom (see edit history)

Share this post


Link to post
Share on other sites

Impossible d'explorer les pages produit en raison des restrictions du fichier robots.txt

 

j ai ce message car j ai des url bloquées par le robot.

Un spécialiste pourrait m'indiquer ce que je peux faire pour remédier à cela ??

Suis sous Prestashop 1.6.0.9

 

Merci par avance !

Share this post


Link to post
Share on other sites

salut, voir réponse précédente, en revanche mon site est en fr et en donc faut surement supprimer les /fr du fichir robot... ensuite ajouter ou supprimer certaines autorisations ou restrictions!

Share this post


Link to post
Share on other sites

salut ?? ....

mouai... je prefere un "bonjour" ou un "bonsoir"... salut c'est pour des "potes"

mais la n'est pas la question...

 

un specialiste va d'abord te demander de creer un autre sujet pour avoir plus(se) de clarté

Edited by labelandco (see edit history)

Share this post


Link to post
Share on other sites

je croyais que ce forum était "convivial" et maintenant on fait dans la leçon de politesse? VOUS m'excuserez si j'essaye de filer un coup de main avec mes maigres moyens? par contre pourquoi créer un nouveau sujet vu que le thème est "URL bloquées par le fichier robots.txt"? merci.

Edited by zoomzoom (see edit history)

Share this post


Link to post
Share on other sites

Voilà, j ai retrouvé !! et je partage :

 

Comment corriger le problème ?

Veuillez mettre à jour le fichier robots.txt sur votre serveur Web afin de permettre à l'explorateur de Google de récupérer les pages de destination fournies. Ce fichier est généralement situé dans le répertoire racine du serveur Web (par exemple, http://www.example.com/robots.txt). Pour nous permettre d'accéder à l'intégralité de votre site, veillez à ce que votre fichier robots.txt autorise les deux user-agents "Googlebot" (utilisé pour les pages de destination) et "Googlebot-image" (utilisé pour les images) à explorer votre site. Pour ce faire, modifiez le fichier comme suit :

User-agent: Googlebot

Disallow:

 

User-agent: Googlebot-image

Disallow:

 

Ca doit marcher !

Share this post


Link to post
Share on other sites

bonjour, oui merci ça fonctionne mais ça ne bloque pas l'accés aux ressources que google ne doit pas indexer, comme les url contenant "panier" ou le contenu des modules, l'accés est ouvert à la visite de tous les répertoires et c'est ce que je ne souhaite pas par sécurité.

J'ai mis à jour le fichier (voir mon post précédent) tel que je l'utilise actuellement ça fonctionne mais tout n'est pas bloqué ou autorisé comme il le faudrait. Quelques contenus ne sont toujours pas indexables par google merchant. Donc la question est quelles sont les bonnes lignes de commandes pour ne pas empêcher l'indexation des bons contenus.

Edited by zoomzoom (see edit history)

Share this post


Link to post
Share on other sites
On 11/10/2015 at 3:41 PM, zoomzoom said:

bonjour, oui merci ça fonctionne mais ça ne bloque pas l'accés aux ressources que google ne doit pas indexer, comme les url contenant "panier" ou le contenu des modules, l'accés est ouvert à la visite de tous les répertoires et c'est ce que je ne souhaite pas par sécurité.

J'ai mis à jour le fichier (voir mon post précédent) tel que je l'utilise actuellement ça fonctionne mais tout n'est pas bloqué ou autorisé comme il le faudrait. Quelques contenus ne sont toujours pas indexables par google merchant. Donc la question est quelles sont les bonnes lignes de commandes pour ne pas empêcher l'indexation des bons contenus.

je up j'ai le même soucis

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

×
×
  • Create New...

Important Information

Cookies ensure the smooth running of our services. Using these, you accept the use of cookies. Learn More