Jump to content

Plus de 2300 Url bloquées par le fichier robot.txt

tetranet2
 Share

Recommended Posts

tetranet2 Newbie

tetranet2

Posted
Posted

Bonjour,

 

J'ai relancé, juste en dessous un sujet résolu, donc je refais un post car j'ai un un petit souci :

 

 

Sur GWT j'ai un problème au niveau des urls bloquées, et elles augmentent de plus en plus :

 

  2 342 22 oct. 2013 200 (Réussi)

 

Donc 2342 Url bloquées

 

Je pense que cela vient de mon fichier robot.txt

 

Si quelqu'un avait une petite idée se serait bien sympathique car j'ai beau chercher je ne trouve pas.

 

J'ai du coup une chute des visites en résultat naturel

 

Tetra

 

Je suis même en train de me tâter à mettre le robot.txt vide ...

Link to comment
Share on other sites
tetranet2 Newbie

tetranet2

Posted
  • Author
Posted (edited)

Bonjour,

 

Oui c'est pas faux :) :

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution# http://www.prestashop.com - http://www.prestashop.com/forums# This file is to prevent the crawling and indexing of certain parts# of your site by web crawlers and spiders run by sites like Yahoo!# and Google. By telling these "robots" where not to go on your site,# you save bandwidth and server resources.# For more information about the robots.txt standard, see:# http://www.robotstxt.org/wc/robots.htmlUser-agent: *# DirectoriesDisallow: /classes/Disallow: /config/Disallow: /download/Disallow: /mails/Disallow: /modules/Disallow: /translations/Disallow: /tools/Disallow: /lang-fr/# FilesDisallow: /addresses.phpDisallow: /address.phpDisallow: /authentication.phpDisallow: /cart.phpDisallow: /discount.phpDisallow: /footer.phpDisallow: /get-file.phpDisallow: /header.phpDisallow: /history.phpDisallow: /identity.phpDisallow: /images.inc.phpDisallow: /init.phpDisallow: /my-account.phpDisallow: /order.phpDisallow: /order-opc.phpDisallow: /order-slip.phpDisallow: /order-detail.phpDisallow: /order-follow.phpDisallow: /order-return.phpDisallow: /order-confirmation.phpDisallow: /pagination.phpDisallow: /password.phpDisallow: /pdf-invoice.phpDisallow: /pdf-order-return.phpDisallow: /pdf-order-slip.phpDisallow: /product-sort.phpDisallow: /search.phpDisallow: /statistics.phpDisallow: /attachment.phpDisallow: /guest-trackingDisallow: /*orderby=Disallow: /*orderway=Disallow: /*tag=Disallow: /*id_currency=Disallow: /*search_query=Disallow: /*id_lang=Disallow: /*back=Disallow: /*utm_source=Disallow: /*utm_medium=Disallow: /*utm_campaign=Disallow: /*n=# Sitemapsitemap: http://a37839.hostedsitemaps.com/3875187/sitemap.xml.gz

Oui je suis sous Prestashop 1.4.3

Edited by tetranet2 (see edit history)
Link to comment
Share on other sites
lechapelier Apprentice

lechapelier

Posted
Posted

Hello,

 

voici le mien en comparaison presta 1.5.4.1, indique ta version de presta également.

 

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*utm_source=
Disallow: /*utm_medium=
Disallow: /*utm_campaign=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: /*classes/
Disallow: /*config/
Disallow: /*download/
Disallow: /*mails/
Disallow: /*modules/
Disallow: /*translations/
Disallow: /*tools/
# Files
Disallow: /*fr/adresse
Disallow: /*fr/adresses
Disallow: /*fr/authentification
Disallow: /*fr/panier
Disallow: /*fr/bons-de-reduction
Disallow: /*fr/suivi-commande-invite
Disallow: /*fr/historique-des-commandes
Disallow: /*fr/identite
Disallow: /*fr/mon-compte
Disallow: /*fr/commande
Disallow: /*fr/details-de-la-commande
Disallow: /*fr/commande-rapide
Disallow: /*fr/avoirs
Disallow: /*fr/mot-de-passe-oublie
Disallow: /*fr/recherche
 
Voici le miens, on a pas du tout la même chose donc dur de s'y retrouver, ça pourrait te donner des pistes. En espérant qu'un plus compétent passe par là.
Link to comment
Share on other sites
lechapelier Apprentice

lechapelier

Posted
Posted

Bonjour,

 

C'est pourquoi il y a tant de différences.

 

Les pages bloquées sont celles configurées dans le robot.txt, rien de plus, aucun produit bloqué.

 

Peut être cela vaudrait-il le coup de faire une maj vers la 1.5.6 histoire d'anticiper la 2.0 pour 2014.

 

Mais je te conseille très fortement de tester sur un serveur virtuel la maj avant de l'appliquer sur ton site en production histoire de voir si ça ne fait pas tout planter car c'est un sacré saut de maj.

Link to comment
Share on other sites
tetranet2 Newbie

tetranet2

Posted
  • Author
Posted

Bonjour,

 

Merci de ton soutien :)

 

Mais quand même, plus de 2300 url bloquées ça fait beaucoup quand même, non ? D’ailleurs le trafic sur mon site a chuté depuis ce blocage d'URL. En plus on ne peut pas voir quelles sont les URLs bloquées sur GWT.

 

Comment peut-on voir les URLs bloquées par GWT ? une idée ?

 

Tetra

Link to comment
Share on other sites
  • 2 months later...
labelandco Newbie

labelandco

Posted
Posted

.....................????????????????? :huh:

le sitemap ne bloque en rien des URL, bien au contraire il les ouvre... du moins il ouv

 

le blocage des "2300" URL il serait intéressant de voir quels types d'url et en fonction de cela il serait bon de faire un point

 

merci de nous faire une copie d'écran de vos URL bloqués rencontré sur GWT

a la limite vous l'envoyez en mp.

Link to comment
Share on other sites
pzi Newbie

pzi

Posted
Posted

Salut!

 

Pas de panique sur ce nombre de pages bloquées par robots.txt, c'est pour éviter des doublons et c'est tant mieux pour votre référencement. Quand on fait la multiplication suivante :

 

sur les page de listing de produits, triés par nom, par prix, par quantité, par ordre décroissant, par ordre croissant, par nombre d'article par page (10, 20, etc), et qu'on recommence avec chaque catégorie et sous-catégorie, et qu'on y ajoute les tags, et tous les liens pour mettre un articles dans le panier, ça fait vite pas mal de pages, qui sont toutes différentes pour l'ami gogol et les autres, car leur urls sont différentes: elles contiennent toutes une variations des divers paramètres.

 

Mais le contenu n'est pas différent ou à peine.

Link to comment
Share on other sites
Content Newbie

Content

Posted
Posted

ok ok intéressant!

Donc il n'y a pas d'alerte. J'étais pas mal étonné mais il est vrai que je suis bien positionné sur certains de mes mots clé. Donc effectivement ça ne doit pas gêner le référencement.

 

Merci pour ta réponse, je suis rassuré ;)

Link to comment
Share on other sites
tetranet2 Newbie

tetranet2

Posted
  • Author
Posted (edited)

Bonjour,

 

Faites un test sur :

 

http://www.virante.org/seo-tools/duplicate-content

 

Pour ma part le fait d'avoir d'avoir mon nom en WWW et sans les WWW m'a generé du duplicate content.

 

Donc suite aux conseils des membres de seosphere, j'ai modifié mon htacess:

 

RewriteEngine on
RewriteCond %{HTTP_HOST} !^www.tonsite.com$
RewriteRule ^(.*) http://www.tonsite.com/$1 [QSA,L,R=301]

 

Et depuis plus de duplicate content et mes URLs bloquées sont déscendues à 600. Pour le moment.

 

TEtra

Edited by labelandco (see edit history)
Link to comment
Share on other sites
  • 1 month later...
CoussinGermain Newbie

CoussinGermain

Posted
Posted

Bonjour,

 

Je me permets de vous écrire car je connais un souci sur le référencement de mon site (coussingermain.com). En effet, j'ai envoyé à Google webmaster tool le sitemap du site. Pourtant, mes images du site ne sont pas indexées.

 

Je me dis qu'il y a peut être plusieurs raisons à cela :

 

- Le fichier robot.txt pourrait bloquer l'accès au dossier image du site ?

 

Voici le détail du robot.txt :

 

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*utm_source=
Disallow: /*utm_medium=
Disallow: /*utm_campaign=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: /*classes/
Disallow: /*config/
Disallow: /*download/
Disallow: /*mails/
Disallow: /*modules/
Disallow: /*translations/
Disallow: /*tools/
# Files
Disallow: /*fr/mot-de-passe-oublie
Disallow: /*fr/adresse
Disallow: /*fr/adresses
Disallow: /*fr/authentification
Disallow: /*fr/panier
Disallow: /*fr/bons-de-reduction
Disallow: /*fr/historique-des-commandes
Disallow: /*fr/identite
Disallow: /*fr/mon-compte
Disallow: /*fr/details-de-la-commande
Disallow: /*fr/avoirs
Disallow: /*fr/commande
Disallow: /*fr/recherche
Disallow: /*fr/commande-rapide
Disallow: /*fr/suivi-commande-invite
Disallow: /*fr/confirmation-commande
 
 
- Ensuite, le sitemap envoyé est celui généré par le module prestashop par défaut. Peut être celui ci est il mal construit ?
En voici l'adresse ;
www.coussingermain.com/1_fr_0_sitemap.xml
 
 
- Enfin, travaillant sur la version 1.5.4.1 de Prestashop, pour cette version, il n'est plus possible de renseigner les balises ALT des images, Prestashop ayant supprimé cette fonctionnalité. Est ce possible que le mauvais référencement de mes images soit lié à cela ?
 
Bref, si quelqu'un peut m'aiguiller sur le sujet, j'en serais très reconnaissante. 
 
Merci !
Link to comment
Share on other sites
Djolhan Newbie

Djolhan

Posted
Posted

Arrêtez un peu de focaliser sur le sitemap...

LabelandCo a tout dit !

 

Quelles urls sont indiquées dans GWT, c'est la seule question à se poser...

Parceque si c'est 2000 url avec le param orderby etc. C'est tout à fait normal et ca n'impacte pas du tout le référencement, au contraire.

 

Donc, avant de chercher dans le robots.txt, il faut déjà savoir quelles sont les urls mentionnés.

Link to comment
Share on other sites
CoussinGermain Newbie

CoussinGermain

Posted
Posted (edited) 
Disallow: /*id_currency=Disallow: /*search_query=Disallow: /*id_lang=Disallow: /*back=Disallow: /*utm_source=Disallow: /*utm_medium=Disallow: /*utm_campaign=Disallow: /*n=# Sitemapsitemap: http://a37839.hostedsitemaps.com/3875187/sitemap.xml.gzDisallow: /*id_currency=

pourquoi tu mentionnes le sitemap?

 

Bonsoir et merci de votre réponse.

 

Parce que j'ai pu lire que le sitemap pouvait parfois bloquer le référencement. si ce n'est pas le cas, tant mieux. C'est un souci réglé !

Est ce que vous semblez dire que le robot.txt contient des disallow qui peuvent bloquer le référencement des images ?

 

Merci 

Edited by CoussinGermain (see edit history)
Link to comment
Share on other sites
CoussinGermain Newbie

CoussinGermain

Posted
Posted (edited)

Arrêtez un peu de focaliser sur le sitemap...

LabelandCo a tout dit !

 

Quelles urls sont indiquées dans GWT, c'est la seule question à se poser...

Parceque si c'est 2000 url avec le param orderby etc. C'est tout à fait normal et ca n'impacte pas du tout le référencement, au contraire.

 

Donc, avant de chercher dans le robots.txt, il faut déjà savoir quelles sont les urls mentionnés.

 

Bonjour,

 

Pour être plus précise, dans GWT, il est indiqué 112 images envoyées pour 18 indexées. Cela me semble peu. Je cherche dons des solutions pour améliorer cela.

 

Merci de votre aide.

Edited by CoussinGermain (see edit history)
Link to comment
Share on other sites
Guest
This topic is now closed to further replies.
 Share
Go to topic listing
×
×
  • Create New...