Jump to content
Sign in to follow this  
alain56

[v1..5.4.1] Problème avec mon robots.txt

Recommended Posts

Bonjour,

J'aimerai indexer un site dans GWT, mais cela semble poser des problèmes

Comme je ne maitrise pas totalement GWT je ne sais pas trop ce qui cloche précisément...mais quand je vais dans GWT >>Exploration >> Explorer comme Google et que je clique sur le bouton EXPLORER (avec juste http://wwww.mon-domaine.fr comme valeur), j'obtiens le résultat suivant :

Refusée par le fichier robots.txt

(Même résultat pour d'autres URLs comme http://wwww.mon-domaine.fr/accueil  par exemple)

 

Je ne sais pas ce qui déconne dans mon robots.txt. Je l'ai généré automatiquement depuis le BO de PS.

Le voici :

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*utm_source=
Disallow: /*utm_medium=
Disallow: /*utm_campaign=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: /*classes/
Disallow: /*config/
Disallow: /*download/
Disallow: /*mails/
Disallow: /*modules/
Disallow: /*translations/
Disallow: /*tools/
# Files
Disallow: /*fr/mot-de-passe-oublie
Disallow: /*fr/adresse
Disallow: /*fr/adresses
Disallow: /*fr/authentification
Disallow: /*fr/panier
Disallow: /*fr/bons-de-reduction
Disallow: /*fr/historique-des-commandes
Disallow: /*fr/identite
Disallow: /*fr/mon-compte
Disallow: /*fr/details-de-la-commande
Disallow: /*fr/avoirs
Disallow: /*fr/commande
Disallow: /*fr/recherche
Disallow: /*fr/commande-rapide
Disallow: /*fr/suivi-commande-invite
# Sitemap
Sitemap: http://www.mon-domaine.fr/sitemap.xml

Merci de votre aide  :)

Share this post


Link to post
Share on other sites

Bonjour,

Votre fichier robot.txt est correct

avez vous certifié votre nom de domaine sur GWT ?

c'est a dire confirmer le nom de domaine par l'intermediaire d'un fichier préalablement établit par GWT et installé sur le répertoire de votre boutique.

Share this post


Link to post
Share on other sites

Bonjour labelandco,

Oui je l'ai fait via la méthode "fournisseur du nom de domaine"

(par contre, je n'ai pas été assez précis :

Le site en question a été ouvert il y a 1 an environ - mais j'ai du changer le nom de domaine, donc j'ai créé une autre boutique (avec 1 autre nom de domaine) et j'ai fait un chagement d'adresse dans GWT.

Mais maintenant, je veux ré-ouvrir cette boutique.

Donc je l'ai "ré-activé" dans GWT, notament en la certifiant...)

 

 

Autres Pistes:

=> Peut-être 1 problème de "DNS" ?  Car :

- j'ai suivi ce tuto pour optimiser le site :

http://www.prestacoach.com/referencement-prestashop-1-5-activez-les-serveurs-de-media/#comment-68

J'ai donc créé 3 sous-domaines:

- cdn1.mon-domaine.fr

- cdn2.mon-domaine.fr

- cdn3.mon-domaine.fr

(et dans mon htaccess, généré automatiquement depuis le BO de ma boutique, j'ai ça par exemple :

...
# Images
RewriteCond %{HTTP_HOST} ^cdn1.mon-domaine.fr$ [OR]
RewriteCond %{HTTP_HOST} ^cdn2.mon-domaine.fr$ [OR]
RewriteCond %{HTTP_HOST} ^cdn3.mon-domaine.fr$ [OR]
RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$
...

Donc est-ce que cela pourrait être des erreurs de DNS ?

(Dans le doute je vais supprimer les 3 sous-domaines et voir...)

 

 

=> De plus, dans le htaccess d'une autre boutique Presta (en 1.4xx) il y a un bloc :

"# URL rewriting rules"

Bloc qui ne se trouve pas dan le htaccess du site que je veux mettre en ligne.

Est-ce que ce serait pas le htaccess qui serait problematique ?

Contenu du htaccess :

SETENV PHP_VER 5
SetEnv REGISTER_GLOBALS 0
SetEnv MAGIC_QUOTES 0

<Files .htaccess>
order allow,deny
deny from all
</Files>

# ~~start~~ Do not remove this comment, Prestashop will keep automatically the code outside this comment when .htaccess will be generated again
# .htaccess automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$
RewriteRule . - [E=REWRITEBASE:/]
RewriteRule ^api/?(.*)$ %{ENV:REWRITEBASE}webservice/dispatcher.php?url=$1 [QSA,L]

# Images
RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$
RewriteRule ^([0-9])(\-[_a-zA-Z0-9-]*)?(-[0-9]+)?/.+\.jpg$ %{ENV:REWRITEBASE}img/p/$1/$1$2$3.jpg [L]
RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$
RewriteRule ^([0-9])([0-9])(\-[_a-zA-Z0-9-]*)?(-[0-9]+)?/.+\.jpg$ %{ENV:REWRITEBASE}img/p/$1/$2/$1$2$3$4.jpg [L]
RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$
RewriteRule ^([0-9])([0-9])([0-9])(\-[_a-zA-Z0-9-]*)?(-[0-9]+)?/.+\.jpg$ %{ENV:REWRITEBASE}img/p/$1/$2/$3/$1$2$3$4$5.jpg [L]
RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$
RewriteRule ^([0-9])([0-9])([0-9])([0-9])(\-[_a-zA-Z0-9-]*)?(-[0-9]+)?/.+\.jpg$ %{ENV:REWRITEBASE}img/p/$1/$2/$3/$4/$1$2$3$4$5$6.jpg [L]
RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$
RewriteRule ^([0-9])([0-9])([0-9])([0-9])([0-9])(\-[_a-zA-Z0-9-]*)?(-[0-9]+)?/.+\.jpg$ %{ENV:REWRITEBASE}img/p/$1/$2/$3/$4/$5/$1$2$3$4$5$6$7.jpg [L]
RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$
RewriteRule ^([0-9])([0-9])([0-9])([0-9])([0-9])([0-9])(\-[_a-zA-Z0-9-]*)?(-[0-9]+)?/.+\.jpg$ %{ENV:REWRITEBASE}img/p/$1/$2/$3/$4/$5/$6/$1$2$3$4$5$6$7$8.jpg [L]
RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$
RewriteRule ^([0-9])([0-9])([0-9])([0-9])([0-9])([0-9])([0-9])(\-[_a-zA-Z0-9-]*)?(-[0-9]+)?/.+\.jpg$ %{ENV:REWRITEBASE}img/p/$1/$2/$3/$4/$5/$6/$7/$1$2$3$4$5$6$7$8$9.jpg [L]
RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$
RewriteRule ^([0-9])([0-9])([0-9])([0-9])([0-9])([0-9])([0-9])([0-9])(\-[_a-zA-Z0-9-]*)?(-[0-9]+)?/.+\.jpg$ %{ENV:REWRITEBASE}img/p/$1/$2/$3/$4/$5/$6/$7/$8/$1$2$3$4$5$6$7$8$9$10.jpg [L]
RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$
RewriteRule ^c/([0-9]+)(\-[\.*_a-zA-Z0-9-]*)(-[0-9]+)?/.+\.jpg$ %{ENV:REWRITEBASE}img/c/$1$2$3.jpg [L]
RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$
RewriteRule ^c/([a-zA-Z_-]+)(-[0-9]+)?/.+\.jpg$ %{ENV:REWRITEBASE}img/c/$1$2.jpg [L]
# AlphaImageLoader for IE and fancybox
RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$
RewriteRule ^images_ie/?([^/]+)\.(jpe?g|png|gif)$ js/jquery/plugins/fancybox/images/$1.$2 [L]

# Dispatcher
RewriteCond %{REQUEST_FILENAME} -s [OR]
RewriteCond %{REQUEST_FILENAME} -l [OR]
RewriteCond %{REQUEST_FILENAME} -d
RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$
RewriteRule ^.*$ - [NC,L]
RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$
RewriteRule ^.*$ %{ENV:REWRITEBASE}index.php [NC,L]
</IfModule>

<IfModule mod_expires.c>
	ExpiresActive On
	ExpiresByType image/gif "access plus 1 month"
	ExpiresByType image/jpeg "access plus 1 month"
	ExpiresByType image/png "access plus 1 month"
	ExpiresByType text/css "access plus 1 week"
	ExpiresByType text/javascript "access plus 1 week"
	ExpiresByType application/javascript "access plus 1 week"
	ExpiresByType application/x-javascript "access plus 1 week"
	ExpiresByType image/x-icon "access plus 1 year"
</IfModule>

FileETag INode MTime Size
<IfModule mod_deflate.c>
	<IfModule mod_filter.c>
		AddOutputFilterByType DEFLATE text/html text/css text/javascript application/javascript application/x-javascript
	</IfModule>
</IfModule>

#If rewrite mod isn't enabled
ErrorDocument 404 /index.php?controller=404

# ~~end~~ Do not remove this comment, Prestashop will keep automatically the code outside this comment when .htaccess will be generated again



Merci

Edited by alain56 (see edit history)

Share this post


Link to post
Share on other sites

Bon, je viens de voir un gros problème :

ce matin encore, bien que j'avais modifié le robots.txt de la manière suivante :

User-agent: *
Disallow:

je vais dans GWT, et là encore, il me dit que c'est bloqué par le robots.txt etc...

 

Je vais donc dans la partie "URL Bloquées" de GWT, et là je tombe sur le fichier robots.txt chargés dans GWT :

# http://www.robotstxt.org/wc/robots.html
User-agent: *
# Private pages
Disallow: /

En gros, le robots.txt a été modifié

De + : il a été modifié de sorte qu'aucun bot ne peut crawler mon site...????!!!!!!!!!!!

 

Et, à moins d'être devenu fou, ce n'est pas moi qui ai modifié le robots.txt de cette manière !!!

 

Et en fait, j'ai fait des tests sur le fichier htaccess aussi, et j'ai l'impression que c'est lors d'une re-génération auto du fichier htaccess que le fichier robots.txt a été modifié...

 

Est-ce que c'est possible selon vous ?

 

Car je ne vois pas comment il a été modifié autrement...

(j'ai même essayé de changer mon mdp FTP tellement je deviens parano...)

Share this post


Link to post
Share on other sites
Guest
This topic is now closed to further replies.
Sign in to follow this  

×
×
  • Create New...

Important Information

Cookies ensure the smooth running of our services. Using these, you accept the use of cookies. Learn More