alain56 Posted October 14, 2013 Share Posted October 14, 2013 Bonjour, J'aimerai indexer un site dans GWT, mais cela semble poser des problèmes Comme je ne maitrise pas totalement GWT je ne sais pas trop ce qui cloche précisément...mais quand je vais dans GWT >>Exploration >> Explorer comme Google et que je clique sur le bouton EXPLORER (avec juste http://wwww.mon-domaine.fr comme valeur), j'obtiens le résultat suivant : Refusée par le fichier robots.txt (Même résultat pour d'autres URLs comme http://wwww.mon-domaine.fr/accueil par exemple) Je ne sais pas ce qui déconne dans mon robots.txt. Je l'ai généré automatiquement depuis le BO de PS. Le voici : # robots.txt automaticaly generated by PrestaShop e-commerce open-source solution # http://www.prestashop.com - http://www.prestashop.com/forums # This file is to prevent the crawling and indexing of certain parts # of your site by web crawlers and spiders run by sites like Yahoo! # and Google. By telling these "robots" where not to go on your site, # you save bandwidth and server resources. # For more information about the robots.txt standard, see: # http://www.robotstxt.org/wc/robots.html User-agent: * # Private pages Disallow: /*orderby= Disallow: /*orderway= Disallow: /*tag= Disallow: /*id_currency= Disallow: /*search_query= Disallow: /*back= Disallow: /*utm_source= Disallow: /*utm_medium= Disallow: /*utm_campaign= Disallow: /*n= Disallow: /*controller=addresses Disallow: /*controller=address Disallow: /*controller=authentication Disallow: /*controller=cart Disallow: /*controller=discount Disallow: /*controller=footer Disallow: /*controller=get-file Disallow: /*controller=header Disallow: /*controller=history Disallow: /*controller=identity Disallow: /*controller=images.inc Disallow: /*controller=init Disallow: /*controller=my-account Disallow: /*controller=order Disallow: /*controller=order-opc Disallow: /*controller=order-slip Disallow: /*controller=order-detail Disallow: /*controller=order-follow Disallow: /*controller=order-return Disallow: /*controller=order-confirmation Disallow: /*controller=pagination Disallow: /*controller=password Disallow: /*controller=pdf-invoice Disallow: /*controller=pdf-order-return Disallow: /*controller=pdf-order-slip Disallow: /*controller=product-sort Disallow: /*controller=search Disallow: /*controller=statistics Disallow: /*controller=attachment Disallow: /*controller=guest-tracking # Directories Disallow: /*classes/ Disallow: /*config/ Disallow: /*download/ Disallow: /*mails/ Disallow: /*modules/ Disallow: /*translations/ Disallow: /*tools/ # Files Disallow: /*fr/mot-de-passe-oublie Disallow: /*fr/adresse Disallow: /*fr/adresses Disallow: /*fr/authentification Disallow: /*fr/panier Disallow: /*fr/bons-de-reduction Disallow: /*fr/historique-des-commandes Disallow: /*fr/identite Disallow: /*fr/mon-compte Disallow: /*fr/details-de-la-commande Disallow: /*fr/avoirs Disallow: /*fr/commande Disallow: /*fr/recherche Disallow: /*fr/commande-rapide Disallow: /*fr/suivi-commande-invite # Sitemap Sitemap: http://www.mon-domaine.fr/sitemap.xml Merci de votre aide Link to comment Share on other sites More sharing options...
labelandco Posted October 15, 2013 Share Posted October 15, 2013 Bonjour, Votre fichier robot.txt est correct avez vous certifié votre nom de domaine sur GWT ? c'est a dire confirmer le nom de domaine par l'intermediaire d'un fichier préalablement établit par GWT et installé sur le répertoire de votre boutique. Link to comment Share on other sites More sharing options...
alain56 Posted October 15, 2013 Author Share Posted October 15, 2013 (edited) Bonjour labelandco, Oui je l'ai fait via la méthode "fournisseur du nom de domaine" (par contre, je n'ai pas été assez précis : Le site en question a été ouvert il y a 1 an environ - mais j'ai du changer le nom de domaine, donc j'ai créé une autre boutique (avec 1 autre nom de domaine) et j'ai fait un chagement d'adresse dans GWT. Mais maintenant, je veux ré-ouvrir cette boutique. Donc je l'ai "ré-activé" dans GWT, notament en la certifiant...) Autres Pistes: => Peut-être 1 problème de "DNS" ? Car : - j'ai suivi ce tuto pour optimiser le site : http://www.prestacoach.com/referencement-prestashop-1-5-activez-les-serveurs-de-media/#comment-68 J'ai donc créé 3 sous-domaines: - cdn1.mon-domaine.fr - cdn2.mon-domaine.fr - cdn3.mon-domaine.fr (et dans mon htaccess, généré automatiquement depuis le BO de ma boutique, j'ai ça par exemple : ... # Images RewriteCond %{HTTP_HOST} ^cdn1.mon-domaine.fr$ [OR] RewriteCond %{HTTP_HOST} ^cdn2.mon-domaine.fr$ [OR] RewriteCond %{HTTP_HOST} ^cdn3.mon-domaine.fr$ [OR] RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$ ... Donc est-ce que cela pourrait être des erreurs de DNS ? (Dans le doute je vais supprimer les 3 sous-domaines et voir...) => De plus, dans le htaccess d'une autre boutique Presta (en 1.4xx) il y a un bloc : "# URL rewriting rules" Bloc qui ne se trouve pas dan le htaccess du site que je veux mettre en ligne. Est-ce que ce serait pas le htaccess qui serait problematique ? Contenu du htaccess : SETENV PHP_VER 5 SetEnv REGISTER_GLOBALS 0 SetEnv MAGIC_QUOTES 0 <Files .htaccess> order allow,deny deny from all </Files> # ~~start~~ Do not remove this comment, Prestashop will keep automatically the code outside this comment when .htaccess will be generated again # .htaccess automaticaly generated by PrestaShop e-commerce open-source solution # http://www.prestashop.com - http://www.prestashop.com/forums <IfModule mod_rewrite.c> RewriteEngine on RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$ RewriteRule . - [E=REWRITEBASE:/] RewriteRule ^api/?(.*)$ %{ENV:REWRITEBASE}webservice/dispatcher.php?url=$1 [QSA,L] # Images RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$ RewriteRule ^([0-9])(\-[_a-zA-Z0-9-]*)?(-[0-9]+)?/.+\.jpg$ %{ENV:REWRITEBASE}img/p/$1/$1$2$3.jpg [L] RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$ RewriteRule ^([0-9])([0-9])(\-[_a-zA-Z0-9-]*)?(-[0-9]+)?/.+\.jpg$ %{ENV:REWRITEBASE}img/p/$1/$2/$1$2$3$4.jpg [L] RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$ RewriteRule ^([0-9])([0-9])([0-9])(\-[_a-zA-Z0-9-]*)?(-[0-9]+)?/.+\.jpg$ %{ENV:REWRITEBASE}img/p/$1/$2/$3/$1$2$3$4$5.jpg [L] RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$ RewriteRule ^([0-9])([0-9])([0-9])([0-9])(\-[_a-zA-Z0-9-]*)?(-[0-9]+)?/.+\.jpg$ %{ENV:REWRITEBASE}img/p/$1/$2/$3/$4/$1$2$3$4$5$6.jpg [L] RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$ RewriteRule ^([0-9])([0-9])([0-9])([0-9])([0-9])(\-[_a-zA-Z0-9-]*)?(-[0-9]+)?/.+\.jpg$ %{ENV:REWRITEBASE}img/p/$1/$2/$3/$4/$5/$1$2$3$4$5$6$7.jpg [L] RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$ RewriteRule ^([0-9])([0-9])([0-9])([0-9])([0-9])([0-9])(\-[_a-zA-Z0-9-]*)?(-[0-9]+)?/.+\.jpg$ %{ENV:REWRITEBASE}img/p/$1/$2/$3/$4/$5/$6/$1$2$3$4$5$6$7$8.jpg [L] RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$ RewriteRule ^([0-9])([0-9])([0-9])([0-9])([0-9])([0-9])([0-9])(\-[_a-zA-Z0-9-]*)?(-[0-9]+)?/.+\.jpg$ %{ENV:REWRITEBASE}img/p/$1/$2/$3/$4/$5/$6/$7/$1$2$3$4$5$6$7$8$9.jpg [L] RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$ RewriteRule ^([0-9])([0-9])([0-9])([0-9])([0-9])([0-9])([0-9])([0-9])(\-[_a-zA-Z0-9-]*)?(-[0-9]+)?/.+\.jpg$ %{ENV:REWRITEBASE}img/p/$1/$2/$3/$4/$5/$6/$7/$8/$1$2$3$4$5$6$7$8$9$10.jpg [L] RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$ RewriteRule ^c/([0-9]+)(\-[\.*_a-zA-Z0-9-]*)(-[0-9]+)?/.+\.jpg$ %{ENV:REWRITEBASE}img/c/$1$2$3.jpg [L] RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$ RewriteRule ^c/([a-zA-Z_-]+)(-[0-9]+)?/.+\.jpg$ %{ENV:REWRITEBASE}img/c/$1$2.jpg [L] # AlphaImageLoader for IE and fancybox RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$ RewriteRule ^images_ie/?([^/]+)\.(jpe?g|png|gif)$ js/jquery/plugins/fancybox/images/$1.$2 [L] # Dispatcher RewriteCond %{REQUEST_FILENAME} -s [OR] RewriteCond %{REQUEST_FILENAME} -l [OR] RewriteCond %{REQUEST_FILENAME} -d RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$ RewriteRule ^.*$ - [NC,L] RewriteCond %{HTTP_HOST} ^www.mon-domaine.fr$ RewriteRule ^.*$ %{ENV:REWRITEBASE}index.php [NC,L] </IfModule> <IfModule mod_expires.c> ExpiresActive On ExpiresByType image/gif "access plus 1 month" ExpiresByType image/jpeg "access plus 1 month" ExpiresByType image/png "access plus 1 month" ExpiresByType text/css "access plus 1 week" ExpiresByType text/javascript "access plus 1 week" ExpiresByType application/javascript "access plus 1 week" ExpiresByType application/x-javascript "access plus 1 week" ExpiresByType image/x-icon "access plus 1 year" </IfModule> FileETag INode MTime Size <IfModule mod_deflate.c> <IfModule mod_filter.c> AddOutputFilterByType DEFLATE text/html text/css text/javascript application/javascript application/x-javascript </IfModule> </IfModule> #If rewrite mod isn't enabled ErrorDocument 404 /index.php?controller=404 # ~~end~~ Do not remove this comment, Prestashop will keep automatically the code outside this comment when .htaccess will be generated again Merci Edited October 15, 2013 by alain56 (see edit history) Link to comment Share on other sites More sharing options...
alain56 Posted October 15, 2013 Author Share Posted October 15, 2013 Bon, je viens de voir un gros problème : ce matin encore, bien que j'avais modifié le robots.txt de la manière suivante : User-agent: * Disallow: je vais dans GWT, et là encore, il me dit que c'est bloqué par le robots.txt etc... Je vais donc dans la partie "URL Bloquées" de GWT, et là je tombe sur le fichier robots.txt chargés dans GWT : # http://www.robotstxt.org/wc/robots.html User-agent: * # Private pages Disallow: / En gros, le robots.txt a été modifié De + : il a été modifié de sorte qu'aucun bot ne peut crawler mon site...????!!!!!!!!!!! Et, à moins d'être devenu fou, ce n'est pas moi qui ai modifié le robots.txt de cette manière !!! Et en fait, j'ai fait des tests sur le fichier htaccess aussi, et j'ai l'impression que c'est lors d'une re-génération auto du fichier htaccess que le fichier robots.txt a été modifié... Est-ce que c'est possible selon vous ? Car je ne vois pas comment il a été modifié autrement... (j'ai même essayé de changer mon mdp FTP tellement je deviens parano...) Link to comment Share on other sites More sharing options...
Recommended Posts