SITEMAP / ROBOTS.TXT et Multiboutique

[LewDev]

Bonjour à tous,

 

Tout nouveau sur cette communauté, je m'adresse à vous pour un problème de paramétrage de deux boutiques en ligne Prestashop en multi-boutique.

 

Je souhaite indiquer un index de sitemap pour la boutique 1 et la boutique 2 dans le fichier .robots.txt

Par contre, vu que les boutiques sont installées dans le même dossier, il n'y a qu'un seul fichier robots pour le domain1.fr et domain2.fr (domaines complètements différents).

 

Dans l'idéal, il faudrait deux fichier robots comme ci-dessous :

 

Fichier 1 : domaine1.fr/robots.txt - SITEMAP : https://www.domaine1.fr/sitemap_index.xml

 

Fichier 2 : domaine2.fr/robots.txt - SITEMAP : https://www.domaine2.fr/sitemap_index.xml

 

 

Merci d'avance,

[Johann]

Bonjour,

indiquer l'url de tes sitemaps dans le fichier robots.txt est un non-sens, pour ne pas dire une belle connerie : le fichier robots.txt étant normé, n'importe qui pourra le lire, et donc y trouver tes sitemaps et connaitre toutes tes URLs. Un concurrent pourrait ainsi facilement récupérer toutes tes URLs, ce qui n'est pas nécessaire !

Indique donc plutot les urls de tes sitemaps (que tu peux d'ailleurs nommer comme tu veux, toujours pour éviter une "fuite") dans la Google Search Console

[LewDev]

Bonjour,

indiquer l'url de tes sitemaps dans le fichier robots.txt est un non-sens, pour ne pas dire une belle connerie : le fichier robots.txt étant normé, n'importe qui pourra le lire, et donc y trouver tes sitemaps et connaitre toutes tes URLs. Un concurrent pourrait ainsi facilement récupérer toutes tes URLs, ce qui n'est pas nécessaire !

Indique donc plutot les urls de tes sitemaps (que tu peux d'ailleurs nommer comme tu veux, toujours pour éviter une "fuite") dans la Google Search Console

 

 

Johann,

Merci de ta réponse,

 

Nous avons d'ores et déjà renseigné les sitemaps dans chaque compte de la Search Console.

Je comprend ton point de vue pour les concurrents mais n'importe quel outil de crawl est capable de sortir une liste de toutes les URLs (Semrush, Ahrefs, Site Analyzer, and cie...).

C'est d'ailleurs SiteAnalyzer qui conseille de rajouter le SITEMAP dans le fichier robots.txt.

 

 

Merci pour tes conseils ! 

Edited August 17, 2017 by LewDev (see edit history)

[Johann]

Je suis d'accord avec toi, mais tu peux surtout utiliser les sitemaps pour indiquer tes pages les plus stratégiques, ce que les autres n'ont pas besoin de connaître.

J'ajoute que Googlebot est pas mal non plus comme crawler dès lors, pourquoi fournir un sitemap ? Sauf si tu as des pages très profondes (donc un problème de conception ou d'organisation), Google n'a pas besoin d'un sitemap.

Mon camarade Olivier Duffez est du même avis :

http://www.webrankinfo.com/dossiers/sitemaps/tutoriel-fichier-sitemap

Edited August 17, 2017 by Johann (see edit history)

[kinounou]

Bonjour à vous,

Je me permets de relancer ce sujet :

Savez-vous comment générer 1 fichier robots.txt distinct dans le cadre du multisite ? Mon but est de pouvoir passer des commandes disallow spécifiques à chaque site.

Merci d'avance !

[Johann]

Ce n'est toujours pas possible