Jump to content

Pages du sitemap bloquées par robots.txt, modifier fichier ou nom d'article ?


Recommended Posts

Bonjour,

j'ai un petit soucis de pages bloquées par mon fichier robots.txt.

C'est normal, c'est écrit dans le fichier !

Disallow: /*commande

 

Du coup, mes articles qui contiennent le terme télécommande, ont hérité du terme telecommande dans l'URL simplifiée, et comme dans télécommande, il y a commande, forcément, ça bloque.

La syntaxe et le fonctionnement du fichier permet-il de changer le comportement par un

allow: /*telecommande avant ou après le disallow ?

La lecture du fichier robots.txt s'arrête-t-elle au premier terme concordant ou se poursuit-elle jusqu'au bout pour chaque page ?

Ou faut-il changer les URL et mettre des redirections en place ?

 

Merci pour les éclaircissements

Link to comment
Share on other sites

Bonjour

 

le fichier robots.txt ne bloque rien, c'est  un fichier txt texte simple, il ne peut pas bloquer

la seule fonction du robots.txt comme son nom l'indique robots est pour indiquer à google quel dossier fichier qu'il ne doit pas indexer

pour cela on peut disallow. C'est pour éviter que l'url de commande soit référencer et autre url qui n'ont aucun impact sur le référencement à part celui de se dispatcher dans le monde si elles ne sont bloquer par disallow

Link to comment
Share on other sites

Bonjour,

Je sais que le robots.txt ne bloque rien !

La Search Console Google renvoit l'avertissement "Le sitemap contient des URL qui sont bloquées par le fichier robots.txt"

C'est en ça que je parle de blocage, terme employé par google.

Je cherche donc à passer "telecommande" en allow en conservant le disallow sur les pages *commande pour avoir un retour vierge de l'analyse du sitemap et pouvoir ainsi référencer mes articles avec "télécommande"

Le problème est identifié, je voudrais le contourner.

Link to comment
Share on other sites

J'ai fait divers test en console, le fichier à l'air d'être lu jusqu'au bout pour chaque adresse, et ne pas stopper dès qu'une condition matche comme ça se passe habituellement pour un firewall. On peut dont récupérer ce qui a été disallowed par une expression généraliste après coup par un allow plus pointu.

Avis aux vendeurs de bavoirs, les articles sautent certainement puisque les avoirs ne sont pas répertoriés.

Je vais voir dans quelques jours si le sitemap ressort propre dans la console search.

Link to comment
Share on other sites

Bonjour

 

Le sitemap contient des URL qui sont bloquées par le fichier robots.txt"

 

Oui pour google c'est bloquer ça indique que google ne doit pas référencer, donc pour lui c'est bloqué

et dans le sitemap il ne faut pas mettre ces url, le sitemap c'est pour indiquer la liste des produits et leur structure des catégories

 

Donc si l'url est dans le sitemap et en disallow dans le robots.txt alors oui ça bloque google, mais ça ne bloque pas les visiteurs

 

Ce qui est important est que google référence ce qui doit être et ne référence pas ce qui ne doit pas être qui ne sert a rien pour attirer les clients.

 

Tous ce qui est en disallow ne doit pas être dans le sitermap.

 

Vous aviez écris : j'ai un petit soucis de pages bloquées par mon fichier robots.txt. mais vous n'avez pas parler du sitemap

sinon je vous aurais expliquer de suite ce que je viens de mettre là.

Link to comment
Share on other sites

No problemo !

C'est vrai que je n'ai pas parlé de sitemap dans le corps du texte, seulement dans le titre.

Le problème semble être résolu de mon point de vue, mais pas encore d'un point de vue de la console search.

Faut-il renvoyer sitemap et robots.txt pour réanalyse ou l'avertissement disparaîtra par la suite après quelques passages des robots ?

Cordialement,

David.

Link to comment
Share on other sites

Le robots.txt non ça le robot le verra en passant, il lis le fichiers, par contre oui un nouveau sitemap on peut et c'est même conseiller de le soumettre.

Dans les balises

 <url>      <loc>http://www.example.com/</loc>      <lastmod>2005-01-01</lastmod>      <changefreq>monthly</changefreq> << là on peut indiquer la fréquence de passage souhaiter mais selon le nombre de fois qu'on ajoute des produits      <priority>0.8</priority>   </url>
Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
×
×
  • Create New...