Accès Googlebot Et Erreur Soft 404

[serged]

Bonjour,

 

Il y a plusieurs mois, j'avais dans ma console GWT beaucoup de ressources bloquées. Elles concernaient les ressources du thème et des modules. J'ai donc autorisé le robot google à y accéder dans le fichier robots.txt.

 

Le nombre de ressources bloquées a alors fortement baissé et depuis hier, il est reparti en très forte hausse. Cette fois-ci, google veut accéder aux controllers et notamment tous ceux qui concernent le paiement.

J'ai même une erreur "soft 404" qui a pour chemin "/modules/paypal/express_checkout/ajax.php".

 

Je ne sais plus quoi faire. Faut-il que je "disallow" mes modules et thèmes pour remettre la config d'origine du robots.txt ou il faut que j'autorise les controller? Cela affecte t-il le référencement?

J'ai l'impression que le fait d'avoir donné accès à google pour le thème et les modules a créé ces erreurs d'exploration.

 

Toute aide est donc la bienvenue!

 

Merci

[Oron]

Bonjour

 

Si vous laissez faire google il va accéder a tout, les liens des modules et des systèmes de paiement, des liens de comptes ne donnent pas d'avantage au référencement

Google boot ne fait pas de différence fichier de payement ou autre fichier.

 

Si dans votre compte google il y a des erreurs 404, vérifiez manuellement si ces erreurs existent ou pas, si elles n'existent pas vous signaler dans votre compte google que c'est résolu.

[Johann]

Moi j'ai l'habitude de dire que ce que l'utilisateur peut / doit lire, Googlebot doit pouvoir y accéder aussi. Ces erreurs le démontrent

[labelandco]

Bonjour,

je pense qu'il serait judicieux de refaire un fichier robots.txt en y indiquant les "disallow" sur des pages comme : /modules/paypal/express_checkout/ajax.php

[serged]

Merci pour toutes vos réponses.

 

L'erreur soft 404 n'est pas vraiment une erreur puisqu'elle renvoie vers un fichier utilisé dans le cadre du module de paiement mais prise à part, elle n'affiche rien.

 

Donc Soit j'autorise les accès à toutes les pages pour googlebot, soit je crée un disallow sur des modules spécifiques?

Il n'y a pas de danger à donner accès à tous les fichiers à googlebot? notamment les modules de paiement

[labelandco]

non il ne faut pas donner un accès a tout les bots de recherche car ils les indexera c'est pourquoi il existe un "Disallow" a utiliser pour des pages qui ne consernes que le fonctionnement de votre boutique

 

genre de ce qui as ici :

• http://robots-txt.com/ressources/robots-txt-prestashop/

 

bon c'est un exemple c'est améliorer en fonction de votre boutique

[serged]

Le problème, c'est qu'en interdisant l'accès à des modules, les ressources bloquées vont de nouveau augmenter et c'est assez néfaste pour le référencement?

Car, au début, j'ai autorisé l'accès aux modules justement car j'avais un nombre élevé de ressources bloquées

[labelandco]

?????

GWT vous indique effectivement l'ensemble des pages qu'elles soient ou non en concordance avec vos produits

 

Ce n'est pas parce que GWT vous indique un "blocage" que cela nuit à votre référencement.

Ce qui est important c'est que GWT et même le bon sens vous indiquent les pages qui sont visibles a savoir vos pages produits... pour le reste on s'en moque un peu non ?

 

par ailleurs ce n'est pas parce que c'est Google Webmaster Tools qu'"il faut prendre tout a la lettre sur GWT

 

GWT est un indicateur global