Jump to content

[Résolu] Bug générateur de fichiers robots.txt

Melki-Tsedeq
 Share

Recommended Posts

Melki-Tsedeq Newbie

Melki-Tsedeq

Posted
Posted

Bonjour.

En général, je fais moi-même mes fichiers robots.txt mais hier en donnant une astuce sur celle-ci voir le lien qui suit : Robots.txt et confidentialité

J’ai testé le générateur du robots.txt de l’admin pour voir ce qu’il en été et je me suis rendu compte d’un bug.
Oui, je confirme monsieur Patric il y a un bug.

Parti Bug :
La ligne vide avant le commentaire # Files n'est pas autorisée et non valide car elle se trouve à l'intérieur d'une série d'interdictions. C'est non standard et cela ne sera pas compris par certains robots.

C’est pour cette raison que certains moteurs de recherches index toujours les fichiers qui sont après # Files car il ne faut jamais laisser de lignes vierges blanches ou saut de ligne puisque certains robots l’interprète comme étant la fin du fichier.

Parti Feature request :
De plus pour aider Google, Yahoo, Bing ou autres moteur de recherche, et surtout les moteurs ne donnant pas une d'interface webmaster tools ayant la possibilité de leur indiquer le fichier sitemap.xml d'un site, vous pouvez ajoutez une indication dans le fichier robots.txt, à l'aide de la syntaxe suivante :
Sitemap: http://www.monsite.com/sitemap.xml

Parti Info :
Cela améliore le référencement surtout sur voila et LeMoteur.fr qui n’ai pas négligeable comme le fais certains grand référenceur de ce monde.

Car en effet, voila est le seul moteur de recherche d'origine française qui a réussi à se faire une place au coté des 2 ou 3 grands moteurs américains.

Voila est la propriété de orange et donc de France Télécom. D'ailleurs Voila est le moteur utilisé sur le site orange.fr, l'un des plus populaires en France. Voila représente une petit part de marcher des recherches Françaises, qui plus est des internautes très qualifiés qui sont les abonnés orange et qui on pour la plupart un pouvoir d’achat supérieur a la moyenne.

Ce sont des familles et des chefs d’entreprises qui achètent sur le net et je sais de quoi je parle. Ils ne sont pas comme nous a utiliser Google a outrance car ils ont l’habitude d’utilisez orange pour leurs mails et leurs recherches. C’est des surfeurs lambda il ne faut pas oublier.

Enfin je ne vais pas vous écrire un livre alors, si vous pouvez poster le bug dans le bug tracker pour vos collègues ce serait sympa. Car moi et l’anglais ne somme pas copain sauf pour le langage technique ou la je connais toutes les définitions.

Bon aller, je prends deux minutes sur mon temps libre pour vous laisser le temps de regarder les guignols de l’info ;-) et je vous donne la solution.

Edite le 12/12/2009
J’ai scindé le sujet en 3 partis pour que ce soit plus simple pour vous.
Et la solution au poste [ # 1 ] juste en dessous. Merci encore.

Cordialement.
Melki-Tsedeq

Link to comment
Share on other sites
Melki-Tsedeq Newbie

Melki-Tsedeq

Posted
  • Author
Posted

Re :
Pour le bug il faut aller dans :
Admin/tabs/AdminGenerator.php
Et supprimer la ligne 141 :

fwrite($writeFd, "\n");


C’est elle qui nous rajoute le saut de ligne.
Le '\n' c'est le LF (Line Feed) qui permet de faire un saut de ligne. Qui la pose problème.
Bon je vous laisse j’ai du pain et du beurre sur la planche et je dois tirer des plants sur la moquette.
Bonne journée a tous.

Cordialement.
Melki-Tsedeq

Link to comment
Share on other sites
quinou Newbie

quinou

Posted
Posted

Bonjour,
D'après les explications de Melki-Tsedeq ds la première partie, il faut également supprimer la ligne vide qui se trouve avt le commentaire "Directories"

Ce qui est confirmé par Jean Luc ds le fil suivant sur webrankinfo :

http://forum.webrankinfo.com/probleme-url-acces-restreint-par-fichier-robots-txt-t115723.html

"Ce n'étaient pas les lignes de commentaires qui posaient problème, mais les lignes vides. Selon la norme robots.txt, des lignes de commentaires peuvent être insérées n'importe où; par contre, les lignes vides ne sont pas autorisées à l'intérieur d'un "record" (un "record", c'est un ou plusieurs User-agent: suivi d'un ou plusieurs DIsallow:). Les lignes vides ne peuvent que se trouver entre deux "records".

Mais quelle ligne supprimer ds AdminGenerator.php ?

Bien cordialement

Link to comment
Share on other sites
Melki-Tsedeq Newbie

Melki-Tsedeq

Posted
  • Author
Posted

Bonjour Quinou

Réponse à la question :
Mais quelle ligne supprimer dans AdminGenerator.php ?

Dans « Admin/tabs/AdminGenerator.php »
A la ligne 135, il faut supprimer un \n.

                    // User-Agent
                   fwrite($writeFd, "User-agent: *\n");


Cela va résoudre votre problème.

Cordialement.
Melki-Tsedeq

Link to comment
Share on other sites
  • 1 month later...
Melki-Tsedeq Newbie

Melki-Tsedeq

Posted
  • Author
Posted

Bonjour.

Désolé du retard ps_93.
Je vous confirme il faut bien supprimer deux lignes de code dans AdminGenerator.php

A la ligne 141 supprimer :

fwrite($writeFd, "\n");



A la ligne 135, il faut supprimer un \n.
Comme ceci :

// User-Agent
                   fwrite($writeFd, "User-agent: *\n");


Je doute que Mr Patric Codron est signalé ce bug dans le Rapport de bugs.
Car au mois de décembre Mr Bruno Lévêque est intervenue sur le fichier AdminGenerator.php pour changer les droits d’écritures sur ce fichier et il n’a pas corrigé le bug.

Si quelqu’un parmi nous passe par là et qu’il gère bien l’anglais ça serais sympa de sa part de le signaler dans le Rapport de bugs.

En vous remerciant d’avance.

Cordialement.
Melki-Tsedeq

Link to comment
Share on other sites
ps_93 Newbie

ps_93

Posted
Posted

Merci de ta réponse.
J'ai effectué ces modifications, et cela semble être bon.
Dans tous les cas, ce script n'est pas vraiment utile non?
Dans la mesure où nous créeons nous même le fichier de robots.txt à placer dans le répertoire racine.
Voici mon fichier robot :

User-agent: *
# Directories
Disallow: /classes/
Disallow: /config/
Disallow: /download/
Disallow: /mails/
Disallow: /modules/
Disallow: /translations/
Disallow: /tools/
# Files
Disallow: /addresses.php
Disallow: /address.php
Disallow: /authentication.php
Disallow: /cart.php
Disallow: /contact-form.php
Disallow: /discount.php
Disallow: /footer.php
Disallow: /get-file.php
Disallow: /header.php
Disallow: /history.php
Disallow: /identity.php
Disallow: /images.inc.php
Disallow: /init.php
Disallow: /my-account.php
Disallow: /order.php
Disallow: /order-slip.php
Disallow: /order-detail.php
Disallow: /order-follow.php
Disallow: /order-return.php
Disallow: /order-confirmation.php
Disallow: /pagination.php
Disallow: /password.php
Disallow: /pdf-invoice.php
Disallow: /pdf-order-return.php
Disallow: /pdf-order-slip.php
Disallow: /product-sort.php
Disallow: /search.php
Disallow: /statistics.php
Disallow: /zoom.php

Link to comment
Share on other sites
  • 4 weeks later...
Melki-Tsedeq Newbie

Melki-Tsedeq

Posted
  • Author
Posted

Bonjour Cochise.

Je ne sais pas ou ça en est pour la correction du bug car personne ne la signaler dans le rapport des bugs.
Si vous voulez que votre robots.txt soit aux normes prenez exemple sur celui de ps_93 mentionné plus haut.

Cordialement.
Melki-Tsedeq

Link to comment
Share on other sites
  • 1 year later...
Guest
This topic is now closed to further replies.
 Share
Go to topic listing
×
×
  • Create New...