16 replies to this topic

[Melki-Tsedeq]

Bonjour.

En général, je fais moi-même mes fichiers robots.txt mais hier en donnant une astuce sur celle-ci voir le lien qui suit : Robots.txt et confidentialité

J’ai testé le générateur du robots.txt de l’admin pour voir ce qu’il en été et je me suis rendu compte d’un bug.
Oui, je confirme monsieur Patric il y a un bug.

Parti Bug :
La ligne vide avant le commentaire # Files n'est pas autorisée et non valide car elle se trouve à l'intérieur d'une série d'interdictions. C'est non standard et cela ne sera pas compris par certains robots.

C’est pour cette raison que certains moteurs de recherches index toujours les fichiers qui sont après # Files car il ne faut jamais laisser de lignes vierges blanches ou saut de ligne puisque certains robots l’interprète comme étant la fin du fichier.

Parti Feature request :
De plus pour aider Google, Yahoo, Bing ou autres moteur de recherche, et surtout les moteurs ne donnant pas une d'interface webmaster tools ayant la possibilité de leur indiquer le fichier sitemap.xml d'un site, vous pouvez ajoutez une indication dans le fichier robots.txt, à l'aide de la syntaxe suivante :
Sitemap: http://www.monsite.com/sitemap.xml

Parti Info :
Cela améliore le référencement surtout sur voila et LeMoteur.fr qui n’ai pas négligeable comme le fais certains grand référenceur de ce monde.

Car en effet, voila est le seul moteur de recherche d'origine française qui a réussi à se faire une place au coté des 2 ou 3 grands moteurs américains.

Voila est la propriété de orange et donc de France Télécom. D'ailleurs Voila est le moteur utilisé sur le site orange.fr, l'un des plus populaires en France. Voila représente une petit part de marcher des recherches Françaises, qui plus est des internautes très qualifiés qui sont les abonnés orange et qui on pour la plupart un pouvoir d’achat supérieur a la moyenne.

Ce sont des familles et des chefs d’entreprises qui achètent sur le net et je sais de quoi je parle. Ils ne sont pas comme nous a utiliser Google a outrance car ils ont l’habitude d’utilisez orange pour leurs mails et leurs recherches. C’est des surfeurs lambda il ne faut pas oublier.

Enfin je ne vais pas vous écrire un livre alors, si vous pouvez poster le bug dans le bug tracker pour vos collègues ce serait sympa. Car moi et l’anglais ne somme pas copain sauf pour le langage technique ou la je connais toutes les définitions.

Bon aller, je prends deux minutes sur mon temps libre pour vous laisser le temps de regarder les guignols de l’info ;-) et je vous donne la solution.

Edite le 12/12/2009
J’ai scindé le sujet en 3 partis pour que ce soit plus simple pour vous.
Et la solution au poste [ # 1 ] juste en dessous. Merci encore.

Cordialement.
Melki-Tsedeq

[Melki-Tsedeq]

Re :
Pour le bug il faut aller dans :
Admin/tabs/AdminGenerator.php
Et supprimer la ligne 141 :

fwrite($writeFd, "\n");

C’est elle qui nous rajoute le saut de ligne.
Le '\n' c'est le LF (Line Feed) qui permet de faire un saut de ligne. Qui la pose problème.
Bon je vous laisse j’ai du pain et du beurre sur la planche et je dois tirer des plants sur la moquette.
Bonne journée a tous.

Cordialement.
Melki-Tsedeq

[Patric Codron]

Je le rappelle, le seul endroit où les bugs seront pris en compte de façon certaine parl es dev, c'est là.

Je sais que c'est contraignant, surtout de rédiger en anglais, mais il est indispensable de tout centraliser.

[Melki-Tsedeq]

Oui je le sais et je suis désolé de vous avoir dérangé mais j’ai peur qu’ils ne comprennent pas mon anglais qui est très léger.

Bon je vois sa demain avec Google Traduction.

Merci encore.

Cordialement.
Melki-Tsedeq

[Patric Codron]

Ha j'avais pas vu la demande de trad en fin de post. Désolé. Bon, ben j'essayerai demain.

[Melki-Tsedeq]

Alors la un grand merci a vous…
C’est sympa de votre part.

Cordialement.
Melki-Tsedeq

[quinou]

Bonjour,
D'après les explications de Melki-Tsedeq ds la première partie, il faut également supprimer la ligne vide qui se trouve avt le commentaire "Directories"

Ce qui est confirmé par Jean Luc ds le fil suivant sur webrankinfo :

http://forum.webrank...xt-t115723.html

"Ce n'étaient pas les lignes de commentaires qui posaient problème, mais les lignes vides. Selon la norme robots.txt, des lignes de commentaires peuvent être insérées n'importe où; par contre, les lignes vides ne sont pas autorisées à l'intérieur d'un "record" (un "record", c'est un ou plusieurs User-agent: suivi d'un ou plusieurs DIsallow:). Les lignes vides ne peuvent que se trouver entre deux "records".

Mais quelle ligne supprimer ds AdminGenerator.php ?

Bien cordialement

[Melki-Tsedeq]

Bonjour Quinou

Réponse à la question :
Mais quelle ligne supprimer dans AdminGenerator.php ?

Dans « Admin/tabs/AdminGenerator.php »
A la ligne 135, il faut supprimer un \n.

                    // User-Agent
                    fwrite($writeFd, "User-agent: *\n");

Cela va résoudre votre problème.

Cordialement.
Melki-Tsedeq

[quinou]

C'est OK Melki-Tsedeq

En espérant que cela résoudra mes erreurs d'exploitation
En effet Google m'annonce : 110 URL à accès restreint par un fichier robots.txt en erreur d'exploitation

Donc à suivre
Quinou

[ps_93]

Il y a donc 2 /n à supprimer dans AdminGenerator.php ?

A la ligne 135 et la ligne 141 ?

[Melki-Tsedeq]

Bonjour.

Désolé du retard ps_93.
Je vous confirme il faut bien supprimer deux lignes de code dans AdminGenerator.php

A la ligne 141 supprimer :

fwrite($writeFd, "\n"); 

A la ligne 135, il faut supprimer un \n.
Comme ceci :

// User-Agent
                    fwrite($writeFd, "User-agent: *\n");

Je doute que Mr Patric Codron est signalé ce bug dans le Rapport de bugs.
Car au mois de décembre Mr Bruno Lévêque est intervenue sur le fichier AdminGenerator.php pour changer les droits d’écritures sur ce fichier et il n’a pas corrigé le bug.

Si quelqu’un parmi nous passe par là et qu’il gère bien l’anglais ça serais sympa de sa part de le signaler dans le Rapport de bugs.

En vous remerciant d’avance.

Cordialement.
Melki-Tsedeq

[ps_93]

Merci de ta réponse.
J'ai effectué ces modifications, et cela semble être bon.
Dans tous les cas, ce script n'est pas vraiment utile non?
Dans la mesure où nous créeons nous même le fichier de robots.txt à placer dans le répertoire racine.
Voici mon fichier robot :

User-agent: *
# Directories
Disallow: /classes/
Disallow: /config/
Disallow: /download/
Disallow: /mails/
Disallow: /modules/
Disallow: /translations/
Disallow: /tools/
# Files
Disallow: /addresses.php
Disallow: /address.php
Disallow: /authentication.php
Disallow: /cart.php
Disallow: /contact-form.php
Disallow: /discount.php
Disallow: /footer.php
Disallow: /get-file.php
Disallow: /header.php
Disallow: /history.php
Disallow: /identity.php
Disallow: /images.inc.php
Disallow: /init.php
Disallow: /my-account.php
Disallow: /order.php
Disallow: /order-slip.php
Disallow: /order-detail.php
Disallow: /order-follow.php
Disallow: /order-return.php
Disallow: /order-confirmation.php
Disallow: /pagination.php
Disallow: /password.php
Disallow: /pdf-invoice.php
Disallow: /pdf-order-return.php
Disallow: /pdf-order-slip.php
Disallow: /product-sort.php
Disallow: /search.php
Disallow: /statistics.php
Disallow: /zoom.php

[Melki-Tsedeq]

Bonjour Cochise.

Je ne sais pas ou ça en est pour la correction du bug car personne ne la signaler dans le rapport des bugs.
Si vous voulez que votre robots.txt soit aux normes prenez exemple sur celui de ps_93 mentionné plus haut.

Cordialement.
Melki-Tsedeq

[Elwood]

Le problème étant toujours dans la 1.4.0.17 j'ai ouvert un ticket... On verra bien

[Melki-Tsedeq]

Bonjour Elwood

Merci d’avoir ouvert un ticket dans le Rapport de bugs je pense qu’il sera vu et corrigé.

Cordialement.
Melki-Tsedeq

[Elwood]

C'est déjà corrigé sur le SVN, ça devrait être dans la prochaine version ;)