Edit History

Bonjour,

Si Mediacom passe par là ...

Ayant une tripotée de pages indexées avec des ?q etc, j'ai trouvé la page https://www.mediacom87.fr/googlebot-deviendrait-il-fou/

Merci pour ce tuto (impossible de me connecter à Discus pour le dire en direct sur la page, désolée).
J'ai donc suivi les indications et modifié le fichier robots.txt.

Je l'ai fait il y a 3-4 jours, cela aurait-il déjà un impact ? Non pas sur les pages en ?q machinchose qui sont toujours à se multiplier dans les pages indexées, mais dans les pages non indexées "à cause du robots.txt" où je retrouve des pages de produits. Gênant ...

Alors, d'une part, je ne comprends pas ce qui bloquerait dans le fichier, pas de nofollow dans le head, et la case produits est décochée dans le sitemap.

J'ai été voir ce que dit Google à ce sujet et utilisé son testeur de fichiers robots.txt. 

Déjà, je suis très peinée de voir qu'en fait il se fout pas mal des lignes ajoutées selon le tuto. Pour chaque ligne ajoutée pour le Noindex, il dit "Règle ignorée par GoogleBot".

Mais rien au sujet de ce qui pourrait être bloquant.

Je vous mets à tout hasard le contenu du fichier

User-agent: *
# Noindex Directives
Noindex: /*?order=
Noindex: /*?q=
Noindex: /*&order=
Noindex: /*&q=
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
Allow: */modules/*.png
Allow: */modules/*.jpg
Allow: */modules/*.gif
Allow: */modules/*.svg
Allow: */modules/*.webp
Allow: /js/jquery/*
# Private pages
# Disallow: /*?order=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
# Disallow: /*&order=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=registration
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories for www.free-bouddha.fr
Disallow: /app/
Disallow: /cache/
Disallow: /classes/
Disallow: /config/
Disallow: /controllers/
Disallow: /download/
Disallow: /js/
Disallow: /localization/
Disallow: /log/
Disallow: /mails/
Disallow: /modules/
Disallow: /override/
Disallow: /pdf/
Disallow: /src/
Disallow: /tools/
Disallow: /translations/
Disallow: /upload/
Disallow: /var/
Disallow: /vendor/
Disallow: /webservice/
# Files
Disallow: /password-recovery
Disallow: /address
Disallow: /addresses
Disallow: /login
Disallow: /registration
Disallow: /cart
Disallow: /discount
Disallow: /order-history
Disallow: /identity
Disallow: /my-account
Disallow: /order-follow
Disallow: /credit-slip
Disallow: /order
Disallow: /search
Disallow: /guest-tracking
Disallow: /order-confirmation

J'ai installé un module permettant de retirer les id de produits etc pour simplifier les urls. Il fait bien les redirections sur les nouvelles adresses. Voici un exemple de lien bloqué : https://www.free-bouddha.fr/carte-postale-bouddhiste-mantra-de-manjushri.html (ou ancienne adresse https://www.free-bouddha.fr/objets-rituels-bouddhistes/14244-carte-postale-bouddhiste-mantra-de-manjushri.html).

C'est un peu la cata car je me rends compte qu'il y a plein de produits désindexés ...

Cela aurait été pour du duplicate content, j'aurais pu comprendre car il y a pas mal de produits similaires. Mais à cause du robots.txt, là je ne comprends absolument pas pourquoi !

Si quelqu'un pouvait m'apporter quelques lumières avant que la boutique ne sombre dans les tréfonds de la Toile, ce serait hyper sympa !

Merci d'avance