Jump to content
Prevot Daniel

Victime d’un Robot

Recommended Posts

Bonjour
Je suis victime d'un robot, apparament voilabot qui est en permanence connecté a mon site
il reste 15 minute puis revient avec une autre ip. il est connecté souvent de 4 A 10 fois en même temps avec une adresse ip différente. comment bloquer ce robot.
Merci de vos reponse
Daniel

Share this post


Link to post
Share on other sites

Bonjour.
le robot.txt n'y a rien fait.
j'ai banni les adresses ip.
Order Allow,Deny
Allow from all

order allow,deny
deny from 193.252.149.13
deny from 193.252.149.14
deny from 193.252.149.15
deny from 193.252.149.16
deny from 193.252.118.173
deny from 193.252.118.174
deny from 193.252.118.175
deny from 193.252.118.176
deny from 81.52.143.15
deny from 81.52.143.16
deny from 81.52.143.29
deny from 81.52.143.26
deny from 81.52.143.30
deny from 81.52.143.31
deny from 81.52.143.32
deny from 81.52.143.33
deny from 81.52.143.34
deny from 81.52.143.35
deny from 81.52.143.36
deny from 81.52.143.37
par un tracert elles pointent toutes vers le seveur: natcrawlbloc03-04.net.m1.fti.net
maintenant j'ai 240 visites en moins par jour
sur le web ce serveur est donné pour être à voila!!!!!
je leur ai écrit
je vais voir par la suite!
bonne journnée

Share this post


Link to post
Share on other sites

Bonjour Daniel

Une non indexation peut être mise en place : il s'agit d'empêcher VoilaBot de rentrer sur le site.
L'instruction est facile à mettre en place et c’est au niveau du fichier .htaccess

Si ce n'est pas déjà fait dans votre fichier .htaccess, pensez à activer l'url-rewriting :

RewriteEngine on
RewriteBase /


Puis, intégrer les instructions de redirections pour dérouter le robot Voilà :

  RewriteCond %{REMOTE_HOST} ^natcrawlbloc.* [OR]
RewriteCond %{HTTP_USER_AGENT} VoilaBot [OR]
RewriteCond %{REMOTE_HOST} ^193.252.149.13 
RewriteRule .* - [F,L]


Le robot de VoilaBot est redirigé vers une page d'erreur simple, n'effectuant aucune connexion à la base, pour éviter les surcharges.

Cette instruction est plus forte qu'une instruction dans le fichier robots.txt que le bot peut ignorer.

Cordialement
Melki-Tsedeq

Share this post


Link to post
Share on other sites

Bonjour Melki
je pas sur que se soit voilabot car j'ai changer les mot clé depuis plusieurs jour et ils n'ont pas changé sur le moteur de recherche. Je crois que c'est un robot autre qui passe par le serveur de voila. de plus j'ai supprimé le fichier robot.txt et je n'ai pas de problème pour l'instant. Tu en penses quoi???
Daniel

Share this post


Link to post
Share on other sites

Bonjour Daniel.

Je vous confirme c’est bien le robot de voila.

Le VoilaBot effectue un travail de recherche pour le moteur présent sur orange.fr, voila.fr et lemoteur.fr
D’où les IP différentes, et il faut dire qu’il est encore en version Bêta et parfois il fait un peu n’importe quoi,
il va même chercher des pages qui n’existent pas !

Je ne supprimerais pas le fichier robots.txt car les robots l’utilisent dans la plus part des cas pour savoir ce qu’ils sont autorisés a indexé.

Le fichier .htaccess ne doit pas forcément contenir url-writing sauf si vous utiliser la redirection ou la réécriture url. Et comme vous l’avez posté c’est suffisant pour un bannissement d’IP.

Je ne crois pas que voilabot est vraiment un mauvais robot mais parfois il fait n’importe quoi et quand ça arrive et qu’il prend de la ressource je le banni aussi pour éviter les surcharges.

Vous pouvez également contacter le support de VoilaBot.
Si vous rencontrez des difficultés avec le robot VoilaBot ou sur le référencement de votre site sur orange.fr, voila.fr et lemoteur.fr

Vous pouvez contactez le support du Moteur afin de régler avec leurs équipes les paramètres de parcours de votre site.

Cordialement.
Melki-Tsedeq

Share this post


Link to post
Share on other sites

Bonjour,

J'ai le même souci que Daniel depuis plusieurs jours maintenant....
Voici les adresses :
193.252.118.175 12:49:21 best-sales.php - accès direct -
81.196.113.134 12:11:24 product.php images.google.ro
193.252.118.174 11:53:00 search.php - accès direct -
193.252.118.173 11:24:55 manufacturer.php - accès direct -

Avez vous trouver une solution, je ne suis pas très douée à la matière en ce qui concerne ce genre de chose.
Pouvez-vous m'éclairer s'il vous plait.
Cela engendre t-il des conséquences à notre boutique ?
Merci par avance de votre réponse
Cordialement

Share this post


Link to post
Share on other sites

Bonjour,

Le robot est encore sur mon site pfff

1247 81.52.143.30 12:56:45 product.php - accès direct -
1246 81.52.143.30 12:16:21 product.php - accès direct -
1245 81.52.143.37 11:50:03 manufacturer.php - accès direct -

Mon adresse msn : snoupette21@live.fr

Merci beaucoup

Share this post


Link to post
Share on other sites

liste officiel reçu de orange par mails suite a une plainte de ma part

Bonjour,

Le Support Voilabot est le mail de contact pour le robot de collecte du
moteur de recherche d'Orange Portail.


81.52.143.15
81.52.143.16
81.52.143.26
81.52.143.29
81.52.143.30
81.52.143.31
81.52.143.32
81.52.143.33
81.52.143.34
81.52.143.35
81.52.143.36
81.52.143.37
193.252.118.173
193.252.118.174
193.252.118.175
193.252.118.176
193.252.149.13
193.252.149.14
193.252.149.15
193.252.149.16


Nous souhaitons vous assurer que Orange attache la plus grande
importance à l'amélioration constante de la qualité de ses services.
Nous vous prions de bien vouloir nous excuser pour le désagrément
occasionné.

Merci de votre confiance,
Bien cordialement,

L'équipe VoilaBot.

Share this post


Link to post
Share on other sites

Bonjour,

Je déterre ce topic toujours d'actu.

En effet, il faut savoir que ces bots orange peuvent provoquer une montée artificielle de vos visiteurs dans vos stats (+ de 1000 visites en plus dans mes stats par jour en ce moment à cause de ces robots)

Si vous voulez vous en débarrasser pour libérer des ressources, voici la liste mise à jour des ips des bots de orange/voila à bloquer sur votre site :

 

81.52.143.15
81.52.143.16
81.52.143.26
81.52.143.29
81.52.143.30
81.52.143.31
81.52.143.32
81.52.143.33
81.52.143.34
81.52.143.35
81.52.143.36
81.52.143.37
193.252.118.164
193.252.118.166
193.252.118.167
193.252.118.173
193.252.118.174
193.252.118.175
193.252.118.176
193.252.118.179
193.252.149.13
193.252.149.14
193.252.149.15
193.252.149.16

 

Petite info : OVH s'y met aussi : un bot difficile à repérer mais qui peut passer pourtant sur votre site jusqu'à 150 fois dans la journée (au moins dans mon cas) : 37.187.137.225

Voilà, si cela peut être utile à quelqu'un.

Edited by N°6

Share this post


Link to post
Share on other sites

Bonjour

 

Vous pouvez installer Crawl Protect et CRawl Tracker qui protège vos sites c'est des programmes gratuit plutôt faire un don http://www.crawltrack.fr/crawlprotect/

Et là vous pourrez configurer protéger des dossiers etc.

 

Vous avez juste besoin d'une base de donnée, de préférence en plus de celle de votre e-commerce.

Share this post


Link to post
Share on other sites

Bonjour,

 

Pour ma part j'ai opté pour un module qui bloque les ips indésirables. J'ai juste besoin de regarder les ips des indésirables dans un module qui indique toutes les ips des visiteurs, de les repérer (facile) puis de les copier/coller dans le module bloqueur. Ca fonctionne parfaitement. Ces deux modules sont tops mais je ne ferai pas de pub ici. ;)

Ca me prend 5 minutes chaque jour.

Share this post


Link to post
Share on other sites

Bonjour,

 

Je suis vraiment étonné en lisant ce sujet ...

 

Je me pose donc la question suivante : si vous bloquez orange c'est parce que vous avez trop de clients ?

 

Je reste vraiment septique sur cette démarche surtout quand on sait que orange est le premier fournisseur d'accès internet en France ...

 

Il vous suffit de le filtrer pour ne pas avoir de pic de visites.

 

Bloquer un moteur de recherche c'est le comble du e-commerce.

 

C'est comme si le boulanger du coin laissait un panneau fermé sur sa porte.

 

3pom    

Share this post


Link to post
Share on other sites

PS : l'ip 37.187.137.225 c'est une ip de http://www.majestic12.co.uk/ il est plus judicieux de lire ce que nous donne le bot comme informations pour le bloquer en plus il l'écrit  dans le user agent 

 

http://www.majestic12.co.uk/projects/dsearch/mj12bot.php

 

Car bloqué une ip sur les 50 ça ne sert pas à grand chose.

 

3pom

Share this post


Link to post
Share on other sites

Même souci de connexions massives sur mon site.

J'ai beau mettre à jour mon .htaccess et robot.txt, le problème est que Prestashop 1.7.2.4 remet ces fichiers à jour en écrasant mes lignes. Il semblerait que (dans la limite infinie de mes connaissances limitées) l'option d'un module dédié soit la solution.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

×