Jump to content

Recommended Posts

Ich habe etliche IP´s eines Bots ausfindig gemacht, der mir Warenkörbe füllt, die dann als verwaiste Warenkörbe übrig bleiben. Die IP-Range beträgt bisher ca. 45 Adressen und ich wollte diese in der .htaccess zusammenfassen.

deny from 123.123.123.345/678

funktioniert nicht (bringt den Shop zum Absturz).

Muss die IP-Range zwingend mit (123.123.123).0 anfangen oder wie kann ich einen IP-Block in der .htaccess definieren, der nicht mit 0 beginnt?

Gruß Werner Klausen

Share this post


Link to post
Share on other sites
Posted (edited)

Dann versuch es einfach mal so:

Quote

Order Allow, Deny

Deny from 123.123.123.

Allow from all

 

Edited by Wuschel (see edit history)

Share this post


Link to post
Share on other sites

Hallo Wuschel,das funktioniert, zumindest stürzt der Shop nicht ab :-)

Ich habe bisher 34 IP´s identifizieren können, der Block reicht von .129 bis .164, es kommen aber nach und nach bestimmt noch ein paar mehr dazu.

Deny from 123.123.123.

blockiert aber wahrscheinlich die gesamte 123.123.123.-range. Wenn ja, dann sind u.U. auch "unbeteiligte" IP´s betroffen - oder?

Gruß Werner Klausen

Share this post


Link to post
Share on other sites
32 minutes ago, Klausen said:

Wenn ja, dann sind u.U. auch "unbeteiligte" IP´s betroffen - oder?

Na ja, hast du denn viele chinesische Kunden?

Share this post


Link to post
Share on other sites
Posted (edited)

Leider noch nicht, aber das ist der Markt der Zukunft ;-)

Die IP-Range war nur ein Beispiel, der eigentliche Übel-Bot sitzt in den Niederlande.

Gruß Werner Klausen

Edited by Klausen (see edit history)

Share this post


Link to post
Share on other sites
Am 16.7.2019 um 6:38 PM schrieb Klausen:

Ich habe etliche IP´s eines Bots ausfindig gemacht, der mir Warenkörbe füllt, die dann als verwaiste Warenkörbe übrig bleiben. Die IP-Range beträgt bisher ca. 45 Adressen und ich wollte diese in der .htaccess zusammenfassen.


deny from 123.123.123.345/678

funktioniert nicht (bringt den Shop zum Absturz).

Problematisch ist, daß du offenbar nicht mit einem tatsächlich ausprobierten, sondern einem Beispielcode arbeitest. Denn der zitierte Code kann nicht funktionieren, da in der IP nur Zahlen bis 255 erlaubt sind.

Share this post


Link to post
Share on other sites

Ich habe es schon mit dem richtigen IP-Bereich ausprobiert. Die o.g. Adresse war nur als Beispiel gedacht... bei der Zahlenfolge nahm ich an, dass das klar wäre.

Gruß Werner Klausen

Share this post


Link to post
Share on other sites

Nur dann müßte es eigentlich funktionieren ... Ob du vielleicht doch einen Fehler drin hast, kann niemand sagen, wenn du den echten Code nicht postest und auch nicht den kompletten Code.

Share this post


Link to post
Share on other sites

Jetzt noch einmal genauer geschaut, so klappt das offenbar nicht, du mußt wohl hinter dem / die komplette End-IP-Adresse angeben und nicht nur den letzten Teil.

Share this post


Link to post
Share on other sites

Nochmal recherchiert, möglicherweise ist es doch nicht so einfach. Unter https://ip2cidr.com/ gibt es einen Converter, der wirft z. B. für den Bereich von 128.255.112.23 bis 128.255.112.65 folgende Bereichsangaben aus:

128.255.112.23/32
128.255.112.24/29
128.255.112.32/27
128.255.112.64/31

Share this post


Link to post
Share on other sites

Das Bot-Problem - wie von Werner Klausen als TE geschildetrt - habe ich seit gestern Abend plötzlich auch...

Hat in der Zwischenzeit jemand die Sache nachhaltig fixen können?

Share this post


Link to post
Share on other sites

Ich würde da dann eher mal den modsecurity auf dem Server etwas schärfen, das bringt mehr und sperrt keine IPs aus, die via proxies ohnehin  nur einmal für die Attacks genutzt werden, eben solange, bis die Falle zuschnappt, dann wird großzügig gewechselt, um weiterzumachen.

Mit Fail2Ban sperrt man die betreffenden IPs, die bei Modsecurity auffällig geworden sind aus.

Wenn ihr nicht selber den Server administriert, sollte Euer Hoster Euch von derlei Problemen erlösen können

Share this post


Link to post
Share on other sites

Ich habe eine Kombination der robot.txt von https://www.prestashop.com/forums/topic/564611-strange-robotstxt/?tab=comments#comment-2432923 und https://www.prestashop.com/forums/topic/606490-gel%C3%B6stcrawler-f%C3%BCllt-munter-alles-in-den-warenkorb/?tab=comments#comment-2596874 eingesetzt. Diese zeigte aber nur mäßigen Erfolg, da sich einige Crawler nicht an die Bitte halten zu verschwinden.

Daraufhin habe ich konsequent diejenigen IP´s über die .htaccess ausgeschlossen, die Warenkörbe befüllt haben, keinen Kunden zuzuordnen waren und nicht von „unverdächtigen“ Providern stammten. Von ca. 100 verwaisten Warenkörben pro Tag bin ich nun auf etwa 5 herunter gekommen, damit kann ich gut leben.
Positiver Nebeneffekt ist, dass die ps_connections, ps_connections_page und ps_connections_source nicht mehr so schnell gefüllt werden und damit die Größe des Backups deutlich länger im Rahmen dessen bleibt, was innerhalb des Shops noch herunter geladen werden kann.

Sollte durch einen falschen Eintrag ein Kunde versehentlich ausgeschlossen sein, läßt sich das schnell wieder beheben und es braucht keine allzu großen administrativen Kenntnisse um das umzusetzen.
Ich poste hier mal die gesperrten IP´s in der .htaccess; ob die IP-Einträge für alle Shop-Arten gelten kann ich nicht sagen, für den Bereich Automobil zeigen sie aber augenscheinlich Wirkung.

#Block Bots-IP
order allow,deny
# ADVANCEDHOSTERS-NET
deny from 46.229.168.129
deny from 46.229.168.130
deny from 46.229.168.131
deny from 46.229.168.132
deny from 46.229.168.133
deny from 46.229.168.134
deny from 46.229.168.135
deny from 46.229.168.136
deny from 46.229.168.137
deny from 46.229.168.138
deny from 46.229.168.139
deny from 46.229.168.140
deny from 46.229.168.141
deny from 46.229.168.142
deny from 46.229.168.143
deny from 46.229.168.144
deny from 46.229.168.145
deny from 46.229.168.146
deny from 46.229.168.147
deny from 46.229.168.148
deny from 46.229.168.149
deny from 46.229.168.150
deny from 46.229.168.151
deny from 46.229.168.152
deny from 46.229.168.153
deny from 46.229.168.154
deny from 46.229.168.155
deny from 46.229.168.156
deny from 46.229.168.157
deny from 46.229.168.158
deny from 46.229.168.159
deny from 46.229.168.160
deny from 46.229.168.161
deny from 46.229.168.162
deny from 46.229.168.163
# MSFT, MSFT-GFS, MICROSOFT-GLOBAL-NET (alles MICROSOFT)
deny from 40.77.167.4
deny from 40.77.167.76
deny from 40.77.167.119
deny from 40.77.167.149
deny from 40.77.167.169
deny from 40.77.167.180
deny from 40.77.167.210
deny from 157.55.39.22
deny from 157.55.39.75
deny from 157.55.39.87
deny from 157.55.39.130
deny from 157.55.39.145
deny from 157.55.39.148
deny from 157.55.39.156
deny from 157.55.39.199
deny from 157.55.39.206
deny from 157.55.39.225
deny from 157.55.39.229
deny from 157.55.39.239
deny from 157.55.39.241
deny from 207.46.13.55
deny from 207.46.13.73
deny from 207.46.13.74
deny from 207.46.13.127
deny from 207.46.13.168
deny from 207.46.13.247
# Godaddy
deny from 85.25.210.234
allow from all

 

Gruß Werner Klausen

  • Thanks 1

Share this post


Link to post
Share on other sites
Am 27.7.2019 um 11:49 PM schrieb Klausen:

Ich habe eine Kombination der robot.txt von https://www.prestashop.com/forums/topic/564611-strange-robotstxt/?tab=comments#comment-2432923 und https://www.prestashop.com/forums/topic/606490-gel%C3%B6stcrawler-f%C3%BCllt-munter-alles-in-den-warenkorb/?tab=comments#comment-2596874 eingesetzt. Diese zeigte aber nur mäßigen Erfolg, da sich einige Crawler nicht an die Bitte halten zu verschwinden.

Daraufhin habe ich konsequent diejenigen IP´s über die .htaccess ausgeschlossen, die Warenkörbe befüllt haben, keinen Kunden zuzuordnen waren und nicht von „unverdächtigen“ Providern stammten. Von ca. 100 verwaisten Warenkörben pro Tag bin ich nun auf etwa 5 herunter gekommen, damit kann ich gut leben.
Positiver Nebeneffekt ist, dass die ps_connections, ps_connections_page und ps_connections_source nicht mehr so schnell gefüllt werden und damit die Größe des Backups deutlich länger im Rahmen dessen bleibt, was innerhalb des Shops noch herunter geladen werden kann.

Sollte durch einen falschen Eintrag ein Kunde versehentlich ausgeschlossen sein, läßt sich das schnell wieder beheben und es braucht keine allzu großen administrativen Kenntnisse um das umzusetzen.
Ich poste hier mal die gesperrten IP´s in der .htaccess; ob die IP-Einträge für alle Shop-Arten gelten kann ich nicht sagen, für den Bereich Automobil zeigen sie aber augenscheinlich Wirkung.

#Block Bots-IP
order allow,deny
# ADVANCEDHOSTERS-NET
deny from 46.229.168.129
deny from 46.229.168.130
deny from 46.229.168.131
deny from 46.229.168.132
deny from 46.229.168.133
deny from 46.229.168.134
...
deny from 207.46.13.168
deny from 207.46.13.247
# Godaddy
deny from 85.25.210.234
allow from all

 

Gruß Werner Klausen

Herzlichen Dank!

Das ist eine mE. eine gute Einschätzung.

Ich starte jetzt auch erst mal mit der sanften Bitte und eskaliere dann stufenweise hoch.

Share this post


Link to post
Share on other sites

Man muss halt wissen, welche Bots das so sind und setzt dann unten in die htacces
 

SetEnvIfNoCase Referer "porn" spam_ref=1
SetEnvIfNoCase user-Agent SEOkicks spam_ref=1
SetEnvIfNoCase user-Agent majestic12 spam_ref=1
SetEnvIfNoCase user-Agent MJ12bot spam_ref=1
SetEnvIfNoCase user-Agent spbot spam_ref=1
SetEnvIfNoCase user-Agent BLEXBot spam_ref=1
SetEnvIfNoCase user-Agent MauiBot spam_ref=1
SetEnvIfNoCase user-Agent Mail.RU_Bot spam_ref=1
SetEnvIfNoCase user-Agent SemrushBot spam_ref=1   
SetEnvIfNoCase user-Agent adscanner spam_ref=1  
    

<Limit GET HEAD POST>
order deny,allow
Deny from env=spam_ref
</Limit>

Welche Bots sich nicht benehmen, kann man ziemlich gut in den Logs nachsehen. Das hier gezeigte Beispiel habe ich so drin und die Warenkörbe werden nicht von denen gefüttert. Diejenigen, die sich benehmen, kommen nicht auf diese Liste.

  • Thanks 1

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


×
×
  • Create New...

Important Information

Cookies ensure the smooth running of our services. Using these, you accept the use of cookies. Learn More