Bots: Unglaublich Viele .css Und .js Dateien Im Theme Cache

[schibulski]

Guten Morgen zusammen!

 

Folgende Situation: Wir haben täglich einen verdammt großen Ansturm an Bots. Ich mutmaße das jetzt einfach mal, da ab und an zwischen 60 und 160 gleichzeitig als Besucher kommen, alle mit der gleichen IP Adresse.

Jetzt habe ich irgendwie das Gefühl dass jeder dieser "Besucher" eine eigene v_xxxxx_all.css, v_xxxxx_print.css und v_xxxxx.js im Theme Cache bekommt.

Ergo: Der Cache ist permanent geflutet und immens groß. Zum Vergleich: Ich habe vorgestern den Cache gelöscht und heute morgen ist er schon wieder 8GB groß.

Bei 15GB Webspace bedeutet dass, dass ich alle 3 Tage den Cache leeren muss damit wir nicht "voll laufen".

 

Ist dieses Verhalten normal oder kann ich dem irgendwie entgegen wirken?

Folgende Einstellungen unter "Leistung":

• Alle CCC Optionen bis auf die Apache Optimierung (Server läuft komplett auf nginx) sind aktiviert
• Template wird nie neu kompiliert
• Cache soll bei jeder Änderung gelöscht werden
• php Cache ist komplett deaktiviert (APC, memcache, memcached haben ist Tests immer nur längere Ladezeiten ergeben und  bringen die Facettennavigation durcheinander)

[schibulski]

Update: seit dem gestrigen Post ist der Ordner schon wieder auf 4GB angewachsen... :-(

[Whiley]

Hallo schibulski,

 

da du die IP kenst, kannst du ja zunächst prüfen (Google) ob sie nicht zu einer der wichtigen Suchmaschinen gehört. wenn nicht kannst du die IP über die .htaccess blocken. Du schreibst ganz oben in die htaccess:

order allow,denydeny from XXX.XXX.XXX.XXX   (hier die IP eintragen)allow from all

Grüsse

Whiley