Eine meiner Kundenwebseiten erhält massiven Traffic aus China, von denen die meisten Bots sind. Diese Bots treffen die Site ohne Unterbrechung, wodurch die VM sehr hohe CPU- und Speicherkapazität beansprucht. Infolgedessen kostet es meinen Kunden mein Geld, da die Site in der Cloud gehostet wird.
Ich habe die meisten IPs blockiert. Ich habe sogar das ganze Land blockiert, aber das scheint nicht zu helfen. Trotzdem wird die Seite immer häufiger aufgerufen.
Diese Bots treffen auf eine bestimmte URL mit einem E-Mail-Formular. Ich habe das E-Mail-Formular entfernt. Die URL wurde geändert und die alte URL wurde sogar auf eine andere Site umgeleitet.
Aber keine davon scheint Auswirkungen auf die CPU- und RAM - Auslastung zu haben. Jede Hilfe wird geschätzt.
Vielen Dank
Wenn Sie feststellen, dass bestimmte IP-Adressen Ihre Website immer wieder treffen, können Sie sie einzeln in blockieren. Htaccess
Order Deny,Allow
Deny from 1.1.1.1
Deny from 2.2.2.2
Deny from 3.3.3.3
Es sind zu viele Regeln erforderlich, um ganze Regionen der Welt nach IP-Adresse in zu blockieren. Htaccess . Zum Beispiel würde das Blockieren der USA 150.000 Textzeilen erfordern. ( Quelle )
Wenn die Bots keine großen Browser fälschen, können Sie sie über den Benutzeragenten blockieren:
# Bot Blocker
<IfModule mod_setenvif.c>
SetEnvIfNoCase User-Agent ^$ keep_out
SetEnvIfNoCase User-Agent (pycurl|casper|cmsworldmap|diavol|dotbot) keep_out
SetEnvIfNoCase User-Agent (flicky|ia_archiver|jakarta|kmccrew) keep_out
SetEnvIfNoCase User-Agent (purebot|comodo|feedfinder|planetwork) keep_out
<Limit GET POST PUT>
Order Allow,Deny
Allow from all
Deny from env=keep_out
</Limit>
</IfModule>
( Quelle )
Dieser Artikel hat eine Reihe anderer Techniken, die Sie verwenden können. Der Artikel erklärt jeden einzelnen sehr gut, daher ist es besser, die Details zu jedem einzelnen dort zu lesen.