Gefährliche bots per htaccess aussperren

[BeBa]

Ein kleiner Beitrag zur Sicherheit und evtl. Performance.

Per htaccess kann man gefährlich eingestufte Bots die den Onlineshop durchsuchen, einfach aussperren.

Gefunden unter : http://www.user-agents.de/get_htaccess.php

Die Liste kann beliebig erweitert werden. Links unterhalb der htaccess Liste unter Spam stehen weitere Bots vor denen gewarnt wird.

Bsp.:

Code: PHP  [Auswählen]

# Sperre nach Agent
SetEnvIfNoCase user-agent "1337" bad_bot=1
SetEnvIfNoCase user-agent "acont" bad_bot=1
SetEnvIfNoCase user-agent "CatchBot" bad_bot=1
SetEnvIfNoCase user-agent "Daumoa" bad_bot=1
SetEnvIfNoCase user-agent "DomainCrawler" bad_bot=1
SetEnvIfNoCase user-agent "DotBot" bad_bot=1
SetEnvIfNoCase user-agent "DTS Agent" bad_bot=1
SetEnvIfNoCase user-agent "dug-portal" bad_bot=1
SetEnvIfNoCase user-agent "EuripBot" bad_bot=1
SetEnvIfNoCase user-agent "Eurobot" bad_bot=1
SetEnvIfNoCase user-agent "FDM" bad_bot=1
SetEnvIfNoCase user-agent "findlinks" bad_bot=1
SetEnvIfNoCase user-agent "FollowSite" bad_bot=1
SetEnvIfNoCase user-agent "Grub" bad_bot=1
SetEnvIfNoCase user-agent "iCcrawler" bad_bot=1
SetEnvIfNoCase user-agent "JadynAveBot" bad_bot=1
SetEnvIfNoCase user-agent "Java" bad_bot=1
SetEnvIfNoCase user-agent "Jyxobot" bad_bot=1
SetEnvIfNoCase user-agent "libwww" bad_bot=1
SetEnvIfNoCase user-agent "LinkWalker" bad_bot=1
SetEnvIfNoCase user-agent "lmspider" bad_bot=1
SetEnvIfNoCase user-agent "Mechanize" bad_bot=1
SetEnvIfNoCase user-agent "MJ12bot" bad_bot=1
SetEnvIfNoCase user-agent "MLBot" bad_bot=1
SetEnvIfNoCase user-agent "Netluchs" bad_bot=1
SetEnvIfNoCase user-agent "Ocelli" bad_bot=1
SetEnvIfNoCase user-agent "Plonebot" bad_bot=1
SetEnvIfNoCase user-agent "psbot" bad_bot=1
SetEnvIfNoCase user-agent "Rexyobot" bad_bot=1
SetEnvIfNoCase user-agent "ruky" bad_bot=1
SetEnvIfNoCase user-agent "Sapphire" bad_bot=1
SetEnvIfNoCase user-agent "ScoutJet" bad_bot=1
SetEnvIfNoCase user-agent "Seekbot" bad_bot=1
SetEnvIfNoCase user-agent "Speedy Spider" bad_bot=1
SetEnvIfNoCase user-agent "SurveyBot" bad_bot=1
SetEnvIfNoCase user-agent "susie" bad_bot=1
SetEnvIfNoCase user-agent "Toplistbot" bad_bot=1
SetEnvIfNoCase user-agent "Twiceler" bad_bot=1
SetEnvIfNoCase user-agent "Updater" bad_bot=1
SetEnvIfNoCase user-agent "WebDataCentreBot" bad_bot=1
SetEnvIfNoCase user-agent "weive" bad_bot=1
SetEnvIfNoCase user-agent "Yandex" bad_bot=1
SetEnvIfNoCase user-agent "Yanga" bad_bot=1
SetEnvIfNoCase user-agent "Yeti" bad_bot=1

# Sperre nach IP
SetEnvIfNoCase remote_addr "^91.98.*" bad_bot=1

# Sperre nach Request
SetEnvIfNoCase request_uri "^w00tw00t.*" bad_bot=1

<FilesMatch "(.*)">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</FilesMatch>

Grüße Bernard

Linkback: https://www.modified-shop.org/forum/index.php?topic=3520.0

[Tomcraft]

Danke Bernard, ich habe das mal in die Bastelecke verschoben.

Grüße

Torsten

[BeBa]

Die Bastellecke hab ich noch gar nicht gesehen.  

Danke Torsten

Beim testen meines Shops ist mir aufgefallen das auf http://www.seittest.de/ der Test erst gar nicht mehr durchläuft, nach Einbindung der Bots - Sperre.

Macht mich bisschen stutzig bei "seittest"  

Bin nur schon wieder mit was anderem Beschäftigt, in Paar Tagen schau ich nochmal was da los ist.
Gespannt welches Botili für Seittest steht, wo ich nun ausgesperrt habe.  

Gruß Bernard

[DokuMan]

Ist halt die Frage, ob sich die richtigen "bad" Bots überhaupt also solche zu erkennen geben.

[jkatzorke]

In diesem Zusammenhang würde sich vielleicht auch anbieten, über Projekte wie "Bot-Trap" oder "Project Honey Pot" bzw. "Bad Behaviour" nachzudenken...

Ersteres lässt sich leicht in den Shop einbauen, letzteres wahrscheinlich auch, habe ich mir nur noch nicht angesehen...

Bei Bot-Trap ist gut beschrieben, warum die htaccess-Lösung eher ungeeignet ist...
Dort wird mit einer PHP-basierten Blacklist gearbeitet. Soweit ich gelesen habe, sollte man für Bad Behaviour schon eine eigene Datenbankanbindung einrichten.

Vorteil bei den beiden Systemen ist auf jeden Fall, daß man sich nicht unbedingt selbst um Aktualisierungen kümmern muss...