Dauerzugriffe durch chinesische IPs

[hpzeller]

Ich kann bei mir keine auffälligen Aufrufe erkennen. Für mich sieht es eher nach einem Crawler aus.

Um festzustellen ob es sich um einen bekannten Crawler oder Spider handelt könnte man temporär das Modul Bots, Crawlers und Spiders mit Zeit, IP und Name loggen in den Shop einbauen. Da das Modul schon etwas älter ist sollte man aber die Crawlerliste in der Datei includes/extra/application_bottom/crawlers_detect/Crawlers.php mit der aktuellen Crawlerliste aus dieser Datei hier -> https://github.com/JayBizzle/Crawler-Detect/blob/master/src/Fixtures/Crawlers.php ersetzen.

Achtung, folgende Codezeile aber nicht mit übernemen!

Code: PHP  [Auswählen]

namespace Jaybizzle\CrawlerDetect\Fixtures;

Gruss
Hanspeter

[woeppel]

Ich sehe wirklich keinen Sinn dahinter warum ich tagelang Server aus China das Crawlen der Seiten meines Shops gewähren lassen sollte.

Und wenn es eine Suchmaschine ist verhält diese sich doch nicht so wie beispielsweise bei FräuleinGarn. Eine normale Suchmaschine crawlt die Seiten und geht wieder.

Wenn ich ein ungutes Gefühl (Bauchgefühl) habe sperre ich diese Ip Adressen für kurze Zeit aus.
In einem normalen Ladengeschäft würde ich solche Besucher, mit solch einem Verhalten, doch auch aussperren. Und warum nicht in meinem Onlineshop.

Grüsse
Markus

[hpzeller]

[...]
Und wenn es eine Suchmaschine ist verhält diese sich doch nicht so wie beispielsweise bei FräuleinGarn. Eine normale Suchmaschine crawlt die Seiten und geht wieder.
[...]

Ausser Suchmaschinen, gibt es viele weiter Akteure im Netz welche aus den unterschiedlichsten Motiven, von denn die meisten wohl nicht "böse" sind, das Web crawlen.

[...]
Wenn ich ein ungutes Gefühl (Bauchgefühl) habe sperre ich diese Ip Adressen für kurze Zeit aus.
[...]

Aus einem unguten Bauchgefühl heraus darf man natürlich ganze Gruppen von IP-Adressen via .htaccess aussperren, nur läuft man dabei auch Gefahr potenzielle Kunden auszusperren und ausserdem geht dieses Verfahren natürlich auch zu Lasten der Performance.

Gruss
Hanspeter

[Timm]

@woeppel
Die ganzen IP Adressen einzutragen geht extrem auf die Performance, weil die htaccess bei jedem Aufruf einer Seite abgearbeitet wird. Ich hatte es testweise zusammen mit meinem Hoster mit 6000 Zeilen probiert. Danach konnte ich nur noch teilweise meinen Shop aufrufen. Oft kam ein 504 Gateway Time-out.

Hab glaube eine ganz brauchbare Lösung gefunden. Kommt gleich.

Gruß Timm

[Viol]

Bei mir hat es nachgelassen und war immer von der Huawei Cloud in Hongkong:
https://dnslytics.com/ip/159.138.154.237
Nach der obigen Auswertung wohl eher harmlos.

[Timm]

Dank der wie immer freundlichen und kompetenten Hilfe von Herrn Debik von Bitpalast, scheint das Problem nun vorerst für mich gelöst. Kann den Anbieter nur empfehlen, da der server auch durch den nginx Reverse proxy extrem schnell ist. (Keine Werbung sondern meine unbezahlte Meinung)

Ich konnte über utrace etc nach Eingabe der IP Adressen keine Signaturen erkennen, aber Herr Debik hat sich das dann mal näher angeschaut.

Ich habe mir Ihre Log-Dateien angeschaut und dort eigentlich vier immer wieder auftretende Signaturen der Problem-Aufrufer gefunden:
LieBaoFast
zh_CN
zh-CN
Mb2345Browser

zh_CN und zh-CN sind eigentlich keine Signaturen, aber Sprach-Kennungen. Diese kann man aber auch nutzen, um die Aufrufer auszuschließen. Ich habe nun an den Anfang Ihrer .htaccess-Datei einerseits den Schutz gegen Badbots eingefügt (denn auch Semrush etc. besucht Ihre Website häufig gemäß Logdateien), aber an den Anfang die vier Problem-Aufrufer ebenfalls eingefügt. Seither antwortet der Webserver dorthin mit einem allgemeinen Serverfehler und rendert hier keine Seiten. Andere Aufrufe funktionieren trotzdem weiterhin wie gewohnt.

Daraufhin haben wir in der .htaccess des shoproots folgendes ganz oben eingegeben:

Code: XML  [Auswählen]

RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} (LieBaoFast|zh_CN|zh-CN|Mb2345Browser|seocompany|SEOkicks|Uptimebot|Cliqzbot|ssearch_bot|domaincrawler|AhrefsBot|spot|DigExt|Sogou|MegaIndex.ru|majestic12|80legs|SISTRIX|HTTrack|Semrush|MJ12|MJ12bot|MJ12Bot|Ezooms|CCBot|TalkTalk|Ahrefs|BLEXBot) [NC]
RewriteRule .* - [F]

Daraufhin konnte man unter whos online keine Zugriffe von chinesischen IPs mehr feststellen.

Allerdings wurde danach das error_log des servers (nicht das des shops) immer größer, weil die IPs wohl einen 403 Fehler bekamen, aber auf die Sitemap weitergeleitet wurden und erst nach 10 mal redirect auf die selbe das ganze mit einer Fehlermeldung im error_log aufhörte.

Code: XML  [Auswählen]

[Tue Nov 26 12:47:46.564729 2019] [core:error] [pid 3199] [client 46.229.168.142:40090] AH00124: Request exceeded the limit of 10 internal redirects due to probable configuration error. Use 'LimitInternalRecursion' to increase the limit if necessary. Use 'LogLevel debug' to get a backtrace.

Timo hat mir dann auf die schnelle in der .htaccess die Zeile 123

Code: XML  [Auswählen]

ErrorDocument 403 /sitemap.html?error=403

geändert zu

Code: XML  [Auswählen]

#ErrorDocument 403 /sitemap.html?error=403 # prevent recall from 403 RewriteRule's

Dadurch werden die chinesischen IPs nicht mehr weitergeleitet auf die Sitemap sondern bekommen gleich die 403 Seite des Servers zu Gesicht. Dadurch gibt es keine Einträge mehr im error_log sondern nur noch einen einzigen Eintrag im Serverprotokoll.

Code: XML  [Auswählen]

2019-11-26 15:46:59     Error   120.7.234.117   403     GET /Buendchen/Buendchen-Meliert:::16_26.html?MODsid=xyz HTTP/1.0

Das ganze scheint genauso schnell wie vorher zu sein.

Fragen an die Wissenden:
1) Ist das so ok, oder noch optimierbar?
2) Ist das auskommentieren der 403 Weiterleitung in Ordnung oder anders besser?
3) Kann man an den vielen redirects auf die Sitemap eine allgemeine Verbesserung der .htaccess ableiten, die für alle sinnvoll wäre? Dann würde ich dazu ein Ticket aufmachen.

Gruß Timm

[p3e]

Zu 1)
Da kann ich nur meine Meinung vertreten. Ich habe auch Chinesisch sprechende Menschen als Kunde und bin eh kein Fan vom weitgehenden blocken. Ich gehe da wenn nur sehr gezielt vor. Die meisten Bots stören nicht und ein wirklicher Hacker kommt auch eher mit unauffälligem User-Agenten.
Zu 2)
Du stoppst damit auch die normale 403 Weiterleitung zur Sitemap. Das ist meiner Meinung nach nicht wirklich schlimm. Wenn Du einen Bereich per htaccess Passwort geschützt hast, werden Kunden die keine Berechtigung haben dann auch nicht auf die Sitemap weitergeleitet sondern die erhalten dann eine 403 Fehlermeldung. Für mich wäre das OK.
Zu 3)
Siehe oben.

[HaldOn]

Habe mal meine Logs von heute (19 Stunden) durchgeschaut, es sind heute über 5000 verschiedene IPs die zusammen 9000 Zugriffe durchgeführt haben.
Bei den IPs sind die letzten 3 Stellen anonymisiert, also könnten es noch mehr sein.

Auffällig ist, das teilweise bis zu 12 IPs aus sehr unterschiedlichen Bereichen die selbe Session-ID erhalten haben, was ich noch nicht verstehe.

Auszug aus den Logs, die Session-ID habe ich gelöscht, war aber immer die gleiche

Code: PHP  [Auswählen]

26.11.19 03:23:53       113.121.114.0   -       /xxxx.html   MODsid=
26.11.19 09:04:35       39.181.248.0    -       /xxxx.html      MODsid=
26.11.19 01:10:24       101.26.200.0    -       /xxxx.html      MODsid=
26.11.19 10:15:50       60.169.133.0    -       /xxxx.html      MODsid=
26.11.19 07:20:26       117.94.212.0    -       /xxxx.html      MODsid=
26.11.19 10:02:10       121.230.45.0    -       /xxxx.html      MODsid=
26.11.19 09:28:42       112.114.88.0    -       /xxxx.html      MODsid=
 

[Timm]

@HaldOn
Meine vorgestellte Variante wirkt bis jetzt. Und deine neuen 5000 Freunde scheinen ja auch aus China zu kommen. Dann hättest du damit erstmal Ruhe.

Bei der gleichen MODsid wäre es schön, wenn Wissende was zu sagen könnten.

@p3e
zu 1) ich habe nur Kunden innerhalb der EU. Vorrangig DACH.

zu 2) Passt dann auch für mich, weil ich keine Kunden habe mit unterschiedlichen Rechten was angezeigte Seiten/Dateien betrifft. Und mir persönlich ist egal ob jemandem die Sitemap oder ein 403 Fenster vom Server angezeigt wird. Auch wenn die Absprungrate sicher höher ist bei einer serverseitigen Fehlermeldung. Aber das wird vermutlich nicht so oft vorkommen.

zu 3) Das hat eigentlich nicht nur was mit dem blocken von bestimmten IP Adressen zu tun wie in diesem Fall. Dadurch kam das Verhalten nur zu Tage. Die Frage ist eigentlich: Sollte man jemanden solange versuchen lassen eine nicht aufrufbare Seite aufzurufen, bis der Server nach zehn 403 Versuchen einen error schreibt (ob der Server ihn dann blockt weiß ich gar nicht)? Der 403 kann entstehen wie in diesem Fall durch das blocken, aber es könnte ja auch jemand mit Absicht dauerhaft eine falsche URL aufrufen. Die ganzen Angreifer die sich nach bekanntwerden eine Lücke zb auf bestimmte Wordpress Dateien stürzen. Die gibt es bei uns zwar nicht, aber warum den Server damit belasten und ihn 10mal gewähren lassen? Wäre es nicht sinnvoller nach einem 403 das nicht noch einmal zu erlauben? Ich hab da ehrlich gesagt keinen Plan von. Vielleicht ist das auch nicht sinnvoll weil der Server mal überlastet oder abgestürzt ist und es zu einem 403 kommt (möglich?) und es die Seite eigentlich gibt und die Suchmaschine dann zb gesperrt wird, weil sie dennoch versucht auf die Seite zuzugreifen. Oder ein Kunde gibt eine Url per Hand falsch ein und wäre dann gesperrt usw.

Vielleicht ist das aber auch ein grundlegend falscher Gedanke bei einem 403 auf die Sitemap zu redirecten.

Einfach gesagt ist das Szenario doch so: Jemand aus China wurde gesperrt und bekommt einen 403 beim Aufruf irgend einer Seite wegen der neuen Regel in der htaccess. Die zweite originale Regel in der htaccess sagt dann 403 bringt einen zur Sitemap. Der Redirect auf die Sitemap wird aber wieder mit einem 403 durch die erste Regel blockiert und die Weiterleitung durch die zweite Regel würde denjenigen wieder auf die Sitemap bringen. Also ein Kreislauf, bis der Server sagt nun ist Schluss.

Gruß Timm

Edit:
Vielleicht reicht ja auch das zeitweise ändern der .htaccess und diejenigen verlieren die Lust und man kann wieder zum Original zurück.

[p3e]

In Deinem Fall gebe ich dir Recht. Es macht absolut keinen Sinn auf eine 403 Seite umzuleiten wenn diese gesperrt ist, weil das in einer Dauerschleife enden muss.
Wie ich schon schrieb, ist das dann sinnvoll, wenn Du einen bestimmten Bereich gesperrt hast und dem Kunden dann nicht die Server 403 Seite präsentieren willst.
Dann muss die alternative 403 Seite natürlich zugänglich sein.
Es handelt sich streng genommen also nicht um einen Bug vom Shop sondern um einen Bug Deiner angepassten .htaccess Seite.

Ob als Ziel bei der Weiterleitung die sitemap sinnvoll ist, muss jeder für sich entscheiden. Vom Grundgedanken sollte es eine Seite sein, auf der man dem Kunden etwas charmanterer den Fehler erklärt, als es der Server standartmäßig tut und eventuell auch Alternativen anbietet. Genau das willst du aber sowieso nicht.

Wenn unterschiedliche IPs die selbe Session-ID aufweisen, kommen sie über die gleiche URL mit angehängter Session-ID oder sie präsentieren dem Server alle den selben vom Shop erzeugten Cockie.

[HaldOn]

@HaldOn
Meine vorgestellte Variante wirkt bis jetzt. Und deine neuen 5000 Freunde scheinen ja auch aus China zu kommen. Dann hättest du damit erstmal Ruhe.

Die Einträge in den Serverlogs hast du, wenn auch mit 403, dennoch .

[Timm]

Jeder Aufruf einer Seite egal von wem führt immer zu einem Eintrag im Serverlog. Da spielt es auch keine Rolle, ob derjenige geblockt wird. Logisch. Der Unterschied ist aber, dass den Geblockten nun gleich eine 403 Meldung angezeigt wird und die eigentlich aufgerufene Seite nicht gerendert werden muss. Das nimmt also Serverlast und sie kommen nicht an den Inhalt der Seite. Und vermutlich geben sie dadurch schneller auf, wenn sie keine Daten bekommen.

Gruß Timm

Edit: Danke @p3e

[Bonner]

Ich habe die chinesische Zugriffe gespeert und nun Ruhe. 

Nun werde ich seit zwei Wochen von einem Bot(?) von Quant aus Frankreich belagert, die alle über den IP-Block 91.242.162 kommen. Lt. meiner Recherche im Netz bin ich wohl nicht alleine betroffen und so ganz harmlos sind die Attacken wohl auch nicht.

Da wir auch Kunden in Frankreich haben möchte ich ungerne den ganz IP-Block sperren ohne zu wissen wer davon betroffen wäre. Kann ich irgendwo feststellen wer bei 91.242.162-Block betroffen wäre?
Oder gibt es Alternativen?

Bonner

[HaldOn]

Die Range (0-255) gehört zu qwant.com, eine französische Suchmaschine. Hab den Bot auch auf der Seite, bisher aber nichts auffälliges.

Edit
wenn es dich stört, versuch mal in der Robots.txt

Code: PHP  [Auswählen]

User-agent: Qwantify
Disallow: /

[Bonner]

Danke.. ich hab es mal reingesetzt...

Bonner