Seit 2 Tagen ständig IPs von Facebook auf Whosonline

[Teratek]

Hallo zusammen,
ich weiß nicht, ob ich etwas verpaßt habe, aber seit ca 2 Tagen sind laut whosonline hunderte von Webseitenaufrufe von IP Adressen, die per WHOIS Facebook zugeordnet werden

NetRange:       173.252.64.0 - 173.252.127.255
CIDR:           173.252.64.0/18
NetName:        FACEBOOK-INC

Diese sorgen dafür, dass mein Shop mit Anfragen komplett überlastet wird. Geht das jemandem ähnlich? Im Whosonline sehen die Aufrufe ganz regulär aus, so als würde jemand die Seite crawlen.
Gruß
Christian

Linkback: https://www.modified-shop.org/forum/index.php?topic=43468.0

[HaldOn]

Das dürfte der Facbook Crawler "facebookexternalhit" sein.

Da ich keinen Mehrwert darin gesehen hatte, habe ich In meiner htaccess ausgesperrt.

Code: PHP  [Auswählen]

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*(facebookexternalhit).* [NC]
RewriteRule ^(.*)$ - [F,L]
</IfModule>

Gruß Andre

[p3e]

Hunderte waren mir bisher egal. Seit dem Wochenende habe ich auf meinem Shop stetig 5.000 - 6.000 Facebook Bots auf der whosonline. Ich habe knapp 1.000 Artikel. Der Bot müsste meinen Shop inzwischen auswendig kennen. An der Performance merke ich keine Probleme. Ich frage mich aber was das soll ....

Habt ihr auch einen so spürbaren Anstieg des Facebook Bots oder treffen die sich alle bei mir?

[Nice_Stuff]

Hallo, auch wir kennen das Problem mit den Spidern.

Seit dem die KI Einzug gehalten hat und das nicht nur bei Facebook, waren auch wir ständig diesen Spidern ausgesetzt. Hier mal eine Erweiterung für die .htaccess, die viele der Angriffe eliminiert und dem unseren Server spürbar entlastet hat.

Code: PHP  [Auswählen]

RewriteCond %{HTTP_USER_AGENT} ("Ahrefs"|"AhrefsBot/6.1"|"AspiegelBot"|"Baiduspider"|"BLEXBot"|"Bytespider"|"claudebot"|"Datanyze"|"Kinza"|"LieBaoFast"|"Mb2345Browser"|"MicroMessenger"|"OPPO\sA33"|"PetalBot"|"SemrushBot"|"serpstatbot"|"spaziodati"|"YandexBot"|"YandexBot/3.0"|"zh-CN"|"zh_CN"|"facebookexternalhit"|"Facebot") [NC]
RewriteRule ^ - [F,L]
 

Grüße Oliver

[HaldOn]

Code: PHP  [Auswählen]

|"zh-CN"|"zh_CN"|

Damit sperrst du aber auch potentielle Kunden aus die in der Browsereinstellung Chinesich als Sprache eingestellt haben.

Gruß Andre

[noRiddle (revilonetz)]

Wieso, müsste es dafür nicht in der RewriteCond  das geben ?

Code: [Auswählen]

%{HTTP:Accept-Language}
Für

Code: [Auswählen]

RewriteCond %{HTTP_USER_AGENT}
dürfte

Code: [Auswählen]

"zh-CN"|"zh_CN"
keine Wirkung haben.
Wahrscheinlich versehentlich reingerutscht.

Gruß,
noRiddle

[Nice_Stuff]

Hallo.

Hier einmal die Quelle zu meinem Eintrag:

https://martech.zone/blocking-bot-traffic-using-htaccess/

Grüße Oliver

[noRiddle (revilonetz)]

Mein Post bezog sich auf HaldOns Aussage.

Abgesehen davon:
Ist jetzt jede Quelle im Internet ein Beweis für Korrktheit ?

Gruß,
noRiddle

[Nice_Stuff]

Hallo.

Ich wollte hier lediglich noch einmal meinen Betrag ergänzen und nein, sicher nicht, aber die Diskussion fange ich her erst gar nicht an.

Grüß Oliver

[HaldOn]

Mein Post bezog sich auf HaldOns Aussage.

Gruß,
noRiddle

Beispiel User Agent Android mit WebView wird gesperrt:
Mozilla/5.0 (Linux; U; Android 6.0.1;zh_cn; C107-9 Build/ZFXCNCT5902606201S) AppleWebKit/537.36 (KHTML, like Gecko)Version/4.0 Chrome/49.0.2623.91 Mobile Safari/537.36 EUI Browser/3.0.5.207

Gruß Andre

[p3e]

Das Problem ist, dass ich über soziale Medien viele Kunden bekomme. Ich werde also Meta möglichst nicht aussperren.
Für Wordpress gibt es speziell für den Facebook bot eine Erweiterung, die Facebook nicht aussperrt, die maximale Zugriffsfrequenz aber regelt (z.B. maximal 1 Zugriff alle 2 Sekunden).
Die Erweiterung nennt sich Facebook-Request-Throttle-WordPress-Plugin (oder so ähnlich).
Solange die Zugriffe meinen Shop nicht wirklich belasten, sehe ich für mich erst einmal keinen Handlungsbedarf. Sollte es problematisch werden, werde ich die Wordpress-Erweiterung für modified anpassen.

[HaldOn]

Schau mal hier
https://stackoverflow.com/questions/11521798/excessive-traffic-from-facebookexternalhit-bot
vieleicht hilft das weiter

Edit
oder hier
https://stackoverflow.com/questions/49577546/facebook-crawler-is-hitting-my-server-hard-and-ignoring-directives-accessing-sa

Gruß Andre