Who is online Suchmaschine wechselne IP

[Jossi]

Hallo Community,

mir wird in "who is online" seit über 16 Stunden eine angebliche Suchmaschine (manchmal auf Deutsch, manchmal steht dort Search Engine) angezeigt, die sich ununterbrochen durch meinen Shop wühlt. Das ungewöhnliche daran: Seit über 15 Stunden UND, dass sich die IP-Adresse ständig (alle paar Sekunden oder maximal 1-2 Minuten, fast immer, wenn eine neue Seite geladen wird) ändert, und zwar über mehrere Kontinente, aber überwiegend USA. Ich gehe davon aus, dass hier ein Proxy oder VPN oder so etwas benutzt wird. Aber welche Suchmaschine benutzt so ein Tool??

Fragen:

1. Ist es normal, dass ein und dieselbe Suchmaschine über 15 Stunden lang einen onlineshop durchcrawled?
2. Kann es sein, dass eine normale Suchmaschine Proxy oder VPS benutzt?
3. Gibt es eine Möglichkeit herauszufinden, um welche Suchmaschine es sich dabei handelt?
4. Woher weiß das tool (who is online), dass es sich um eine Suchmaschine handelt?
5. Hat schon mal jemand etwas ähnliches beobachtet?
6. Irgendwelche Tipps oder Ratschläge, Warnungen oder Hinweise?

Anbei mal ein paar der letzten IP-Adressen, einige davon tauchen immer wieder auf:

5.255.253.123
46.229.164.112
46.229.164.113
46.229.164.114
46.229.164.115
66.249.65.148
66.249.65.152
66.249.65.156
195.154.231.161
207.46.13.18
...

Und eben ist noch etwas merkwürdiges passiert: Ich sah (ebenfalls in who is online) bei einem Gast, der sich gerade ausgeloggt hat, als HTTP Referer "....Admin..." Ich habe diese Zeile dann in ein neues Fenster kopiert und mir wurde eine Kundenbestellung (Backend!) von vor 2 Jahren angezeigt. Heißt das, dass sich irgendjemand als Admin eingeloggt hat und sich diese Bestellung im Backend angesehen hat, oder ist dieser HTTP Referer anders zu verstehen? Und wie?

Ich kriege langsam ne kleine Kriese, würde mich freuen wenn mal jemand etwas dazu sagen könnte. Vielen Dank.

Jossi

Linkback: https://www.modified-shop.org/forum/index.php?topic=32126.0

[Matt]

Das ist nicht immer die gleiche Suchmaschine. Das erklärt auch die Kontinentalsprünge.

Googlebot:
66.249.65.148
66.249.65.152
66.249.65.156

Bing:
207.46.13.18

Yandex:
5.255.253.123

Der Adressbereich 46.229.164 gehört irgendeinem Hoster. Da hat sich vielleicht jemand auf deren Maschinen einen eigenen Spider gebaut, ein Blick ins Log sagt zumindest mal wie er meint sich vorstellen zu müssen, iptables ist dein Freund wenn du ihn nicht haben willst (oder abuse@advancedhosters.com).
Für 195.154.231.161 dürfte das gleiche gelten, Abuse hört hier angeblich auf abuse@iliad-entreprises.fr.

Und eben ist noch etwas merkwürdiges passiert: Ich sah (ebenfalls in who is online) bei einem Gast, der sich gerade ausgeloggt hat, als HTTP Referer "....Admin..." Ich habe diese Zeile dann in ein neues Fenster kopiert und mir wurde eine Kundenbestellung (Backend!) von vor 2 Jahren angezeigt. Heißt das, dass sich irgendjemand als Admin eingeloggt hat und sich diese Bestellung im Backend angesehen hat, oder ist dieser HTTP Referer anders zu verstehen? Und wie?

Ohne mehr Kontext aus dem Log quasi nicht zu beantworten. Kann es sein, dass das einer deiner Mitarbeiter war? Sobald man ausgeloggt ist ist man halt automatisch Gast.

[Jossi]

Hi Matt,

vielen Dank für deine Antwort.

Allerdings: Wenn es sich um mehrere Suchmaschinen handeln würde, dann würde die Uhr (online": 17:07:53) ja nicht weiter mitlaufen und Startzeit (20:47:52) müsste auch jeweils eine neue sein, und nicht immer dieselbe von gestern.

Da hier jemand oder etwas offensichtlich nicht wirklich von den kurzzeitig benutzten IPs / Orten aus zugreift, will ich diese IPs auch nicht blockieren, würde ja auch nichts helfen.

Zum anderen Fall: Es gibt nur eine weitere Person mit den Zugangsdaten als Admin (und keine weiteren Mitarbeiter), diese eine Person hat aber eine andere IP-Adresse. Also verstehe ich es richtig, dass der HTTP Referer die Seite anzeigt, auf der sich der "Gast" zuletzt auch befunden hat? Und folgt daraus, dass sich jemand definitif im Backend befunden haben muss, also auch eingeloggt war?

[Matt]

Allerdings: Wenn es sich um mehrere Suchmaschinen handeln würde, dann würde die Uhr (online": 17:07:53) ja nicht weiter mitlaufen und Startzeit (20:47:52) müsste auch jeweils eine neue sein, und nicht immer dieselbe von gestern.

Anhand der IPs, die du gepostet hast, würde ich mal sagen, dass das ein Bug in modified ist.

Also verstehe ich es richtig, dass der HTTP Referer die Seite anzeigt, auf der sich der "Gast" zuletzt auch befunden hat?

Meistens. Aber nicht zwingend, siehe den Eintrag zu HTTP_REFERER auf http://php.net/manual/de/reserved.variables.server.php.

Und folgt daraus, dass sich jemand definitif im Backend befunden haben muss, also auch eingeloggt war?

Schwer zu sagen, da es kein standardifiziertes Verfahren gibt, was der Browser beim Redirect mit dem Referer machen soll. Wie gesagt hilft hier nur ein Blick in die Logfiles, das anhand von Who's online 'analysieren' zu wollen endet in Kaffeesatzleserei.

[Jossi]

Danke, der Link ist hilfreich, dort steht:

'HTTP_REFERER'
Sofern vorhanden, die Adresse der Seite, auf der der Benutzer einen Link auf die aktuell aufgerufene Seite angeklickt hat. Dieser Wert wird vom Browser des Benutzers gesetzt. Nicht alle Programme unterstützen diesen Wert, manche offerieren als Feature sogar die Möglichkeit, den Wert von HTTP_REFERER selbst zu bestimmen. Kurz, Sie können diesem Wert nicht wirklich vertrauen.

Dann vertraue ich jetzt einfach mal mehr meinem Sicherheitsverhalten (keine gespeicherten PW, etc) und vertraue weniger dem HTTP Referer.

Die Fragen zu der, bzw. den Suchmaschinen bleiben allerdings offen, da müsste vielleicht mal jemand vom Modified Team sagen, ob hier ein Bug die Ursache sein könnte. Mir kommt es jedenfalls verdächtig vor. Wären es mehrere Suchmaschinen, so müssten sich diese ja auf die Sekunde genau ablösen, und das seit nun schon 18 Stunden.

Sieht für mich eher so aus, als spioniert jemand mit Proxy/VPN und mehreren verschiedenen Suchmaschinen meinen Shop aus.

Sorry für die ANfängerfrage, aber wo finde ich die Logfile? Ich bin davon ausgegangen, sie per FTP im Ordner "logs" zu finden, doch dieser Ordner ist leer.

[Matt]

Die Fragen zu der, bzw. den Suchmaschinen bleiben allerdings offen, da müsste vielleicht mal jemand vom Modified Team sagen, ob hier ein Bug die Ursache sein könnte. Mir kommt es jedenfalls verdächtig vor. Wären es mehrere Suchmaschinen, so müssten sich diese ja auf die Sekunde genau ablösen, und das seit nun schon 18 Stunden.

Das kommt drauf an wie der Bug geartet ist. Wenn er einfach nur schaut ob es schon einen Eintrag 'Suchmaschine' gibt und den überschreibt, dann überschreibt einfach die letzte erkannte Suchmaschine immer wieder den gleichen Eintrag.

Sieht für mich eher so aus, als spioniert jemand mit Proxy/VPN und mehreren verschiedenen Suchmaschinen meinen Shop aus.

Kein Proxy dieser Welt hat die gleiche IP wie ein Googlebot. Es ist natürlich nicht so, dass man IP-Adressen nicht fälschen könnte, aber ganz ehrlich, der Aufwand dürfte sich für einen kleinen Shop kaum lohnen. Außerdem: Was will er denn finden außer dem was man eh online sehen kann?

Sorry für die ANfängerfrage, aber wo finde ich die Logfile? Ich bin davon ausgegangen, sie per FTP im Ordner "logs" zu finden, doch dieser Ordner ist leer.

Wenn es nicht an den offensichtlichen Orten deines Webspaces liegt kann dir die Frage nur dein Provider beantworten.

[Jossi]

Im logfile steht bei den IPs, die ich auch aufgelistet habe, die also von dieser "Suchmaschine" benutzt werden immer:

"Mozilla/5.0 (compatible; SemrushBot/0.98~bl; +http://www.semrush.com/bot.html"

Ich habe keine Ahnung was SEMrushBot ist, wenn ich es richtig verstehe, dann ist es ein Spider-System oder Programm, das vor allem zur SEO benutzt wird.

Kann mir jemand mehr dazu sagen, und warum dieses Ding ununterbrochen bei mir herumlurcht?

[BiDoubleU]

Ich habe keine Ahnung was SEMrushBot ist, wenn ich es richtig verstehe, dann ist es ein Spider-System oder Programm, das vor allem zur SEO benutzt wird.

Kann mir jemand mehr dazu sagen, und warum dieses Ding ununterbrochen bei mir herumlurcht?

SEMrush ist eine SEO-Firma aus den Staaten. Warum dich der Bot so gern hat, kann dir wohl nur die Firma dort beantworten.
Wenn dich das Ding wirklich stört, dann musst du ihn in der robot.txt aussperren.

To remove our bot from crawling your site for web graph of links simply insert the following lines to your "robots.txt" file:
User-agent: SemrushBot
Disallow: /
To remove our bot from crawling your site for different SEO and technical issues simply insert the following lines to your "robots.txt" file:
User-agent: SemrushBot-SA
Disallow: /

[Matt]

Im logfile steht bei den IPs, die ich auch aufgelistet habe, die also von dieser "Suchmaschine" benutzt werden immer:

Mich würde ja eher mal interessieren was da bei der IP mit dem Gast mit Admin-Referer steht. Also was war seine Einstiegsseite mit welchem Referer, was hat er sonst noch so besucht etc.

[Jossi]

@ BiDoubleU
Danke, ich frage mich halt auch was so ein SEO-Spion bei mir will. Ich warte mal ab, wenn das eine einmalige Sache ist solls mir egal sein. Wenn dieses Ding weiterhin ununterbrochen spidert und crawled, dann versuche ich es in der robot.txt auszusperren - Danke für den Tipp!

@ Matt
Die Logfile mit den Daten von heute bekomme ich erst morgen! Interessiert mich auch, aber vielleicht war es tatsächlich nur ein "Fehler" des HTTP Referers. Der "Gast" war keine Minute auf meiner Seite und hat sich auch danach nicht wieder sehen lassen. Die Seite die mir als Referer angezeigt wurde, war eine einmalige Bestellung von vor 2 Jahren. Ich beobachte das mal, aber ich versuche mich etwas locker zu machen, vielleicht war alles nur ein kurzer Spuk der Technologie.

Danke jedenfalls für die Ratschläge und Hinweise!

[Jossi]

Nur um diesen Thread abzuschließen: Die Vermutung von Matt scheint richtig zu sein.

Ich habe über einen längeren Zeitraum sämtliche IP-Adressen dieser Suchmaschine notiert und heraus kam, dass es sich überwiegend um folgende Provider handelte:

Provider: Googlebot / Region: Mountain View (US)
Provider: Microsoft bingbot (USA Kansas)
Provider: OVH Systems / Organisation: OVH SAS / France, Paris
Provider: Microsoft bingbot / Region: Beverly Hills (US)

Es scheint also, als stimme lediglich die Angabe der Startzeit nicht (Bug?) weil sich mehrere Suchmaschinen überschneiden oder/und gleichzeitig auf die Seite zugreifen.

Ich bin jetzt erst einmal beruhigt.

Danke