Indexierung obwohl Shop offline?!

[fishnet]

Moin,
ich bin gerade von einem Kunden darauf aufmerksam gemacht worden, das er unter "Wer ist online?" Besuch von Google und Amazon Bot hat - obwohl sein Shop auf "offline" steht.
Von dem Problem hab ich noch nie gehört, kann das jemand bestätigen?

Linkback: https://www.modified-shop.org/forum/index.php?topic=23892.0

[h-h-h]

Hallo Karsten,
eine Gegenfrage welche vermutlich auch die Antwort ist:
Welche Seite(n) besucht der Bot überhaupt?

Viele Grüße

h-h-h

[fishnet]

Die Bots besuchen die Produkt-Detailseiten.

[h-h-h]

Hallo Karsten,
das ist ganz normal, da in der application_top.php die xtc_update_whos_online() ausgeführt wird.
Und in der header.php wird die Shop-Offline Funktion durchgeführt, der Crawler bekommt also nichts zu sehen.
Das Problem dabei ist aber der inkorrekte Header an der Stelle, aber das ist ein anderes Thema.

Ein schönes Wochenende

h-h-h

[xxhappyxx]

Hallo zusammen,

ich habe das gerade mal getestet. Wenn der Shop offline ist, wird auch bei direkter Eingabe einer Produktseite auf die Offlinemeldung umgeleitet.

Gruß Thomas

[fishnet]

Hallo Karsten,
das ist ganz normal, da in der application_top.php die xtc_update_whos_online() ausgeführt wird.
Und in der header.php wird die Shop-Offline Funktion durchgeführt,

Ah, d.h. der Spider kann die Links einlesen, kommt aber nicht bis zum Content, richtig ?

[h-h-h]

Genau der bekommt nur die Shop-Offline Seite angezeigt.

[fishnet]

Nee dann hab ich es doch noch  nicht verstanden. Denn ich sehe ja unter Wer ist online nicht nur die IP Adresse, sondern auch die durch den Crawler zuletzt besuchte Seite: http://www.meinshop.de/Kategorie1/Meinprodukt1::77.html

[Folienschrift-Shop]

Genau den zuvor genannten Effekt habe ich ebenfalls mehrfach beobachtet. Obwohl mein (neuer) 1.06 Shop seit Wochen 'offline' steht und max. 10 Minuten bisher online war, wurden vom Googlebot bereits zahlreiche Artikel gespidert und sind bei Google nun ungewollt gelistet. Unter 'Wer ist online' kann ich trotz Offline-Status manchmal sehen, welche Bots welche Produkte gerade crawlen.

Edit: Die bei Google ungewollt gelisteten Einträge sind zwischenzeitlich wieder aus dem Verzeichnis gelöscht worden. Kann möglicherweise eine frühere Shop-Version den Bot-Zugriff trotz 'offline' erlaubt haben? Ich habe zunächst einen 1.05d Shop aufgesetzt (mit Security-Fix) und danach auf 1.06 upgegradet (was für ein Wort) und dann nacheinander - bei neuer Verfügbarkeit - die ganzen Betas eingespielt.

[web28]

ab 1.06 wird der Header bei Offline korrekt auf

Code: PHP  [Auswählen]

header("HTTP/1.1 503 Service Temporarily Unavailable");
header("Status: 503 Service Temporarily Unavailable");

gesetzt (includes/header.php)

[fishnet]

ok, hab ich mal im aktuellen Shop übernommen, danke