Hallo!
Ich habe den Shop meines Bruders soweit komplett eingerichtet. Die Suchmaschinen freundlichen URLs habe ich aktiviert und funktionieren auch (ich habe sie von ":::" auf "---" umgestellt).
Nun habe ich bei Google Webmastertools ein Konto angelegt und die Seite hinzugefügt. Die mit dem Shop erstellte sitemap.xml liegt im Hauptverzeichnis des Shops und wird von Google auch gefunden.
Aber ich bekomme immer wieder einen Crawlingfehler "403" (siehe Anhang)
Die robots.txt wird scheinbar erfolgreich geladen (siehe ebenfalls Anhang)
Habt ihr eine Idee wie dieser Fehler zustande kommt? Ich muss dazu sagen, bis zum 27.11. war der Shop noch auf offline gestellt, Google hatte zu der Zeit schon einen Crawlingversuch gemacht.
Gruß sKiLLeSS
[ Für Gäste sind keine Dateianhänge sichtbar ] [ Für Gäste sind keine Dateianhänge sichtbar ]
EDIT: In der mit dem Shop erstellte robots.txt fehlt eine Zeile, die Google Webmastertools standardmäßig bei der hauseigenen Erstellungsform vorhanden ist, und zwar das: "Allow: /"
Bisher dachte ich, dass durch die robots.txt erstmal alle Pfade erlaubt werden, bis auf die Ausnahmen die man durch "DISALLOW" hinzufügt. Muss man hier vielleicht generell ein "Allow: /" in die Datei einfügen?
Linkback: https://www.modified-shop.org/forum/index.php?topic=9678.0
