robots.txt nicht erreichbar

[Herbert23]

Hallo,

eben ist mir aufgefallen, dass im Webmastertool unter Crawlingfehler wenn man mit der Maus über "Abruf von robots.txt" fährt folgendes erscheint:

Der Googlebot konnte nicht auf Ihre "robots.txt"-Datei zugreifen und hat das Crawling Ihrer Website vorsichtshalber verschoben, damit auf keinen Fall nicht zugelassene Seiten gecrawlt werden.

Der Haken daneben ist aber grün.

Also die Datei existiert und man kann auch auf die zugreifen. Was will er mir aber sagen?

Linkback: https://www.modified-shop.org/forum/index.php?topic=26606.0

[JZ_Aqua]

Hallo
Du kannst Deine robots.txt auf Syntaxfehler checken lassen, so hast Du einen ersten Anhaltspunkt:
http://tool.motoricerca.info/robots-checker.phtml

[Alfred]

Also die Datei existiert und man kann auch auf die zugreifen. Was will er mir aber sagen?

Hallo,

Googlebot muss zugreifen können damit bei Google deine Seiten im Index sind.
Wenn der nicht mehr an die robots.txt dran kommt fallen deine Seiten nach und nach raus.

Gruß

[Simon]

Ist der Shop in einem Unterverzeichnis installiert ?
Wenn ja, muss die Datei mit angepassten Pfaden ins Domain-Root.
Also nicht /shop - sondern direkt nach /
In der robots.txt dann aber überall

Code: PHP  [Auswählen]

Disallow: /shop/admin/

usw.

[Herbert23]

nein er ist nicht in einem Unterverzeichnis installiert. Direkt auf der Domain.

über den Browser kann ich die Datei auch aufrufen?

[Alfred]

Hallo,

ja, über den Browser kann man die aufrufen.
Nur auch wenn du zugreifen kannst bedeutet das nicht das Google es kann.
Es gibt da die wildesten Fehlermöglichkeiten.
Teste den Abruf über Google-Webmastertools.

Gruß