Antwort #1 am: 29. Oktober 2014, 11:15:23
OT
Ja was denn nun,
Folgendes,
...dem Googlebot Zugriff auf die Javascript-, CSS- und Bilddateien zu gewähren. Grund ist, dass das „Indexierungssystem Webseiten wie ein typischer moderner Browser darstellt“
widerspricht aber der Logik dessen,
Sie sollten ihre robots.txt-Dateien überprüfen, um sicherzustellen, dass sie diese Dateien nicht für den Googlebot ausgeschlossen haben.
Denn wenn das „Indexierungssystem“ Webseiten wie ein "typischer moderner Browser" behandelt, ist es eigentlich egal was in der "robots.txt" steht.
Denn ich kenne ehrlich gesagt keinen "Browser" (woran sich das „Indexierungssystem“ ja jetzt orientiert) der die "robots.txt" beachtet.
Gruß