Wenn ihr das Crawling einiger dieser Dateien nicht gestattet oder wenn sie über einen Server eines Drittanbieters eingebettet werden, der das Crawling durch den Googlebot unterbindet, können wir euch die Dateien nicht in der gerenderten Ansicht zeigen.
Das heißt nur, dass es "nicht in der gerenderten Ansicht"
angezeigt wird, nicht mehr und nicht weniger.
Das heißt nicht, Google kann es nicht.
Oder anders, das heißt nur, Google zeigt es euch einfach nicht, obwohl er es trotzdem analysiert.
Oder glaubt jemand im ernst, Google interessiert es wirklich was man in die
robots.txt schreibt.
Ich meine, klar hält er sich daran, wenn um Seiten geht die man nicht im Index haben will.
Aber für SEINE internen Analysen, wird er sich wohl kaum etwas vorschreiben lassen.
Wenn das so wäre hätten die Spammer ein leichtes Spiel.
Es ist doch ganz einfach, alles was man als normaler Benutzer sieht, sieht (und analysiert) auch Google.
...auch wenn er selber manchmal behauptet er könne es nicht, wie z.B. mit diesem Satz (
Quelle)
Wenn Ressourcen wie JavaScript oder CSS in separaten Dateien blockiert werden, z. B. in robots.txt, damit der Googlebot sie nicht abrufen kann, kann unser Indexierungssystem eure Websites nicht wie ein normaler Nutzer abrufen.
joo klar.
Wenn sie wenigstens geschrieben hätten
blockiert werden ... über die .htaccess
dann ist es klar, aber
blockiert werden ... über die robots.txt
ist doch lächerlich, zu sagen man könne es nicht abrufen.
Gruß
