robots.txt: warum wird das Template verboten?

[fishnet]

Hi,
ich wollte hier mal eine Diskussion vom Zaun brechen, warum eigentlich in der Robots.txt der Zugriff auf den Template Ordner verboten wird. Kann jemand dafür einen triftigen Grund nennen ?

Disallow: /templates/

Gruß
Karsten

Linkback: https://www.modified-shop.org/forum/index.php?topic=30871.0

[Alfred]

Hallo,

weil das halt noch so ist... rein geschichtlich bedingt.
Du kannst die Zeile löschen.

Gruß

[fishnet]

Okay, dann frage ich andersherum.
Welche Zeilen in der robots.txt haben einen Sinn und welche sind rein geschichtlich bedingt ?

[jelem]

Dieses Thema interessiert mich auch.
Wenn ich neue Artikel anlege nutze ich Google Webmastertools und dort die Funktion "Abruf wie durch Google" und "an den Index" senden.
Da aber der Template-ordner per robots gesperrt ist bleibt der Status dort auf "Teilweise" anstatt (wie bei statischen Seiten meiner Site) auf "Abgeschlossen".
Keine Ahnung ob das irgendwelche Nachteile haben könnte. Immerhin bewertet Google ja auch was im sichtbaren Bereich einer Seite angezeigt wird und was nicht. Und ohne Zugriff auf den Template-Ordner... 

[Alfred]

Welche Zeilen in der robots.txt haben einen Sinn

Code: PHP  [Auswählen]

User-agent: *
Disallow:

Das im Normalfall.
Die robots.txt ist auch eine Informationsquelle für "was ist denn so da bei dem Shop".
Sie kann ein Sicherheitsproblem sein.

Gruß

[noRiddle (revilonetz)]

Wer klärt mich denn mal darüber auf was eine Suchmaschine mit dem Template-Ordner anfangen soll, bzw. was sie da zu suchen hat ?
Bei einer dynamisch zusammengesetzten Seite benötigt die Suchmaschine die index.php/(~.html) und die anderen Hauptseiten aber nicht die Hilfsdateien.

Gruß,
noRiddle

[fishnet]

Code: PHP  [Auswählen]

User-agent: *
Disallow:

Das im Normalfall.

Kann ich mir so nicht vorstellen, denn sonst hätte das Modified Team die restlichen Zeilen längst gelöscht.
Ich erinnere mich auch dunkel, das so in Höhe 1.02 oder 1.03 die robots.txt überarbeitet wurde, ich weiß nur nicht von welchem Teammitglied und was es sich dabei gedacht hat.
NoRiddle: erstmal soviel, mir liegt grob die Information eines bekannten SEO Anbieters vor, das die modified Robots.txt hinderlich ist, leider bin ich noch nicht dazu gekommen, mich um mehr Infos zu kümmern.

[noRiddle (revilonetz)]

Schade, daß der "bekannte SEO-Anbieter" keinen genauen Grund genannt hat.
Ich kann nicht sehen warum der Template-Ordner wichtig sein sollte.
Aber wer bin ich, zumindest kein SEO-Fachmann.

Gruß,
noRiddle

[fishnet]

Doch, hat er schon. Ich komme nur nicht zum Lesen. Auszug:

Rendern funktioniert nur teilweise. Für Google wurden die CSS und JavaScript-Dateien gesperrt. Das kann sich negativ im Ranking auswirken. Warum werden die Dateien gesperrt?

Hingewiesen wird auch auf die Funktion "Abruf wie durch Google". Hier kann man sehen, wie der GoogleBot die Seite aufruft - nämlich komplett ohne Struktur und Bilder.

[jelem]

...genau Das hatte ich ja oben bereits angemerkt.

[noRiddle (revilonetz)]

Okay, wußte nicht daß für eine Suchmaschine CSS wichtig ist, Javascript, mmh, könnte ich mir zumindest denken.
Dann ist das ja wirklich ein Argument,
wobei ich nicht wußte, daß eine Suchmaschine nicht den Links in den implementierten CSS- und Javascript-Dateien folgt (folgen kann ?), sie kann doch den Quelltext lesen ?

Gruß,
noRiddle

[HaldOn]

- bitte löschen -

[fishnet]

So, nun bekomme ich nach dem Rendern nur noch 2 Fehler, die sich darauf beziehen, das der Google Bot das Google Conversion Zählpixel nicht lesen konnte  damit kann ich leben.

Kann also nur empfehlen, das template aus der robots.txt zu entfernen.

[noRiddle (revilonetz)]

Verstehe den Hintergrund immer noch nicht (siehe meine vorstehenden Argumente ).
Kann der Bot den Links zu den CSS- und Javascript-Dateien im Quelltext nicht folgen ?
Was genau ist das Problem ?
Was hast du geändert ?

Im übrigen enthält der Template-Ordner ja noch eine htaccess die auf alle *.html und *.php-Dateien den Zugriff verbietet, sodaß die robots.txt des Eintrages Disallow: /templates/ ohnehin eigentlich nicht bedürfte.
Was verstehe ich nicht ?

Gruß,
noRiddle

[jelem]

Hier geht es zwar im mobile.....ist aber ähnlich denke ich.
http://www.feedthebot.com/mobile/external-resource-blocking.html

Und:

Wenn ihr das Crawling einiger dieser Dateien nicht gestattet oder wenn sie über einen Server eines Drittanbieters eingebettet werden, der das Crawling durch den Googlebot unterbindet, können wir euch die Dateien nicht in der gerenderten Ansicht zeigen.

http://googlewebmastercentral-de.blogspot.de/2014/05/seiten-mit-abruf-wie-durch-google-rendern.html