robots.txt: warum wird das Template verboten?

[Alfred]

Hallo,

die Seiten in dem Ordner werden doch nicht aufgerufen.
Der Shop holt die von dort.
Ob du den Ordner sperrst oder nicht ist egal.

Gruß

[noRiddle (revilonetz)]

Sicher ?, in den /mail- und /admin- Ordnern des Templates gibt's ja auch HTML-Dateien.
Ich muß aber zugeben, daß ich von der Arbeitsweise eines Suchmaschinen-Bots null Plan habe, deshalb die Frage vorhin.

Gruß,
noRiddle

[fishnet]

Der Suchmaschinen Bot guckt auf deinen Shop wie ein Mensch (Gast-Kunde). Die im Browser abrufbare Ansicht wird gerendert und an den Googleindex gesendet.

[noRiddle (revilonetz)]

Wenn dem so wäre müsste er (der Bot) ja keinen Zugriff auf /templates haben, der Mensch hat ja auch alle *.js und *.css Dateien im Browser geladen.
Das ist also nicht ganz so simpel anscheinend, oder ?

Gruß,
noRiddle

[voodoopupp]

Hallo,

gibt es hierzu nun eigentlich eine vernünftige Aussage, wie und was nun in Bezug auf das Template freugeben werden sollte? Bzw. was nun in der robots.txt genau enthalten/nicht enthalten sein sollte?

Grüße
Dominik

[Alfred]

Hallo Dominik,

Code: [Auswählen]

User-agent: *
Disallow:

Was nicht in den Index soll muss noindex bekommen.
Die robots.txt kann nur das crawlen verbieten aber nie das indexieren.
Daten die keinen etwas angehen gehören nicht auf den Webspace.

Gruß

[Bonsai]

Daten die keinen etwas angehen gehören nicht auf den Webspace.

Richtig!

Code: PHP  [Auswählen]

Disallow: senisitve_data

Bedeutet so viel wie:

Lieber Hacker, was Du suchst liegt im Ordner sensitve_data

[voodoopupp]

Hallo Bonsai,

dann nur mal als Frage an dich: wenn du die Meinung von Alfred teilst, warum ist dann z.B. bei dir der templates Ordner weiterhin auf Disallow?

Grüße
Dominik

[noRiddle (revilonetz)]

Gibt es hier zu dem Thema Disallow /templates/ eigentlich eine verlässliche Aussage die man auch belegen kann ?
Ist Alfreds Aussage so korrekt ?

...

Code: [Auswählen]

User-agent: *
Disallow:

Was nicht in den Index soll muss noindex bekommen.
Die robots.txt kann nur das crawlen verbieten aber nie das indexieren.
Daten die keinen etwas angehen gehören nicht auf den Webspace.

Gruß

Insofern sich Tante G. wirklich an die robots.txt hält, ist es doch außerdem sinnvoll wie es bisher war (ausgenommen das Thema Disallow /templates/), nämlich das Indexieren von Seiten wie /account.php, /account_edit.php, /account_history.php, usw.auszuschließen.

Gruß,
noRiddle

[Godzilla]

... das Indexieren von Seiten wie /account.php, /account_edit.php, /account_history.php, usw.auszuschließen.

Diese Seiten werden aber doch automatisch auf die login.php umgeleitet, weil der Bot kein eingeloggter Kunde ist.

[noRiddle (revilonetz)]

Da hast du Recht. Ich sollte Schluß machen für heute, ein leckeres Bierchen ruft.

Für /export/ und /import/ z.B wär's aber noch sinnvoll...

Gruß,
noRiddle

[Bonner]

Bonner

[fishnet]

Weil hier grad schon wieder so viele Anfragen bei mir aufschlagen, veröffentliche ich mal meine aktuelle robots.txt

Code: PHP  [Auswählen]

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /callback/
Disallow: /download/
Disallow: /export/
Disallow: /import/
Disallow: /inc/
Disallow: /includes/
Disallow: /lang/
Disallow: /media/
Disallow: /pub/
Disallow: /shopstat/
Disallow: /templates_c/
Disallow: /products_new.php
Disallow: /newsletter.php
Sitemap: http://www.deinedomain.de/sitemap1.xml

[piru]

Danke fishnet.
Vielleicht kannst du die Datei auch hier posten: Der Googlebot kann nicht auf CSS- und JS-Dateien auf example.com zugreifen

[Alfred]

[...]
Für /export/ und /import/ z.B wär's aber noch sinnvoll...
[...]

Nein.

Die Ordner sind doch vom Listing gesperrt durch die Konfiguration des Providers.
Das ist Standard heutzutage. Was soll da gecrawlt werden an Dateien die nicht bekannt sind?
Nur das crawlen kann eine robots.txt verbieten.

https://demo.modified-shop.org/tags/modified-2.00/robots.txt

Richtig sinnvoll wäre es wenn es bei Shops keine Standardordner gibt mit Standarddateien von Backups bis Importe.

Gruß