robots.txt: warum wird das Template verboten?

[Jürgen]

@fishnet

Habe das mal mit meiner verglichen...

Aber...

Disallow: /products_new.php

Welchen Hintergrund hat diese Zeile?

Gruss

[Fakrae]

Es verhindert duplicate-content, wenn der selbe Artikel auf zwei Seiten erreichbar ist (normal und über "neue Produkte")

[noRiddle (revilonetz)]

Für /export/ und /import/ z.B wär's aber noch sinnvoll...

Nein.

Die Ordner sind doch vom Listing gesperrt durch die Konfiguration des Providers.
Das ist Standard heutzutage. Was soll da gecrawlt werden an Dateien die nicht bekannt sind?
Nur das crawlen kann eine robots.txt verbieten.

https://demo.modified-shop.org/tags/modified-2.00/robots.txt

Richtig sinnvoll wäre es wenn es bei Shops keine Standardordner gibt mit Standarddateien von Backups bis Importe.

Gruß

Was meinst du mit "Die Ordner sind doch vom Listing gesperrt durch die Konfiguration des Providers." ?
Falls du Options All -Indexes meinst, das dürfte auf Verzeichnisse mit Rechten 777 nicht zutreffen.

"Was soll da gecrawlt werden an Dateien die nicht bekannt sind?" ist allerdings nachvollziehbar.

Off topic:
Alfred, ich schrieb es schon an anderer Stelle. Würdest du dich bitte mal bei mir melden ?
Merci.

Gruß,
noRiddle