robots.txt nicht mehr aktuell

[speedy]

Guten Abend,

mir ist gerade aufgefallen, dass die robots.txt in der Modified und das Beispiel im Anwenderhandbuch v2.5 von DokuMan nicht mehr aktuell sind.
Es sind einige Dateien dabei, die es nicht mehr gibt oder die jetzt anders heissen.

Ich habe mir einmal die Mühe gemacht eine Directory Listing umzuarbeiten.

Jetzt bräuchte ich nur noch bitte die Hilfe von jemandem, der weiß was man außer der index.php für Suchmaschinen freigeben muss.
Wenn wir diese Zeilen dann rauslöschen würden, hätten wir eine neue aktuelle Version für die modified und für das Handbuch.

Viele Grüße



Linkback: https://www.modified-shop.org/forum/index.php?topic=909.0

[Tomcraft]

mhhhhh... wundert mich und ist mir ehrlich gesagt in der Form noch gar nicht aufgefallen, wird aber sicherlich von DokuMan gefixt, wenn er es auf seiner Liste hat. =)

[DokuMan]

Vielen Dank, Speedy!
Ich werde die robots.txt entsprechend anpassen. (Das Handbuch bezieht sich offiziell auf die xtc 3.0.4 SP2.1 Version)

Bist du dir beim Eintrag

Code: SQL  [Auswählen]

Disallow: /* ? sessionid

sicher? Vor allem was die Leerzeichen angeht?

[Tomcraft]

Das scheint in der modified historisch gewachsen zu sein, aber scheint überflüssig, da ersetzt durch ?XTCsid

[speedy]

Hallo DokuMan,

bei dieser Zeile war ich mir auch immer unsicher, habe es dann zur Sicherheit stehen gelassen. Habe gerade noch etwas gegoogelt, also am häufigsten findet man die Variante ohne Leerzeichen. Wenn, dann würde ichs deshalb so schreiben:

Code: PHP  [Auswählen]

Disallow: /*?sessionid

Glaube jedoch das Tomcraft richtig liegt, kenne auch nur die Variante "?XTCsid" - könnte doch noch ein letztes Relikt sein

[DokuMan]

Ich denke die "sessionid" selbst ist auch schon überholt. Bei xtCommerce heißt das essionküzel immer "XTCsid"

[Tomcraft]

meine Rede...

[speedy]

Was evtl. auch noch ein Thema für das Handbuch wäre, evtl. auch für die modified, wäre ein Hinweis wie man die robots.txt einsetzt, wenn der Shop in einem Unterverzeichnis installiert wurde.

1.) robots.txt muss dann ins Domain-Root (/) und nicht ins Shop-Root (z.B. /shop)
2.) Die Einträge der robots.txt muss man dann umschreiben, scheinbar so:

Code: PHP  [Auswählen]

Disallow: /shop/*?XTCsid
Disallow: /shop/*&XTCsid
Disallow: /shop/admin/
...
Disallow: /shop/account.php
...

Sicher bin ich mir aber bei den zwei Session-Zeilen nicht so 100%ig. Glaub es gibt bestimmt einige, die die robots.txt fälschlicherweise ins Unterzeichnis (Shop-Root) legen, dort ignorieren es die Spider jedoch

[Tomcraft]

Nein speedy, das stimmt so nicht. Auch in diesem Fall blöeibt die robots.txt im Shop-Root und unverändert. Die robots.txt greift dann aber erst ab dem Shop-Root. Die Verzeichnisse darüber (z.B. ein Wordpress oder ähnliches) haben dann ihre eigene robots.txt.

[DokuMan]

So, die neue Version ist jetzt im SVN aktiv, sowie hier als Anhang.

[Tomcraft]

Sehr gut DokuMan, das gefällt mir richtig gut, was ich da im trunk sehe, schön dokumentiert. =)

[speedy]

Danke Tom und DokuMan.

hmm @Unterverzeichnis
Habe gestern extra gegoogelt dazu, war u.a. dann ein Beitrag im xtc-Forum und da hieß es jedoch von einem User, dass man immer alles ins Domain-Root legen muss.
Wenn das anders doch auch geht und die Suchmaschinen es dann beachten, wäre es natürlich besser, da einfacher zu handhaben.

[Tomcraft]

Also meinees Wissens nach erkennt ein Spider in JEDEM Verzeichnis eine robots.txt und hangelt sich von dort aus in die erlaubten Unterverzeichnisse solange, bis er dort wieder eine robots.txt erkennt, die ihm weiteres spidern unterbindet.

[speedy]

Also der User in dem Forum hatte wohl Recht, Tom guck mal unter 6.
http://www.google.com/support/webmasters/bin/answer.py?hl=de&answer=83098

[Tomcraft]

Man lernt nie aus, aber Google lässt sich aber auch öfters mal was neues einfallen, z.B. die Berechnung des PR.