robots.txt nicht mehr aktuell

[speedy]

Jo, die lassen sich laufend nen neuen Blödsinn einfallen, deine Methode wäre sinnvoller
Hoffe zumindest das Google die Infos für Webmaster auf dem aktuellen Stand hält.

[DokuMan]

Interessant, werde das mit Unterverzeichnissen in der Doku noch klarstellen!

[speedy]

Guten Morgen,

ich habe mir gerade den trunk-r77 geladen und dann habe ich einen Unterschied zu meiner robots.txt festgestellt.

Folgender Eintrag kann gelöscht werden, da es diese Datei nicht mehr gibt:

Code: PHP  [Auswählen]

Disallow: /account_edit_process.php
 

Aber folgende Dateien (Einträge) fehlen in der robots.txt vom trunk, ist das richtig, dass man diese freigegeben muss um im Google Index zu landen ?

Code: PHP  [Auswählen]

Disallow: /cache/
Disallow: /images/
Disallow: /account_password.php
Disallow: /google_sitemap.php
Disallow: /newsletter.php
Disallow: /print_product_info.php
Disallow: /products_new.php
Disallow: /product_info.php
Disallow: /specials.php
 

[Tomcraft]

Das hat DokuMan geändert und entsprechend auch gleich in der Dokumantation angepasst.

Er kann sicher sagen was ihn dazu bewegt hat. =)

[DokuMan]

Hallo Speedy,
danke fürs double-checking. Ich werd langsam beriebsblind...

Zumindest folgende Seiten sind diskussionswürdig:

Code: PHP  [Auswählen]

Disallow: /print_product_info.php
Disallow: /products_new.php
Disallow: /product_info.php
Disallow: /specials.php  

"specials.php" beinhaltet ja die Sonderangebote, und "products_new.php" die neuen Artikel, warum sollte man diese sperren (vielleicht wegen duplicate content?).
"print_product_info.php" könnte allerdings wirklich duplicate content erzeugen, (also wieder rein damit).

Bei der "product_info.php" weiß ich nicht, ob ALLE(?) Produkte dann nicht ganz aus dem Index fliegen, schließlich werden diese (ohne shopstat URLs) folgendermaßen aufgerufen:

Code: PHP  [Auswählen]

shopdomain.com/product_info.php?products_id=1
shopdomain.com/product_info.php?products_id=2

Oder ist das für Google und co was anderes?

Wie ist eure Meinung hierzu?
Ich denke hier steht fast zuviel drin, die "shop_content.php" hat doch da drin auch nichts verloren, oder?
Die "images" könnte Google für die Bildersuche hingegen doch ruhig spidern, oder?

[speedy]

Hallo DokuMan,

was die product_info.php angeht kann ich nur von meinem System mit DirectURL sprechen.
Inzwischen hat Google einige Produkt-, Kategorie und Content-Seiten indexiert obwohl ich folgendes drin habe.

Code: PHP  [Auswählen]

Disallow: /product_info.php
Disallow: /shop_content.php
 

Ausschlaggebend ist also nicht wie das intern gehandelt wird, sondern das was im Browser steht sieht auch Google.
Der Google Bot hätte natürlich die product_info.php Links auch noch gerne, doch dann würde man wohl später wegen Duplicate Content abgestraft werden.

Wegen der print_product_info.php dachte ich mir, die Druckseiten wären wieder doppelt und ehrlich gesagt möchte ich nicht, dass ein Kunde auf den weniger attraktiven Druckseiten landet.

Disallow: /products_new.php und Disallow: /specials.php sollte man wohl wirklich drin lassen, dachte erst das wird auch "SUMA-HTML-Link" optimiert

Mit shop_content.php kann ich jetzt auch meine Erfahrung einbringen.
Bei DirectURL werden die Content Links durch statische Link ersetzt, also URLs mit shop_content.php gibts nicht mehr im Browser. Da Google nur das sieht was User sieht, kann man das gesperrt lassen. Ist bei mir gesperrt und trotzdem im Index.

Die account_password.php habe ich bei mir auch gesperrt, da da auch kein Content ist für Google.

Schöne Grüße