URL durch "robots.txt" eingeschränkt

[Martina]

Ich erhalte für fast alle seiten bei goole diese meldungen z.b. für diese seite

xyz....Einschulung:::35_41.html?XTCsid=6c1601b9565ddc43bced6d63ce2ef9aa
 Wo liegt denn das Problem???



Linkback: https://www.modified-shop.org/forum/index.php?topic=9372.0

[jannemann]

Hallo Martina,

welche Meldung erhälst du? Und wo erhälst du diese Meldung?
Meine Glaskugel ist bedingt durch die Jahreszeit morgens immer etwas beschlagen..  

Vielleicht meinst du ja auch den Eintrag in der robots.txt bezüglich der XTCsid? Das ist so gewollt und ist auch richtig so.

Schöne Grüße,
Jan

[Martina]

ich erhalte diese meldung bei google webmaster tools Crawling fehler

werden die seiten dann trotzdem im index etc. aufgenommen.
im moment rutsche ich immer tiefer bei google

mir ist schon klar das ich meine postion nicht halten konnte nachdem ich ein neues shop system habe, aber das es so krass nach unten geht nervt im moment schon

ich dachte jetzt das wäre vielleicht eine fehler Quelle

[jannemann]

Ich erhalte diese Meldung auch in den Google Webmastertools. Das ist aber ganz normal. Die Links hast du ja per robots.txt nicht zugelassen, ergo werden sie auch nicht indexiert.

Da hilft wohl nur eins: abwarten und Tee trinken. Alles wird gut.

[Martina]

und warum verbietet man dies

Code: [Auswählen]

Disallow: /*XTCsid

[jannemann]

Weil der Shop nur mittels der XTCsid weiß, dass Besucher Meyer drei Äpfel im Warenkorb hat, Besucher Schulze aber fünf Bananen und zehn Äpfel im Korb hat. Wenn du das aus deiner robots.txt Datei entfernst, dann indexiert Google sämtliche Links mit dieser einmaligen XTCsid.

Davon ist definitiv abzuraten.

[Tomcraft]

Nicht ganz richtig... das weiss der Shop auch durch einen Cookie, aber wenn die deaktiviert sind, dann wird es ohne Session schon komisch.

Grüße

Torsten

[DokuMan]

und warum verbietet man dies

Code: [Auswählen]

Disallow: /*XTCsid

Weil Google sonst folgendes in den Index aufnehmen würde:

Code: [Auswählen]

xyz....Einschulung:::35_41.html?XTCsid=121
xyz....Einschulung:::35_41.html?XTCsid=122
xyz....Einschulung:::35_41.html?XTCsid=123
usw...alles hätte laut Google den gleichen Inhalt und würde deshalb als "duplicate Content" gewertet und damit tendentiell komplett aus dem Index fliegen.

[Anonym]

Wenn du das aus deiner robots.txt Datei entfernst, dann indexiert Google sämtliche Links mit dieser einmaligen XTCsid.

Sorry, nein. Der Bot bekommt bei jedem Aufruf der Startseite eine neue XTCsid.
Es werden also endlos "neue" Seiten gefunden, die am Ende dann den DC produzieren.

@ALL
Gibt es die Funktion "Session-IDs für Bots vermeiden" eigentlich nicht in modified?
OSC hatte die noch...

Wenn nein dann sollte man generell auf Sessions in der Url verzichten und den User zu Cookies zwingen, sprich Admin => Erweiterte Konfiguration => Cookie Benutzung bevorzugen => True.

Es gibt zwar Bot's, die Session-ID's automatisch filtern nur Google ist AFAIK noch nicht so weit.
Wenn die Tante also die Urls nicht aus einer sitemap.xml bekommt findet sie die beim crawlen mit /*XTCsid auch nicht.

Gruß
 Kristian

[klasi61]

Weil Google sonst folgendes in den Index aufnehmen würde:

xyz....Einschulung:::35_41.html?XTCsid=121
xyz....Einschulung:::35_41.html?XTCsid=122
xyz....Einschulung:::35_41.html?XTCsid=123
usw...

alles hätte laut Google den gleichen Inhalt und würde deshalb als "duplicate Content" gewertet und damit tendentiell komplett aus dem Index fliegen.

Ich wundere mich zur Zeit, wamum ich nach anfänglich super guten Platzierungen plötzlich gänzlich von Google verbannt worden bin. Mein Shop ist modifiziert, Varianten werden als "eigenständige" Artikel in der Datenbank gehalten und unterhalb des Hauptartikels angezeigt. Um die Generierung der Varianten zu beschleunigen, werden dies über ein script erzeugt und dabei die description und shortdescription mitgenommen d.h. alle Varianten haben den selben Beschreibungstext wie der hauptartikel und somit sind ggf. bis zu 15 gleiche Artikelbeschreibungen in der Datenbank.
Kann das der Grund sein?

Gruß
Klaus