Google Analytics URL-Suchparameter ausschließen

[Simon]

Hallo,

in Google Analytics gibt es die Möglichkeit "URL-Suchparameter" auszuschließen.
Als Beispiele werden genannt: "sid", "sessionId" oder "vid"

Wäre das nicht besser als in der robots.txt diese Einträge:

Code: PHP  [Auswählen]

Disallow: /*XTCsid*
Disallow: /*action=

Können die Einträge in der robots.txt nicht verhindern, dass wichtige Seiten indexiert werden ?

Linkback: https://www.modified-shop.org/forum/index.php?topic=22725.0

[Alfred]

Hallo,

Analytics hat nichts direkt mit der Indexierung von Seiten zu tun.
Es ist eine Analysesoftware.

Gruß

[Simon]

Stimmt, danke Alfred war falsch gedacht.
Hat es denn Sinn, die Parameter aus der robots.txt dort einzutragen.
Aber wenn es nicht indexiert wird, dann bleibt auch nichts übrig um es in der Statistik aus der Url zu bereinigen.

Welchen Zweck hat das dann ?
Session-URLs lässt doch niemand indexieren.

[Alfred]

Hat es denn Sinn, die Parameter aus der robots.txt dort einzutragen.

Hallo,

es macht keinen Sinn die Zeilen in der robots.txt zu haben.
Man muss nur dafür sorgen das die nicht mit in den Index kommen.
Sind die raus braucht man da nichts bei Analytics eintragen.
Mit http://goo.gl/3lEmW kannst du das prüfen.

Gruß

[Simon]

Wie kann man ohne robots.txt dafür sorgen, dass diese Session-URLs nicht in den Index kommen ?
Ich sehe bis 1.05d waren diese beiden Zeilen in der robots.txt

Code: PHP  [Auswählen]

Disallow: /*XTCsid*
Disallow: /*action=

und noch viele andere (insgesamt 61).

Ab 1.06 sind es nur noch 15 Zeilen ohne die XTCsid .
Im Trunk sind es auch noch über 64 Zeilen. Verstehe ich jetzt nicht, warum der Trunk hier wieder veraltet ist.

[Alfred]

Hallo,

wenn es nach mir ginge wären alle diese Zeilen raus und es stände nur noch ein Disallow:   in Zeile2 drin.
Mit der robots.txt verhindert man nur das crawlen aber nicht die Indexierung.

Gruß

[Simon]

Aber wie verhindert man es ohne robots.txt, Alfred ? 
Die Session URLs sollen doch nicht in den Index, oder ?

Das wäre die robots.txt ab 1.06

Code: PHP  [Auswählen]

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /callback/
Disallow: /download/
Disallow: /export/
Disallow: /import/
Disallow: /inc/
Disallow: /includes/
Disallow: /lang/
Disallow: /media/
Disallow: /pub/
Disallow: /shopstat/
Disallow: /templates/
Disallow: /templates_c/
 

[Alfred]

Hallo,

es gibt da die Einstellungen beim Shop und canonical wirst du ja eingebaut haben.

Gruß

[Simon]

Ja, "Spider Sessions vermeiden?" unter Meta-Tags/Suchmaschinen habe ich aktiviert.
Canoncial Tags ist auch drin.

Danke für die Tipps

[LED-Profi]

Ich sehe bis 1.05d waren diese beiden Zeilen in der robots.txt

Code: PHP  [Auswählen]

Disallow: /*XTCsid*
Disallow: /*action=

und noch viele andere (insgesamt 61).

Ab 1.06 sind es nur noch 15 Zeilen ohne die XTCsid .

Genau, das hab ich heute auch festgestellt.
Plötzlich meldete mir nach dem update auf 1.06 Google Webmastertool über 260 -"404-Fehler".
Hab dann festgestellt:
Über 90% mit XTCsid und MODsid.
Da war doch was. Hatte ich doch mal in der Robots vor langem auf Disallow gesetzt.

Siehe da, die Robots.txt ist kürzer geworden.

Nun hab ich die Robots.txt wieder um diese Zeilen ergänzt:
Disallow: /*XTCsid
Disallow: /*MODsid

Und erwarte mir wieder eine aufgeräumte Liste.
Vielleicht kann jemand von den Experten meine Vorgehensweise bestätigen.

Grüße,
Tom

[Alfred]

Da war doch was. Hatte ich doch mal in der Robots vor langem auf Disallow gesetzt.
Siehe da, die Robots.txt ist kürzer geworden.

Nun hab ich die Robots.txt wieder um diese Zeilen ergänzt:
Disallow: /*XTCsid
Disallow: /*MODsid

Hallo,

und das ist falsch.
Eine robots.txt verbietet das crawlen aber nicht das indexieren.

Bei ersten Aufruf bekommt auch Google eine Sessionid.
Es ist eine neue Seite....erst mal in den Index aufnehmen....
Aber es bleibt nicht bei der einen Seite.

Canonical, was ja bei dir eingebaut ist, fängt so etwas ab.
Aber nur wenn Google crawlen darf bereinigt sich so etwas automatisch.

Alleine die Startseite des deines Shops kennt Google 861 mal.
Man nennt das Duplicate Content und der ist schlecht fürs Ranking.
Von den 2360 Seiten die Google kennt sind 2300 überflüssig und sollten raus bei Google.

In deiner robots.txt sind noch andere überflüssige Zeilen drin.
Was nicht in den Index soll muß beim Aufruf ein noindex im Robots-Meta-Tag haben.
Eine falsche robots.txt ist immer gerne eine Steilvorlage für "böse Buben".
Da sollte wenig bis gar nichts drin sein.

Wenn Google dir 404 meldet dann ist das soweit ok wenn die Seiten nicht mehr existieren.
Dies Listen sind oft mehr als Hinweise zu sehen. Es kommt da halt auf den Link an.

Gruß

[LED-Profi]

Hallo Alfred,

danke fürs Drüberschauen.
Hab die Robots.txt wieder geändert und warte nun mal ab.

Dann hab ich mit meinem Laienverständnis versucht deine weiteren Aussagen zu begreifen.
Canonical könnt ich niemand erklären, ist wohl eine clever Kennzeichnungsroutine um doublecontent zu vermeiden.

Hab eben mal googlewebmaster gecheckt.
Es sind einige double content (57 doppelte metagdescr/49 doppelte title tags), wie z.B.

Exclusive LED-Lampen in Premium-Qualität von Markenherstellern. Für anspruchsvolle Anwendungen.
/:::67.html
/Premium-Qualitaet:::67:2.html
/Premium-Qualitaet:::67:3.html
/Premium-Qualituet:::67.html
Wie verhindere ich hier diese Fehlermeldung ?
Hier noch der volle Link von dieser Beispielseite:
http://www.ledclusive.de/Premium-Qualituet:::67.html

Mein SEOQuake sagt mir 2140, wird also wohl schon weniger.

Was ist denn robots.txt noch überflüssig drin? Hab die chinesische Suchmaschine ausgesperrt.

Und hier weiss ich gar nicht, was zu tun ist:
Dein Zitat: "Was nicht in den Index soll muß beim Aufruf ein noindex im Robots-Meta-Tag haben."

Wo setze ich das "noindex".  Ich hab eine Einstellung im Shop gefunden unter "erweiterte Einstell. - Meta-Tags/Suma" Nennt sicht robots.  Dort steht index,follow.
Aber wenn ich das auf noindex setze wird doch nichts mehr indiziert.

Stellvorlage für böse Buben -?? meinst, weil dann die URL-Struktur zu erkennen ist ?

Würde mich freuen, wenn du mir da noch etwas LED-Licht ins Dunkel bringen könntest.
vielen Dank,
Tom

[Alfred]

Hab eben mal googlewebmaster gecheckt.
:::67.html
/Premium-Qualitaet:::67:2.html
/Premium-Qualitaet:::67:3.html
/Premium-Qualituet:::67.html
Wie verhindere ich hier diese Fehlermeldung ?

Die kannst du ignorieren. Im Shop bei dir ist canonical drin.
Es war mal nicht drin und jetzt dauert es bis Google ihre Seiten anpasst.

Was ist denn robots.txt noch überflüssig drin? Hab die chinesische Suchmaschine ausgesperrt.
Und hier weiss ich gar nicht, was zu tun ist:
Dein Zitat: "Was nicht in den Index soll muß beim Aufruf ein noindex im Robots-Meta-Tag haben."

Dein Impressum soll scheinbar  nicht in den Index.
Deshalb hast du es in der robots.txt.
Das ist falsch weil im Quelltext der Seite <meta name="robots" content="index,follow" /> steht.

Aber wenn ich das auf noindex setze wird doch nichts mehr indiziert.

Nein, dort im Shop sollst du nichts ändern. Das wäre fatal.
In der metatags.php werden unwichtige Seiten und deren Behandlung eingestellt.

Stellvorlage für böse Buben -?? meinst, weil dann die URL-Struktur zu erkennen ist ?

Es soll Leute geben die in der robots.txt z.B. das haben ohne PW-Schutz.
Disallow: /phpmyadmin/

Gruß

[LED-Profi]

Hallo Alfred,

danke für deine Ausführungen.
Nun ist fast alles klar. Dann hingen die vielen (> 230 Crawlingfehler) wohl mit der Umstellung von 1.05 auf 1.06 zusammen.
Inzwischen hat sich die Zahl auf ca. 70 reduziert. War jedoch früher auf kleiner 10. Werde ich mal weiter am Rande beobachten.

Das mit der Indizierung macht mir jedoch noch zu schaffen.
Die Widerrufsseite zeigt sich mit "noindex, follow, noodp".
Alle anderen (Impressum, AGB, Datenschutz, Versandbedingungen) jedoch sind auf "index,follow".
Die robots.txt ist default für alle diese Seiten ohne Unterschiede auf "disallow" gestellt.

Wo genau stelle ich das denn ein ?

Beim Recherchieren bin ich auf die metatags.php gestossen. Dabei dann meinen Backup nach dieser Datei gesucht. da ich nicht wusste, wo die liegen soll. Dann festgestellt, dass diese unter /includes zu finden ist.  Filezilla zeigt diese auf dem Server leider nicht. Hab die Sicherung dann dort nochmal hinkopiert. Hat aber nichts gebracht.

Alle ausser der Widerrufsseite sind online mit "index, follow".
Bin nun wieder mit meinem Latein am Ende.
Und das mit der verschwundenen metatags.php kann ich mir auch nicht erklären.

[Alfred]

Hallo,

die Datei ist in /includes/modules

Gruß