Crawling-Fehler Google Webmasters, robots.txt

[RedXx]

Hallo Leute,

ich habe heute zum gesehen, das Google evtl. 1.800 Einzelseiten meines Shops nicht indexieren kann.
Als Grund steht durch "robots.txt" gesperrt bzw. eingeschränkt. Ich nutze den modified eCommerce Shopsoftware 1.03 und habe die "robots.txt" nie geändert. Könnte sich das bitte mal jemand ansehen?
Ich habe die erste Crawling-Fehlerseite mal angehängt.

So schaut meine "robots.txt" aus:

Code: [Auswählen]

User-agent: *
Disallow: /*XTCsid
Disallow: /*action=
Disallow: /admin/
Disallow: /cache/
Disallow: /callback/
Disallow: /download/
Disallow: /export/
Disallow: /import/
Disallow: /inc/
Disallow: /includes/
Disallow: /lang/
Disallow: /media/
Disallow: /pub/
Disallow: /shopstat/
Disallow: /templates/
Disallow: /templates_c/
Disallow: /account.php
Disallow: /account_edit.php
Disallow: /account_history.php
Disallow: /account_history_info.php
Disallow: /account_password.php
Disallow: /address_book.php
Disallow: /address_book_process.php
Disallow: /advanced_search.php
Disallow: /advanced_search_result.php
Disallow: /checkout_confirmation.php
Disallow: /checkout_iclear.php
Disallow: /checkout_payment.php
Disallow: /checkout_payment_address.php
Disallow: /checkout_process.php
Disallow: /checkout_shipping.php
Disallow: /checkout_shipping_address.php
Disallow: /checkout_success.php
Disallow: /cookie_usage.php
Disallow: /create_account.php
Disallow: /create_guest_account.php
Disallow: /display_vvcodes.php
Disallow: /download.php
Disallow: /google_sitemap.php
Disallow: /gv_redeem.php
Disallow: /gv_send.php
Disallow: /login.php
Disallow: /logoff.php
Disallow: /newsletter.php
Disallow: /password_double_opt.php
Disallow: /popup_coupon_help.php
Disallow: /popup_cvv.php
Disallow: /popup_image.php
Disallow: /popup_search_help.php
Disallow: /print_order.php
Disallow: /print_product_info.php
Disallow: /product_reviews.php
Disallow: /product_reviews_info.php
Disallow: /product_reviews_write.php
Disallow: /reviews.php
Disallow: /send_order.php
Disallow: /shopping_cart.php
Disallow: /sofortueberweisung_abort.php
Disallow: /sofortueberweisung_checkout_success.php
Disallow: /sofortueberweisung_tracking.php
Disallow: /ssl_check.php
Disallow: /wpcallback.php
Disallow: /wsdl_iclear_order.php
Beste Grüße,
RedxX



Linkback: https://www.modified-shop.org/forum/index.php?topic=13318.0

[Tomcraft]

Das gehört nicht nach "Bugs oder Funktionsfehler", daher verschoben nach "Admin- und Shopbereich".

Grüße

Torsten

[RedXx]

Ich habe mir die gesamte Fehlerliste mal angesehen und nicht gecrawlt werden natürlich die Druckseiten wie das ja auch in der "robots.txt" eingestellt wurde. Aber was mir auffällt, es werden diverse Kategorien gar nicht gecrawlt.
Egal ob Haupt oder Unterkategorien, was auch noch auffällt meine Versandkostenseite oder Privatsphäre und Datenschutz stehen da auch drin. Eigentlich fand ich fast alle was ich als Content in der Mehr über Box angelegt habe. Was ich nicht finde sind z.B: Produktdetailseiten damit scheint es keine Probleme zu geben.

Kann mir bitte jemand helfen... die Hälfte der Crawlingfehler sind Printseiten, aber die andere Hälfte verstehe ich nicht. Ich finde da keinen Zusammenhang mit der "robots.txt".

Grüße RedxX

[Tomcraft]

Siehe dazu: Druckansicht im Google Index trotz Disallow: /print_product_info.php

Grüße

Torsten

[RedXx]

Meine Druckseiten sind ja nicht indexiert und da arbeitet die "robots.txt" ja richtig. Es geht um die anderen ca. 900 Seiten wie z.B. Kategorien oder Unterkategorien auch Versandkosten, Datenschutz oder meine Bannerseite kann angeblich wegen der "robots.txt" nicht gecrawlt werden.

[RedXx]

Jetzt verstehe ich gar nichts mehr, wozu sagt mir das Google Tool, dass all diese Kategorien nicht in den Index aufgenommen werden können, weil die "robots.txt" da nicht mitspielt? Nach eigenen Suchen bei Google finde ich aber all diese Kategorieseiten bei Google? Wozu dann die Crawling-Fehlermeldungen?

[Tomcraft]

[...] Nach eigenen Suchen bei Google finde ich aber all diese Kategorieseiten bei Google? Wozu dann die Crawling-Fehlermeldungen?

Das solltest du vielleicht in den Google Groups mal fragen, wir können hier nicht alle Fragen beantworten.

Grüße

Torsten

[bluerate]

Hallo Zusammen
Für den Shop den ich betreue benutze ich modified eCommerce Shopsoftware 1.05 und die dazugehörende "robots.txt" in der ich den Zugriff auf die "specials.php" mit

Code: PHP  [Auswählen]

Disallow: /specials.php

eingeschränkt habe.

In den Google Webmaster Tools werden mir unter der Rubrik Crawling-Fehler 25.647 URLs angezeigt die durch die "robots.txt" gesperrt sind. Es handelt sich dabei vor allem um URLs mit angehängter Session-IDs z.B. meinedomain.de/Kategorie/Unterkategorie. Wieso sind diese URLs in solch einer Menge vorhanden? Wie kann ich diese Anzahl reduzieren?

Danke für Eure Anteilnahme und evtl. Lösungsvorschläge.

[Olinew]

[...]Wie kann ich diese Anzahl reduzieren?
[...]

Stichwort: canonical

Gruß
Oli

[DokuMan]

Und im Adminbereich unter "Erweiterte Konfiguration" -> "Meta-Tags/Suchmaschinen" -> "Spider Sessions vermeiden" aktivieren.

[bluerate]

Danke für Eure Tipps. Ich möchte noch die folgenden Ergänzungen hinzufügen:

• wir arbeiten mit DirectURL 3 und erhalten so etwas andere URLs als mit Shopstat
• die Google "sitemap.xml" erstellen wir mit GSiteCrawler wo mit den Einstellungen die ?XTCsid ausgefiltert werden
• in der ".htaccess" haben wir die Umleitung, dass die URL immer mit www. beginnt
• im Admin haben wir die Einstellung so, dass Crawler ohne Session zugreifen können

[...]
Stichwort: canonical

Gruß
Oli

@Olinew
Das mit den canonical habe ich verstanden. Aber mit dem Einbau in die "header.php", damit auch die korrekten URLs der Seiten in diesem metatag stehen komme ich nicht klar. Vielleicht hast Du mir dazu ja einen Tipp.

Euch allen vielen Dank für Eure Bemühungen.

Grüsse aus CH - bluerate

[Olinew]

Hallo bluerate,
benutze einfach mal mein Stichwort in der Forensuche. Dort solltest Du ein Modul finden, dass es heißt einzubauen. Vorab schon einmal viel Spaß!

Gruß!
Oli

[Tomcraft]

Hier der direkte Link: ERWEITERUNG: canonical Tags (DC/SEO) für modified eCommerce Shopsoftware

Grüße

Torsten

[bluerate]

Vielen Dank für Eure Bemühungen. Werde mich noch heute mit dem Einbau der Erweiterung befassen. Bin gespannt ob DirectURL da mitmacht.
Grüsse

[reedguard]

Und im Adminbereich unter "Erweiterte Konfiguration" -> "Meta-Tags/Suchmaschinen" -> "Spider Sessions vermeiden" aktivieren.

Hallo zusammen,

wenn der Google-Crawler ohne Session-ID auf meine Shop-Seiten kommt (habe ich aktiviert in "Erweiterte Konfiguration" -> "Meta-Tags/Suchmaschinen" -> "Spider Sessions vermeiden?"), dann brauche ich eigentlich keine Canonical-Links, oder?

Der Crawler sieht ja nur noch den einen Link (ohne Session-ID eben).

Wäre dankbar für einen kurzen Hinweis...

Danke & frohe Weihnachten

Daniel