Neuigkeiten
  • Die modified eCommerce Shopsoftware ist kostenlos, aber nicht umsonst.
    Spenden
  • Damit wir die modified eCommerce Shopsoftware auch zukünftig kostenlos anbieten können:
    Spenden
  • Thema: Robots.txt - Was kommt rein / ist die richtige Einstellung?

    Glowie

    • Neu im Forum
    • Beiträge: 3
    Hallo!

    Hab jetzt viel gesucht, aber keine eindeutige Aussage bekommen.
    Bei mir steht im moment folgendes drin (gleicher Inhalt wie beim neusten Download des Shops):

    User-agent: *
    Disallow:

    Folgende Beispielkonfiguration habe ich z.B. gefunden.
    Zitat
    User-agent: *
    Disallow: /*XTCsid
    Disallow: /*action=
    Disallow: /admin/
    Disallow: /cache/
    Disallow: /callback/
    Disallow: /download/
    Disallow: /export/
    Disallow: /import/
    Disallow: /inc/
    Disallow: /includes/
    Disallow: /lang/
    Disallow: /media/
    Disallow: /pub/
    Disallow: /shopstat/
    Disallow: /templates_c/
    Disallow: /account.php
    Disallow: /account_edit.php
    Disallow: /account_history.php
    Disallow: /account_history_info.php
    Disallow: /account_password.php
    Disallow: /address_book.php
    Disallow: /address_book_process.php
    Disallow: /advanced_search.php
    Disallow: /advanced_search_result.php
    Disallow: /checkout_confirmation.php
    Disallow: /checkout_iclear.php
    Disallow: /checkout_payment.php
    Disallow: /checkout_payment_address.php
    Disallow: /checkout_process.php
    Disallow: /checkout_shipping.php
    Disallow: /checkout_shipping_address.php
    Disallow: /checkout_success.php
    Disallow: /cookie_usage.php
    Disallow: /create_account.php
    Disallow: /create_guest_account.php
    Disallow: /display_vvcodes.php
    Disallow: /download.php
    Disallow: /google_sitemap.php
    Disallow: /gv_redeem.php
    Disallow: /gv_send.php
    Disallow: /login.php
    Disallow: /logoff.php
    Disallow: /newsletter.php
    Disallow: /password_double_opt.php
    Disallow: /popup_coupon_help.php
    Disallow: /popup_cvv.php
    Disallow: /popup_image.php
    Disallow: /popup_search_help.php
    Disallow: /print_order.php
    Disallow: /print_product_info.php
    Disallow: /product_reviews.php
    Disallow: /product_reviews_info.php
    Disallow: /product_reviews_write.php
    Disallow: /reviews.php
    Disallow: /send_order.php
    Disallow: /shopping_cart.php
    Disallow: /ssl_check.php
    Disallow: /wpcallback.php
    Disallow: /wsdl_iclear_order.php

    Jetzt stellt sich bei mir die Frage, was ist sinnvoll auszuklammern und was muss unbedingt drin bleiben?
    Im Wiki finde ich auch nichts dazu.

    Thx for Help!

    MfG Daniel

    Linkback: https://www.modified-shop.org/forum/index.php?topic=39594.0

    HaldOn

    • Fördermitglied
    • Beiträge: 552
    Re: Robots.txt - Was kommt rein / ist die richtige Einstellung?
    Antwort #1 am: 21. Oktober 2018, 21:36:03
    Code: PHP  [Auswählen]
    User-agent: *
    Disallow:
     

    kannst du noch mit der Angabe zu deiner Sitemap.xml ergänzen

    Code: PHP  [Auswählen]
    User-agent: *
    Disallow:

    Sitemap: http://www.beispielseite.de/sitemap.xml
     

    alles andere ist meiner Meinung nach überflüssig.
    3 Antworten
    3501 Aufrufe
    06. März 2012, 11:00:34 von cYbercOsmOnauT
    1 Antworten
    21929 Aufrufe
    17. Januar 2012, 18:50:15 von Tomcraft
    3 Antworten
    4965 Aufrufe
    09. Juli 2009, 12:54:19 von Anonym
               
    anything