Robots.txt so "normal"?

[ShopNix]

dranbleiben, die werden bei Bedarf sicherlich die IPs und die Kennungen ändern.

Genau das ist der Sinn der Übung. Ich will die Kameraden laufend überwachen und flexibel auf aktuelle Zugriffe reagieren.

Iptables ist dazu das Mittel der Wahl, weil das die schnellste Lösung ist. Bei einem angemieteten Webspace kann man recht gut auf htaccess ausweichen.

Mein Konzept ist, einen kleinen udp-Dienst laufen zu lassen, der von der Applikation (z.B. dem Shop und/oder einem Honey Pot) laufend mit Daten versorgt wird. Der Dienst analysiert die Daten und löst die Sperren aus.

Interessant ist in diesem Zusammenhang auch das Project Honey Pot. Deren Schwerpunkt ist allerdings, den Mail-Spammern auf dem Umweg über die Sperre von Harvestern und den Comment-Spammern das Leben schwer zu machen.

[Jürgen]

Hallo,

wenn ich mich richtig erinnere war die robots.txt aus dem Installationsverzeichnis mal um einiges länger...
Auch die Version im trunk ist um einige Einträge länger und schliesst auch einige .php Dateien ein...

Was ist denn nun richtig?

Reicht das (aktuelle rev.):

Code: CSS  [Auswählen]

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /callback/
Disallow: /download/
Disallow: /export/
Disallow: /import/
Disallow: /inc/
Disallow: /includes/
Disallow: /lang/
Disallow: /media/
Disallow: /pub/
Disallow: /shopstat/
Disallow: /templates/
Disallow: /templates_c/

Oder ist das vom Grundsatz her richtig (trunk):

Code: CSS  [Auswählen]

User-agent: *
Disallow: /*MODsid*
Disallow: /*action=
Disallow: /admin/
Disallow: /cache/
Disallow: /callback/
Disallow: /download/
Disallow: /export/
Disallow: /import/
Disallow: /inc/
Disallow: /includes/
Disallow: /lang/
Disallow: /media/
Disallow: /pub/
Disallow: /shopstat/
Disallow: /templates/
Disallow: /templates_c/
Disallow: /account.php
Disallow: /account_edit.php
Disallow: /account_history.php
Disallow: /account_history_info.php
Disallow: /account_password.php
Disallow: /address_book.php
Disallow: /address_book_process.php
Disallow: /advanced_search.php
Disallow: /advanced_search_result.php
Disallow: /checkout_confirmation.php
Disallow: /checkout_iclear.php
Disallow: /checkout_payment.php
Disallow: /checkout_payment_address.php
Disallow: /checkout_process.php
Disallow: /checkout_shipping.php
Disallow: /checkout_shipping_address.php
Disallow: /checkout_success.php
Disallow: /cookie_usage.php
Disallow: /create_account.php
Disallow: /create_guest_account.php
Disallow: /display_vvcodes.php
Disallow: /download.php
Disallow: /google_sitemap.php
Disallow: /gv_redeem.php
Disallow: /gv_send.php
Disallow: /login.php
Disallow: /logoff.php
Disallow: /newsletter.php
Disallow: /password_double_opt.php
Disallow: /popup_coupon_help.php
Disallow: /popup_cvv.php
Disallow: /popup_image.php
Disallow: /popup_search_help.php
Disallow: /print_order.php
Disallow: /print_product_info.php
Disallow: /product_reviews.php
Disallow: /product_reviews_info.php
Disallow: /product_reviews_write.php
Disallow: /reviews.php
Disallow: /send_order.php
Disallow: /shopping_cart.php
Disallow: /ssl_check.php
Disallow: /wpcallback.php
Disallow: /wsdl_iclear_order.php

User-agent: WebsiteWiki
Disallow: /

Gruss Jürgen