Antwort #10 am: 30. April 2010, 07:57:30
Die robots.txt ist eine Bot Anweisung, aber nicht Befehl die Bots halten sich je nach Programmierung mehr oder weniger dran die Google Bot Herde ist am hörigsten aber sogar die Verfolgen Links welche gesperrt sind wenn laut deren Meinung sich was Interesantes dort befindet oder wenn die Seite sonst nicht Viel zu bieten hat. Dieses Phänomen haben wir mit der letzten Version unseres CMS Dokumentieren können, wenn jemand den Wartungsmodus länger eingeschaltet hat, wird nur der Adminlogin indeziert, welches natürlich weniger als Ideal ist, oft findet mann diese auch auf Testseiten mit nur 1-2 "befüllten" Seiten, dort werden Sachen indeziert wie Sitemap und Erweiterte suche etc.
Gruss
mantis