robots.txt: warum wird das Template verboten?

[Godzilla]

@Godzilla
Was wolltest du mir eigtl. mit dem hier geposteten Such-Link sagen ?
Daß nun alle möglichen Dateien, einschließlich mail.txt-Dateien in den Suchergebnissen zu finden sind wenn man /templates/ nicht in die robots.txt als "Dissallow" setzt ?

Ja. Zu diesen möglichen Dateien gehören dann unter Umständen sehr viele Dinge die man besser nicht im Index haben sollte:

- Dateien die doppelten Content verursachen
- Dateien die Angreifern zeigen auf welchem technischen Stand der Shop ist
- Dateien die man selbst schon lange vergessen hat/nicht mehr nutzt und die im Widerspruch zur aktuellen Rechtlage stehen
- Hintertüren in den Adminbereich per Mausklick in den Google Suchergebnissen

etc. etc. etc.

Meine Frage war eigtl. ob du tiefere Erkenntnisse über die Arbeitsweise des G.-Bots hast.
Deine lapidare Antwort zeigt lediglich, daß es nicht sinnvoll ist den Ordner /templates/ einfach aus der robots.txt rauszunehmen.

Meine tiefere Erkenntnis: In die robot.txt gehört alles was ein Bot die crawlen darf, damit es nicht im Index landet und damit das Crawling-Kontingent der Seite nur für wichtige Seiten genutzt wird.

Nach deiner Aussage:

Klar. Das kommt sicher ganz gut bei Suchmaschinen an, weil die dann nicht nur permanent unnötig Dateien anfordern und vom Server abgewiesen werden sondern auch noch permanent testen müssen warum da mindestens ein Ordner existiert, welcher in der robot.txt ausdrücklich nicht verboten wurde, ausgerechnet für deren Bot gesperrt ist.

müsste man ja die robots.txt in der Art aufbauen was den Ordner /templates/ betrifft:

Code: [Auswählen]

Disallow: /templates/YOUR_TEMPLATE/admin/
Disallow: /templates/YOUR_TEMPLATE/boxes/
Disallow: /templates/YOUR_TEMPLATE/mail/
Disallow: /templates/YOUR_TEMPLATE/module/
Disallow: /templates/YOUR_TEMPLATE/smarty/
Disallow: /templates/YOUR_TEMPLATE/source/
also alle Ordner die nicht /javascript/ oder /css/ oder /button/ oder /img/ heißen erfassen. (ich nehme mal an, daß auch die Bilder und Buttons - wenn in der htaccess gesperrt - vom G.-Bot nicht erfasst werden ?)

Kann man auch so machen:

1. Im Root die Ordner /css und /js anlegen
2. Die betreffenden Dateien in diese Ordner verschieben (wenn man mag in einen Unterordner Names xtc5)
3. Die header.php so anpassen, dass die URLs der betreffenden CSS- und Javascript-Dateien auf die Dateien im Root zeigen

Wenn man gerade dabei ist, dann kann man direkt auf diesen Weg überlegen welchen statischen Content (abgesehen von CSS das fürs rendern des "above-the-fold"-Content wichtig ist) man wie und wo lagert/auslagert.

Aber für dieses Problem gibt es sehr viele gute und weniger Gute Lösungen, die von modrewrite bis zur logischen Trennung von Inhalt und Design reichen.

Mein Fazit:
Das Ganze ist bislang undurchsichtig und unlogisch und noch lange nicht geklärt.

Stimmt. Daher kann man ja auch nicht einfach sagen, dass man die Zeile einfach aus der robot.txt löschen kann oder es gar wie jemand hier im Thread einfach auf Gut Glück mal austesten.

[web0null]

DU schreibst hier selber,

Ich glaube, dass du diesen einfachen Satz von Google...

Also nochmal für dich,

1. diesen
2. einfachen
3. Satz
4. von Google


...und du verstehst nicht wer mit "man" gemeint ist? Ich glaube dann kann dir keiner mehr helfen.
Wer könnte denn "man" sein wenn der Satz von Google kommt. Naa kommst du drauf

Googlemail "spioniert" kein Mails aus, weil alle Kunden darüber informiert sind

Ich lach mich Tod ... ja klar sind jetzt alle darüber informiert, weil es aufgedeckt wurde.
Aber du hast schon recht Googlemail "spioniert" eh nicht, sondern Google.

Aber wie gesagt, du checkst es anscheinend wirklich nicht.
Obwohl ich ja glaube, dass du es eh schon verstanden hast, nur willst du es nicht zugeben.

dass diese Dienstleistung kostenlos ist und damit finanziert wird

Alleine dass du das (für dich) als Rechtfertigung her nimmst, ist schon der Hammer.
Bist du wirklich der Meinung es sei legitim Mails mitzulesen?
Du findest es wahrscheinlich auch in Ordnung, wenn kostenlose Apps deine persönlichen Daten nach "Hause" senden.

[Godzilla]

DU schreibst hier selber,

Ich glaube, dass du diesen einfachen Satz von Google...

Also nochmal für dich,

1. diesen
2. einfachen
3. Satz
4. von Google


...und du verstehst nicht wer mit "man" gemeint ist? Ich glaube dann kann dir keiner mehr helfen.
Wer könnte denn "man" sein wenn der Satz von Google kommt. Naa kommst du drauf

Ich verstehe selbstverständlich wer bei dir mit "man" gemeint ist aber wenn du noch so nett wärest mir die Stelle in diesem einfachen Einzeiler zu markieren, in der Google sagt, dass Google blockierte Dateien nicht aufrufen kann, dann können wir das Thema hier abschließen:

Wenn Ressourcen wie JavaScript oder CSS in separaten Dateien blockiert werden, z. B. in robots.txt, damit der Googlebot sie nicht abrufen kann, kann unser Indexierungssystem eure Websites nicht wie ein normaler Nutzer abrufen.

Googlemail "spioniert" kein Mails aus, weil alle Kunden darüber informiert sind

Ich lach mich Tod ... ja klar sind jetzt alle darüber informiert, weil es aufgedeckt wurde.
Aber du hast schon recht Googlemail "spioniert" eh nicht, sondern Google.

Ich kann mich an keinen Datenschutzskandal erinnern in dem aufgedeckt wurde, dass gmail in seinen Datenschutzbestimmungen verschwiegen hat, dass Mails für Werbezwecke analysiert werden. Aber wer liest schon AGB und Datenschutzbestimmungen wenn was kostenlos ist. Viele Personen haben ja schon gewaltige Probleme einen einfachen Einzeiler von Google zu verstehen. Wie kann man da erwarten, dass mündige Bürger verstehen was Geschäftsbedingungen sind.

Aber wie gesagt, du checkst es anscheinend wirklich nicht.
Obwohl ich ja glaube, dass du es eh schon verstanden hast, nur willst du es nicht zugeben.

dass diese Dienstleistung kostenlos ist und damit finanziert wird

Alleine dass du das (für dich) als Rechtfertigung her nimmst, ist schon der Hammer.
Bist du wirklich der Meinung es sei legitim Mails mitzulesen?
Du findest es wahrscheinlich auch in Ordnung, wenn kostenlose Apps deine persönlichen Daten nach "Hause" senden.

Selbstverständlich ist es legtim, dass mein Vertragspartner meine Mails liest, wenn ich ihm das erlaubt habe. Das nennt man Vertragsfreiheit und ich sehe keinen Unterschied in der Tatsache, dass gmail mir unbegrenzten Speicher dafür kostenlos zur Verfügung stellt, dass meine Mails für Werbezwecke analysiert werden und der Tatsache, dass ALLE anderen E-Mail-Anbieter meine Mails mitlesen und sich sogar noch dafür bezahlen lassen, wenn ich möchte, dass sie meine Mails noch etwas genauer mitlesen.

[web0null]

Willst du mich verarschen,
DU hast gefragt,

Und wer ist jetzt "man"?....

Und DU schreibst jetzt,

Ich verstehe selbstverständlich wer bei dir mit "man" gemeint ist

DU solltest dich schon entscheiden ob du es verstehst oder nicht, denn sonst machst du dich nur lächerlich.

Viele Personen haben ja schon gewaltige Probleme einen einfachen Einzeiler von Google zu verstehen.

Aber wenigstens gibst du mit diesem Satz zu, es nicht zu verstehen.

Auf den Rest wie,

Selbstverständlich ist es legtim, dass mein Vertragspartner meine Mails liest...

gehe ich nicht mehr ein, wenn "mündige" Bürger solch eine Einstellung haben, ist eh alles zu spät.
Das ist wahrscheinlich auch der Grund, dass es keinen interessiert, wenn man sie ausspioniert.

Tu mir aber bitte noch einen gefallen, und frag jetzt bitte nicht... Und wer ist jetzt "man"?....,
denn das dauert mir zu lange.

Gruß

[Godzilla]

Willst du mich verarschen,
DU hast gefragt,

Und wer ist jetzt "man"?....

Und DU schreibst jetzt,

Ich verstehe selbstverständlich wer bei dir mit "man" gemeint ist

DU solltest dich schon entscheiden ob du es verstehst oder nicht, denn sonst machst du dich nur lächerlich.

Nein, verarschen wollte ich dich nicht. Mich hatte es einfach interessiert wieviel Substanz übrig bleibt, wenn man einen Verschwörungstheoretiker mal bittet präzise zu erklären wer konkret mit "man", "die", "die da oben" oder welche Platzhalter gerade benutzt werden, gemeint sind.

Auf den Rest wie,

Selbstverständlich ist es legtim, dass mein Vertragspartner meine Mails liest...

gehe ich nicht mehr ein, wenn "mündige" Bürger solch eine Einstellung haben, ist eh alles zu spät.
Das ist wahrscheinlich auch der Grund, dass es keinen interessiert, wenn man sie ausspioniert.

Tu mir aber bitte noch einen gefallen, und frag jetzt bitte nicht... Und wer ist jetzt "man"?....,
denn das dauert mir zu lange.

Es hätte mich jetzt auch sehr gewundert, wenn das Reizwort "mündige Bürger", auf das alle Verschwörungstheoretiker anspringen, nicht den gewünschten Effekt gehabt hätte.

[web0null]

Ach Jungchen, Leute die mich reizen könnten, müssten schon etwas mehr Intellekt vorweisen.

Und bitte noch einmal, ich hatte es dir schon mal geschrieben, du brauchst nicht immer alles komplett zu zitieren, das macht den Thread nur unübersichtlich.
Ich weiß es fällt dir schwer so manche Sachen geistig zu erfassen, aber probiere es doch, wenn du dich bemühst schaffst du es ganz ganz sicher.

[fishnet]

Daher kann man ja auch nicht einfach sagen, dass man die Zeile einfach aus der robot.txt löschen kann oder es gar wie jemand hier im Thread einfach auf Gut Glück mal austesten.

Doch kann man, aber das man hier in Deutschland ein Problem mit dieser Haltung hat, verstehe ich.
 

[Alfred]

Hallo,

das Problem ist einfach das man die Funktionsweise einer robots.txt nicht kennt und zusätzlich crawlen mit indexieren verwechselt.

Wenn ich mit
Disallow: /templates/
den Ordner gegen das crawlen sperre bezieht sich das auf das auslesen.
Das ist unabhängig davon ob man Zugriff auf den Inhalt des Ordners hat durch eine Anzeige per Listing des Inhaltes.
Das sperren per robots.txt verhindert nicht den Zugriff auf Dateien die über den Quellcode angesprochen werden.

Wenn man das nicht weiß kommt es halt zu Missverständnissen zwischen dem was man macht und dem wie die Suchmaschinen reagieren.

Gruß

[Godzilla]

Das sperren per robots.txt verhindert nicht den Zugriff auf Dateien die über den Quellcode angesprochen werden.

Das steht ja außer Frage. Aber es stellen sich im Bezug auf Disallow: /templates/  dann ja folgende Fragen:

1. Sollten Dateien im Quellcode weiterhin so angesprochen werden, dass ihre URL den Abschnitt /templates/ enthalten?
2. Wie verhindert man bei Nichtnutzung einer .htaccess, dass ein Index des Ordners /templates/ im Google-Index landet und so dann sämtliche Dateien des Ordners per Quellcode angesprochen werden?

[Alfred]

1. Sollten Dateien im Quellcode weiterhin so angesprochen werden, dass ihre URL den Abschnitt /templates/ enthalten?
2. Wie verhindert man bei Nichtnutzung einer .htaccess, dass ein Index des Ordners /templates/ im Google-Index landet und so dann sämtliche Dateien des Ordners per Quellcode angesprochen werden?

Was spricht gegen /templates/?
Das es bekannt ist vom Namen her? Das ist doch egal.

Der Rest ist Aufgabe vom Apache - Options -Indexes
Mir ist kein Provider bekannt der das nicht als Standard in der Konfiguration so hat.

Gruß

[Godzilla]

Was spricht gegen /templates/?
Das es bekannt ist vom Namen her? Das ist doch egal.

Was spricht dann gegen Disallow: /templates/ in der robot.txt?
Das es bekannt ist vom Namen her? Das ist doch egal.

Der Rest ist Aufgabe vom Apache - Options -Indexes
Mir ist kein Provider bekannt der das nicht als Standard in der Konfiguration so hat.

Das das nicht immer wie gewünscht so ist, dass sieht man ja in dem von mir zeigten Beispiel.

[Godzilla]

Daher kann man ja auch nicht einfach sagen, dass man die Zeile einfach aus der robot.txt löschen kann oder es gar wie jemand hier im Thread einfach auf Gut Glück mal austesten.

Doch kann man, aber das man hier in Deutschland ein Problem mit dieser Haltung hat, verstehe ich.
 

Ergo:
Google erlauben die eigenen Mails für Werbzwecke zu lesen = dumme Haltung
Google erlauben sensible Daten/Dateien ins Netz zu stellen = rebellische Haltung

Ich verstehe diese Haltung nicht und ich glaube weder, dass dies typisch Deutsch ist noch das eine "shoot first then ask"-Mentalität eine echte Alternative darstellt. Im Bezug auf den Datenschutz schließe ich das sogar komplett aus. Aber daher gibt es ja auch kein deutsches Google.

[Marcus Kreusch]

Hallo zusammen,

kurz eine inhaltliche Frage:
Warum sollte man keine .htaccess für die HTML-Dateien im Template nutzen wollen?

Und ein Beitrag: Die robots.txt verhindert natürlich nicht das Crawlen der Seite - ich konnte es selbst mit access-Logs nachvollziehen, dass auch Seiten die in der robots.txt auf Dissallow gesetzt waren, beispielsweise von Google-Bots und Amazon-Bots gelesen wurden - bei seriösen Suchmaschinen werden sie natürlich nicht in den öffentlichen Index aufgenommen, da der Wunsch des Seitenbetreibers soweit respektiert wird, aber der internen Datensammlung wird kein Unternehmen freiwillig etwas öffentlich zugreifbares vorenthalten.

VIele Grüße
Marcus

[Alfred]

Hallo,

es ist nun offiziell und jeder sollte schauen das seine robots.txt nichts unnötiges sperrt.
http://goo.gl/P3pVpi

Gruß

[noRiddle (revilonetz)]

Danke dir für die Info.
Heißt das, daß /templates_c am Besten auch erlaubt sein sollte ? (aus Performancegründen, sodaß der Bot schnelleren Zugriff hat ).

Gruß,
noRiddle

*NACHTRAG*
Und sollte man nicht trotzdem folgende Ordner auf Disallow stehen lassen ?
/templates/YOUR_TEMPLATE/admin/
/templates/YOUR_TEMPLATE/smarty/
/templates/YOUR_TEMPLATE/mail/
/templates/YOUR_TEMPLATE/psd/
/templates/YOUR_TEMPLATE/source/