Sitemap.xml und robots.txt aus dem Google Index verbannen

[Simon]

Wie ich sehen konnte betrifft dieses Problem auch modified, z.B. mit dem Demoshop nachstellbar.

Eine mögliche Lösung findet Ihr hier, ein Eintrag in der robots.txt bringt wie Ihr wisst nichts.
http://www.officetrend.de/2018/sitemap-xml-und-robots-txt-aus-dem-google-index-verbannen/



Linkback: https://www.modified-shop.org/forum/index.php?topic=25535.0

[jannemann]

Hallo Simon,

Danke schön fürs Teilen!

Schöne Grüße,
Jan

[Alfred]

Hallo,

fachlich bekomme ich Gänsehaut bei "Beide kann man ja wohl schlecht in der robots.txt sperren, dann würde sie ja gar keiner mehr ansehen dürfen".

Das Problem ist nicht Google sondern diverse spam-Seiten die Links setzen zur xml-Sitemap.
Diese Links saugen die aus der robots.txt raus und verlinken die xml-Sitemap . Das ist unabhängig von der Tatsache das man der Datei nein noindex mitgibt. Man sollte nur in der robots.txt vermeiden den Link anzugeben zur xml-Sitemap.

Gruß

[KAT]

Hi,
ein Eintrag in der Form:

Code: PHP  [Auswählen]

<IfModule mod_headers.c>
<FilesMatch "robots\.txt|meinesitemap\.xml$">
Header append X-Robots-Tag "noindex"
</FilesMatch>
</IfModule>

reicht völlig aus. Praktizieren wir schon lange und hat sich bewährt. So geben wir auch manchen Fotos einen noindex mit, was sehr nützlich sein kann.

LG KAT