Semalt Crawler

[Bonsai]

Aus aktuellem Anlass (Netz ist voll von genervten Admins). Wer auch vom Semalt Crawler genervt wird.

In der .htaccess hinter

Code: PHP  [Auswählen]

<IfModule mod_rewrite.c>
  ##-- Initialize and enable rewrite engine
 ##-- Documentation http://httpd.apache.org/docs/misc/rewriteguide.html
 RewriteEngine On
 

Das einfügen:

Code: PHP  [Auswählen]

  ##-- block semalt crawler
 RewriteCond %{HTTP_REFERER} semalt\.com [NC]
  RewriteRule (.*) http://www.semalt.com [R=403,L]
 

Und schon crawlt sich der Scheissbot selbst 

Kurzerklärung. Wenn im refferer semalt\.com auftaucht, erfolg eine automatisch Umleitung auf http://www.semalt.com

Linkback: https://www.modified-shop.org/forum/index.php?topic=30614.0

[Bonsai]

Update ..... semalt hat eine neue Domain

Code: PHP  [Auswählen]

  ##-- block semalt crawler
 RewriteCond %{HTTP_REFERER} semalt\.com [NC]
  RewriteRule (.*) http://www.semalt.com [R=403,L]
  RewriteCond %{HTTP_REFERER} 7makemoneyonline\.com [NC]
  RewriteRule (.*) http://www.semalt.com [R=403,L]

[h-h-h]

http://semalt.com/project_crawler.php#crawler-img-block

Gruß, h-h-h

[Bonsai]

Danke h-h-h, aber ich habe niemals den crawler bestellt also sehe ich nicht ein den abzubestellen, da verursache ich lieber Traffic bei denen.

[Matt]

Danke h-h-h, aber ich habe niemals den crawler bestellt

Gut, wenn das auch alle gesagt hätten als Google angefangen hat das Web zu crawlen.

da verursache ich lieber Traffic bei denen.

Tust du nicht. Der Bot (und jeder Browser auch) bekommen einen 403 Forbidden und verhalten sich entsprechend. Ein Redirect findet nicht statt.