Googlebot überschwemmt Who's Online

[dmun]

Hallo,

mir ist aufgefallen, dass sich die "Who's Online" Liste innerhalb von ein paar Tagen mit mehreren 1000 Einträgen von Googlebot füllt, die nicht mehr verschwinden. Das hat zur Folge, dass dann irgendwann laut Who's Online Seite 19 - 20 Tausend Benutzer auf der Seite sind, verursacht durch diese Vielzahl an Googlebot Einträgen.
Die IP ist immer die Gleiche und die "Letzte URL" ist mehr als einmal identisch.
Die Startzeit und Online-Zeit sind unterschiedlich

Leider kann ich hierzu im Forum nichts finden, daher die Frage: ist das normal oder was läuft falsch ?

Aktueller 1.06er Shop.
"Spider Sessions vermeiden?" steht auf true und "Suchmaschinenfreundliche URLs benutzen?" sind abgeschaltet.

Viele Grüße, Dirk



Linkback: https://www.modified-shop.org/forum/index.php?topic=29979.0

[Alfred]

die nicht mehr verschwinden.

Hallo,

was heißt das genau?
Verschwindet Googlebot nicht oder wird die Gesamtanzeige immer länger?
Normalerweise werden alte Einträge in der Datenbank des Shops nach einer bestimmten Zeit gelöscht.

Gruß

[dmun]

Hi,

die Gesamtanzahl wird immer grösser. Ich habe vor ca. 2 Stunden die googlebot Einträge aus der whosonline Tabelle raus geworfen und jetzt sind es schon wieder über 400 Einträge.

Diese sehen alle so aus:
02:22:48    0    [Suchmaschine - googlebot]    66.249.78.150    11:30:29    13:53:11    /shop/advanced_search_result.php/language/de/sorting_id/3/pag     ---

wobei sich die Werte von Startzeit und Letzter Klick sowie Online unterscheiden.

Viele Grüße, Dirk

[Alfred]

Du bist aus Kassel?

[dmun]

Nein.

Viele Grüße, Dirk

[ShopNix]

Schau mal im Admin, Konfiguration / Adminbereich. Dort steht ziemlich unten:

Wer ist Online - Anzeigezeitraum in Sek, default ist 900.

[Alfred]

Hallo,

dann habe ich mir gerade den falschen Shop angeschaut.
Fallen generell Einträge automatisch aus der Datenbank-Tabelle raus?

/advanced_search_result.php
Das ist die Datei für die Suchergebnisse.
Die steht ab 1.06 auf noindex im Shop.
Wenn Google sich daran festgreift liegt das an vielen Sortiermöglichkeiten und daran das die Seiten im Index sind oder waren. Du musst dafür sorgen das da ein noindex drin ist.

Gruß

[dmun]

Ja ich weis. steht auch auf 900 sec und lässt sich nicht reduzieren. 900 wäre der Default-Wert.

Dirk

[dmun]

dann habe ich mir gerade den falschen Shop angeschaut.
Fallen generell Einträge automatisch aus der Datenbank-Tabelle raus?

Ja, von den Kunden. Im Moment sind es knapp über 600 Einträge.

Das Problem betrifft nicht nur die advanced_saerchresults sonder auch alle anderen Seiten wie Produktinfo etc.

Dirk

[ShopNix]

Trotzdem hat Alfred recht: An der Stelle sollte noindex stehen, im Zusammenhang:

Code: XML  [Auswählen]

<meta name="robots" content="noindex, nofollow, noodp" />

Andererseits sollte bei dieser Einstellung nach 15 Minuten gelöscht werden. Da wirst Du Dir genauer anschauen müssen, was da passiert. xtc_update_whos_online.inc.php sollte das regeln.

[dmun]

da steht aber schon alles auf noindex.

Das hier ist die Ausgabe: <meta name="robots" content="noindex, nofollow, noodp" />

Sieht soweit OK aus.

[ShopNix]

Sehr eigenartig. Ich dachte schon, vielleicht versteckt sich einer der vielen Drecksäcke hinter einem Google UserAgent, aber die IP stammt zumindest aus einem Google-Netzwerk.

Du könntest die URL noch in robots.txt ausschließen, aber auch damit wirst Du nicht sofort Erfolg haben, denn die Datei wird nur sporadisch gelesen und ausgewertet.

[dmun]

ich habe mir mal schnell die xtc_update_whos_online.inc.php angeschaut und für mich sieht es so aus, dass nur ein UPDATE durchgeführt wird, wenn eine Session-ID vorhanden ist. Ist keine Session-ID vorhanden, dann wird immer ein INSERT durchgeführt.
Ist das richtig ?

Dirk

muss leider nochweg, kann erst später nochmal in Ruhe in die Datei schauen.

[ShopNix]

Meine Version löscht auch:

Code: PHP  [Auswählen]

$Id: xtc_update_whos_online.inc.php 3952 2012-11-15 00:20:51Z Tomcraft1980 $
/********** ab Zeile 61: ******/
   $current_time = time();
    $time_last_click = 900;
    if (defined('WHOS_ONLINE_TIME_LAST_CLICK')) {
      $time_last_click = (int)WHOS_ONLINE_TIME_LAST_CLICK;
    }
    $xx_mins_ago = (time() - $time_last_click);

    // remove entries that have expired
    xtc_db_query("delete from " . TABLE_WHOS_ONLINE . " where time_last_click < '" . $xx_mins_ago . "'");
 

[dmun]

meine auch, aber scheinbar werden auch alle vorhandenen Einträge zusätzlich upgedated weshalb dann das Löschen nicht greift. Hier ein Ausschnitt, der LastClick steht auf 16:25:30.

03:56:43    0    [Suchmaschine - googlebot]    66.249.78.150    12:29:02    16:25:30    /shop/advanced_search_result.php/language/de/prllset/10/page/     ---
03:56:45    0    [Suchmaschine - googlebot]    66.249.78.150    12:29:00    16:25:30    /shop/advanced_search_result.php/language/de/prllset/10/page/     ---
04:14:17    0    [Suchmaschine - googlebot]    66.249.78.150    12:11:28    16:25:30    /shop/advanced_search_result.php/language/de/prllset/10/page/     ---
04:08:54    0    [Suchmaschine - googlebot]    66.249.78.150    12:16:51    16:25:30    /shop/advanced_search_result.php/language/de/prllset/10/page/     ---
04:14:21    0    [Suchmaschine - googlebot]    66.249.78.150    12:11:24    16:25:30    /shop/advanced_search_result.php/language/de/prllset/10/page/     ---
04:14:22    0    [Suchmaschine - googlebot]    66.249.78.150    12:11:23    16:25:30    /shop/advanced_search_result.php/language/de/prllset/10/page/     ---
04:14:09    0    [Suchmaschine - googlebot]    66.249.78.150    12:11:36    16:25:30    /shop/advanced_search_result.php/language/de/prllset/10/page/     ---

kannst Du mir mal Deine komplette xtc_update... einstellen ?

Dirk