Können Suchmaschinenbots die Shopsuche benutzen bzw. auslösen?

[voodoopupp]

Hallo,

aktuell stellt sich mir ein wenig die Frage, ob Bots bzw. wer sonst alles automatisch die Suche mit bestimmten Suchbegriffen auslösen kann.

Hintergrund ist, dass wir die Suchbegriffe auch auswerten bzw. statistisch aufbereiten lassen.

Nur machen mich die dort gespeicherten Uhrzeiten etwas stutzig.
Da ist dann quasi in der Nacht kaum eine Suchanfrage und dann sind dort wieder innerhalb von 1 Minute 5-10 Suchanfragen. Und dann halt eben absolut unterschiedliche Abfragen, die in keinster Weise von den Produkten noch von den Abfrageinhalten irgendwie zusammengehören.

Somit frage ich mich, ob evtl. Bots oder Sonstiges automatisiert immer wieder bestimmte Suchabfragen auf meinen Shop loslassen, was dann allerdings die Suchbegriffstatistik auf Dauer natürlich stark verzerrt.

Und wenn es wirklich so wäre, könnte man das irgendwie umgehen, so dass Bots nicht getrackt werden? Wir benutzen das t10 Suchbegriffstatistik Modul.

Freue mich auf eure Ideen und Antworten

Grüße
Dominik

Linkback: https://www.modified-shop.org/forum/index.php?topic=34127.0

[ChristianRothe]

Natürlich können Suchmaschinen die Suche "auslösen". Natürlich nicht so, dass sie selbstständig Begriffe ins Suchfeld eintragen und dann ENTER drücken. Aber immerhin so, dass Suchmaschinen URLs wie http://www.dein-shop.de/advanced_search_result.php?keywords=Such+die+Worte aufrufen können. Aus Sicht der Suchmaschine wird dabei einfach eine normale URL gecrawlt, von welcher die Suchmaschine irgendwo (z.B. durch einen Eintrag in irgendeinem Forum) Kenntnis bekommen hat. Aus Sicht Deines Shops ist dies allerdings eine ganz normale Suche, bei welcher der Shop zunächst nicht sieht, dass es sich um einen Direktaufruf der URL durch eine Suchmaschine handelt.

In meinen Shops tracken wir auch die eingegebenen Suchbegriffe zu statistischen Zwecken. Die Aufrufe von URLs der Shopsuche durch Suchmaschinen identifizieren wir mit der Funktion xtc_check_agent() und schließen sie von der Statistik aus.

[total10]

Hallo,

tatsächlich löst Google die shopinterne Suche auch eigenständig aus, dazu muss die entsprechende URL auch nicht irgendwo verlinkt sein.

Die verwendeten Keywords sind die, die der Googlebot für eure Seite als relevant führt (daher "passen" diese auch i.d.R. so erstaunlich gut).

Ziel des ganzen war es wohl, dem Googlebot Zugang zu Informationen zu ermöglichen, die er sonst nicht finden würde.

Hier einige Infos dazu

https://googlewebmastercentral.blogspot.de/2008/04/crawling-through-html-forms.html

Ich habe mich auch noch nicht näher damit beschäftigt, aber eigentlich sollte die adanced_search_result.php durch die robots.txt ausgeschloßen sein und das crawlen der Suche verhindern, allerdings scheint dies stark abhängig davon zu sein, wie das verwendete TPL die Suche einbindet.

Ich schau mir das demnächst mal in Verbindung mit unserer t10:Suchbegriffstatistik an, es sollte sich wohl in Verbindung mit der shopeigenen inc/xtc_check_agent.inc.php (steuerbar) lösen lassen.

Vielen Dank für die Anregung und mit besten Grüßen aus Hamburg

Mario Braune

[voodoopupp]

Hallo,

und danke euch schonmal für die Antworten.

Also grundsätzlich sollten dann die Suchbegriffstatistiken, wenn möglich, immer auch die ausgelösten Suchanfragen durch Suchmaschinen abfangen.

Denn wenn schon die Suchergebnisse dann verfälscht werden, kann das schnell auch zu Fehlentscheidungen im Einkaufverhalten führen. Und das bindet dann unnötiges Kapital bzw. lässt im schlimmsten Fall Artikel einkaufen, die im eigenen Shop eigenlich eben nicht wirklich nachgefragt werden.

Grüße
Dominik

[Jürgen]

@voodoopupp

Hallo,

da gab es wohl schon mal was zu dem Thema...

t10: Suchbegriffstatistik - Hilfe

Gruss

Jürgen

[total10]

Hallo die Runde,

macht mal bitte folgendes falls Ihr die durch Suchmaschinen ausgelösten Vorgänge zukünftig nicht mehr in der Statistik haben wollt:

SQL ausführen :

Code: SQL  [Auswählen]

INSERT INTO configuration (configuration_key, configuration_value, configuration_group_id, sort_order, last_modified, date_added, use_function, set_function) VALUES ('T10_SEARCHSTATS_CHECK_BOT', '1', 101010, 0, NULL, NOW(), NULL, NULL);

und die includes/classes/t10.searchstats.php gegen die aus dem hier angefügten .zip ersetzen (Backup machen vorher wie immer).

Mit besten Grüßen aus Hamburg

Mario Braune

[voodoopupp]

So,

also generell läuft es nun wohl etwas besser mit der neuen Version. Dennoch bin ich der Meinung, dass ich weiterhin Bots in der Statistik habe, denn z.B. werden bestimmte Suchbegriffe immer wieder dort gelistet, und die Suchabfragen sind immer irgendwann nachts zwischen 2:00 - 5:00 Uhr.

10 Tage, dabei dann bis zu acht Abfragen vom gleiche Suchbegriff...ist die Botliste eventuell nicht vollständig genug?!

Grüße
Dominik

[Bonsai]

/inc/xtc_crawlers.inc.php