MODUL: ICEcat Datenblätter einbinden

[Tomcraft]

Sicherlich ist es ärgerlich, aber bei der Anzahl an Artikeln würde ich wirklich mal über DCI nachdenken.

Grüße

Torsten

[riffi_at]

DCI habe ich über Itscope, aber die Daten sind etwas spärlich. Mir geht es aber auch um die Zusatzbilder.

[franky_n]

Hallo mouseworx,

Nachtrag: In meinen Augen - sorry an alle Mitentwickler an diesem Modul - ist der ganze Ansatz über die "product.php" komplett daneben.
[...]

Eben nicht!
Wir sind im Zeitalter einer schnellen Kommunikation mit Anbindungen an XML, dort müsste es also möglich sein auch solche Produktdaten online zur Verfügung zu stellen, siehe eBay, Amazon, Paypal Dienste etc.
Wenn sich etwas ändert an den Produktdaten möchte der Kunde bzw. Shopbetreiber oder auch der Dienstleister nicht unbedingt wieder und wieder nachfragen müssen ob es eine neue XML Datei gibt...

Meiner Meinung verschläft ICEcat das gerade weil Sie selber wohl nicht in der Lage sind eine Schnittstelle zur Verfügung zu stellen die performant ist.
Was der Hintergrund dieser Aktion ist lasse ich mal dahin gestellt.

Auch logisch ist, dass eine XML Datei, die dann lokal auf dem eigenen Server ausgelesen wird performanter ist. Gar keine Frage!

Viele Grüße

Franky

[mouseworx]

Hi franky_n,

ich versuche nochmal zu schreiben warum der Ansatz mit der product.php in meinen Augen unsinnig ist.

Was passiert in der product.php? Hier werden doch - für die Produkt Bilder des Listings - 20 XML Abfragen an Icecat geschickt - nur um die URL's für 20 Bildern aus 20 XML Antworten auszulesen. Richtig? Nur wozu? Welche Daten werden benötigt? Nur die Bild URL's...

Icecat stellt aber eine umfangreiche XML Datei zur Verfügung in der steht wie die URL's zu den Bildern lauten - und das sogar für drei verschiedene Bild Größen. Es ist somit viel sinnvoller diese eine Datei auszulesen (z.B. einmal am Tag, vorzugsweise Nachts und per Cronjob) und den Inhalt in einer eigenen Datenbank Tabelle zu speichern.

In der Folge musst Du für eine Listing Seite mit 20 Artikelbildern keinen einzigen XML Request an Icecat schicken sondern kannst die Bilder direkt über die URL einbinden - so wie es von Icecat vorgesehen ist.

Wenn Du dann - für die Product Info - mehr Daten haben willst, dann schickst Du eben auf der product_info.php einen XML Request an Icecat und bekommst die zusätzlichen Bilder und die Contentdaten, die Du parsen und auf der Detailansicht zu einem Artikel darstellen kannst.

Von diesem Vorgehen haben beide etwas. Dein Shop ist - im Listing - deutlich schneller weil er sich - pro Listing Seite - 20 XML Requests spart. Nebenbei werden die Icecat Server weniger belastet, was wieder allen Icecat Nutzern zu gute kommt.

Man sollte einfach mal über den persönlichen Shop Tellerrand schauen. Ein erfolgreicher Online Shop hat viele Besucher, die viele Listing Seiten aufrufen. Mit der hier vorliegenden Lösung wird Icecat von jedem Shop - der die Lösung einsetzt - mit einem Haufen unnötiger XML Requests zugeballert.

Das Icecat das nicht gut findet und im Zweifel sogar von 'Leeching' ausgeht war eigentlich der Punkt, an dem ich wieder in die Diskussion eingestiegen bin. Ich finde es ist klar warum Icecat so reagiert bzw. warum Icecat hier einen anderen Weg vorgesehen hat. Und das hat nichts mit einem 'Zeitalter der modernen Kommunikation' zu tun sondern nur mit einem vernünftigen Einsatz der Ressourcen.

Grüße

Nachtrag: Das Ganze hat noch einen Vorteil - wenn Icecat zu einem Artikel kein Bild hat, dann kannst Du Dein eigenes Bild nehmen - der Shop weiß es ja schon vorher, ob Icecat da was an Daten hat - zu dem jeweiligen Artikel...

[franky_n]

Hallo mouseworx,

nur das nicht die XML den Traffic macht sondern die Bilder die jeder Kunde Deines Shops bei ICEcat abruft.
Da dieser Server dann auch noch super langsam ist wirds dann unerträglich.
Die Bilder sind auch in der kleinen Auflösung immer noch riesig und überbemaßt.

Die XML macht einige kB aus, aber nun gut ich denke bei ICEcat geht es darum das man nicht zu viele Abfragen machen soll... ansonsten verbaucht man vielleicht 385kB bei 5000 Besuchern, bei den Bildern dann nur mehrere GB!

Viele Grüße

Franky

[bkabel]

Hi Franky,

ich denke, dass ICEcat das bspw. so interpretieren könnte:

Wenn 5000 Besucher eines Shops, sich gleichzeitig auf Produktlistingseiten aufhalten, wo jedesmal 20 Produktabfragen gemacht werden, könnte es bei ICEcat ggf. so aussehen, als wollte man einen DDos-Angriff starten!  

Nur mal so eine Idee...  Kann man das Produktlisting nicht auch irgendwie anders gestalten?
Die Idee von mouseworxx der "riesigen" Datei (Produktkatalog) von ICEcat auf dem eigenen Server zu speichern und auszulesen, finde ich zwar nicht schlecht, aber wer belegt freiwillig "mehrere hundert MB" seines Webspache für eine Datei, von der man nur einen Teil aller Daten daraus benötigt!?

Nachbesserungen am derzeitigen ICEcat-Modul besteht in jedem Fall, aber allein kann ich das zeitlich nicht realisieren!

Gruß
Björn

[mouseworx]

Hi Franky,

schade, dass Du nicht auf das Argument mit den Requests eingehst. DDoS Attacken kommen schließlich auch durch eine Vielzahl von Requests zustande...

Es ist doch eine einfache Rechnung. Selbst wenn ein Shop - der die Lösung hier einsetzt - nur 60 Kunden gleichzeitig da hat von denen vielleicht 50 auf einer Listing Seite sind auf der jeweils 20 Artikel angezeigt werden sollen, dann hat der Shop 1000 XML Requests an Icecat gefeuert - nur um die Bild URL's in Erfahrung zu bringen. Ein einzelner Shop!

Ich habe mich gegen unnötige Requests ausgesprochen um den sowieso schon überlasteten Icecat Servern das Leben nicht noch schwerer zu machen.

Und irgendwie müssen die Icecat Bilder ja auch mal zu Dir gekommen sein, selbst wenn Du die Bilder dann in den Cache steckst - lassen wir also das spekulative vorrechnen von KB

Grüße
Sebastian

@ Björn: Mehrere hundert MB Speicherplatz sollten für einen erfolgreichen ITK Shop nicht das Problem sein. Wenn doch, dann wird hier - meines Erachtens nach - am falschen Ende gespart.

Belegen zig tausend gecachte Bilder von Icecat nicht sogar noch viel mehr Speicherplatz?

[franky_n]

Hallo mouseworx,

ja die Bilder sind sehr langsam gekommen...

Die Request sollten trotzdem kein Problem für einen vernünftigen Webserver sein, auch wenn es wie eine DDoS Attacke aussieht.
Und das wohl kein vernünftiger Server verwendet wird sehen wir an den Bildern, bzw. auch an der größe der Bilder...

Ich brauche diese Funktion nicht, habe nämlich keinen Shop also kann mir das eh egal sein. Hatte ich aber schon mal gesagt...

Jedoch ist die andere Lösung genauso unperformant wie diese hier weil der Großteil der Bilder eben über die Leitung kommen muß und nicht(! Da bist Du nämlich nicht drauf eingegangen) gecached werden sollen/dürfen da es ICEcat nicht erlaubt.

Das Einzige was Du mit Deinem System an Vorteil hast ist:
Dein Account wird nicht geschlossen und Du verdienst mit Deinem Modul das nötige Kleingeld um bei ICEcat den nicht kostenfreien Teil zu nutzen.

Allerdings finde ich es sehr schade das Du jeglichen negativen Post der hier ist, sofort zum Anlass nimmst alles schlecht zu reden, was auch der Grund ist warum ich zurückschreibe.
Mir ist klar das Du Dein Modul verkaufen willst, ich habe mich auch schon mehrfach dazu geäußert und gesagt das Du eine professionelle Lösung vertreibst für Leute die einen großen Shop haben...

Und wann ist mal gut mit negativer Propaganda wenn jemand was negatives sagt?

@Björn: Sorry aber derzeit bin ich auch beruflich sehr eingespannt. Von daher habe ich nur am WE Zeit und die möchte ich gerne anders nutzen.

Viele Grüße

Franky

[mouseworx]

Hallo Franky,

ich bin wieder in diesen Thread eingestiegen als sich ein User fragte warum er von Icecat gesperrt wurde.

Im Folgenden habe ich versucht darzulegen weshalb ich der Ansicht bin, dass das in diesem Thread vorgestellte Modul zu einer Sperrung bei Icecat führen kann und auch wie man die Anbindung anders lösen könnte um nicht gesperrt zu werden. In habe dabei kein Modul erwähnt sondern lediglich versucht aufzuzeigen wo - aus meiner Sicht - der Denkfehler bei dem Einbau dieses Moduls in die "product.php" ist.

Seit wann ist konstruktive Kritik denn "negative Propaganda"?

Grüße
Sebastian

P.S.: Vielleicht solltest Du Icecat anbieten deren Server mal "vernünftig" zu konfigurieren.
P.P.S.: Ich habe keinen kostenpflichtigen Account bei Icecat und muß mir also "mit meinen Modulen" kein Geld dafür verdienen.

[bkabel]

Hi Sebastian,

könntest du uns ggf. stichpunktartig darlegen wie du das Modul anders aufbauen würdest und in welche Dateien du gerade beim Produktlisting eingreifen würdest?
Da du interessante Argumente lieferst und Ahnung von der Materie hast, würden wir es begrüßen, wenn du konstruktive Vorschläge in Schrift (und Code) machen könntest!
Schluss jetzt mit den ständigen Streitereien!  

Gruß
Björn

[bkabel]

Da von Sebastian kein alternativer Vorschlag kommt (was ich auch nicht erwartet habe   ), stelle ich die Frage mal an die gesamte Community.
(vielleicht findet sich ja noch ein kluges Köpfchen!   )

Wie kann man die ("Bombardierung") ProduktInfoAbfrage von ICEcat.de im Produktlisting soweit umgehen, dass es eben nicht mehr zur Massenabfrage der Produktinformationen an den ICEcat-Server kommt.
Ich habe mir zwar auch Gedanken gemacht, komme aber zu keinem Ergebnis.  

Info: Das Produktlisting wird in der /includes/product.php geregelt.

Wenn es nicht möglich ist, hätte ich gern den Grund dafür gewusst!
Danke

Gruß
Björn

EDIT: Beim ICEcat-Modul mit Cache findet die Abfrage nur einmal pro Produkt statt, denn wenn Produktinformationen von ICEcat verfügbar sind, werden diese samt Bilder auf dem eigenen Server/Datenbank gespeichert. Ist beim ersten Aufruf des Moduls trotzdem eine Massenabfrage, was zur Folge haben kann, dass die eigene Server-IP von ICEcat gesperrt wird!  

[franky_n]

Hallo Björn,

ich sag zum anderen Thema jetzt nix!

Ich könnte mir vorstellen das so zu lösen:
Abfrage der XML Daten vom Produkt.
Speichern in einer lokalen XML Datei...
Bei gleicher Abfrage immer vor der Abfrage prüfen ob bereits in XML Datei dann davon nehmen, ansonsten Abfrage bei ICEcat.

Entbindet trotzdem nicht davor die Bilder immer (da per URL) von ICEcat zu laden, wenn man die nicht speichern darf...

Der erste Aufruf ist natürlich immer eine Massenabfrage wenn viele Produkte im Produktlisting sind, aber ich denke das wird nicht das Problem sein, sondern die dauerhafte Massenabfrage wenn der Cache wieder leer ist.

Viele Grüße

Franky

[mouseworx]

Hallo Björn,

ich meine in diesem Thread nun schon ein paar mal geschrieben zu haben wie man das anders lösen kann. Aber ich kann es gerne nochmal zusammenfassen:

- Icecat bietet unter http://data.icecat.biz/export/export_urls.txt den Download des Produkt Katalogs an. In dieser mehrere hundert MB großen Datei findest Du bereits alle für das Listing relevanten Daten zu den bei Icecat vorhandenen Artikeln - also alle URL's zu den allen Artikelbildern in drei verschiedenen Größen ( high_res / low_res / thumbnail ). Man kann diese Datei also herunterladen und verarbeiten - z.b. in eine Datenbank Tabelle schreiben.

- Icecat bietet ferner unter http://data.icecat.biz/export/supplier_mapping.xml eine Supplier Datei an, in der alle bei Icecat gelisteten Hersteller im Klartext aufgeführt sind. Man kann auch diese Datei herunterladen und auf vorher erstellte Tabelle matchen, die fehlenden Hersteller Namen in die Datenbank Tabelle eintragen.

Jetzt hast du eine Tabelle in der Hersteller-Artikel-Nummer, Hersteller Name und auch die URL's zu den Artikelbildern stehen. Nun kannst Du diese Tabelle auf Deine Artikeldaten matchen, also z.B. bei allen Artikeln die Du in Deiner products Tabelle hast die Bild URL zum Icecat low_res Image eintragen, wenn Icecat ein Bild dafür hat. Oder aber du erweiterst die products.php um einen join auf die Icecat Tabelle - anhand der Hersteller Artikel Nummer (products_model) und der Hersteller ID (manufacturers_id) ist das ohne Probleme möglich. Ich rate aber zur ersten Möglichkeit weil deutlich performanter.

Was jetzt noch fehlt ist eine kleine Erweiterung in der product.php - du musst deinem Shop beibringen auch externe Bilder zu ziehen und auszugeben. Dazu gibt es bereits Lösungen in diesem Forum.

Finaler Schritt: Auf der product_info.php baust Du eine Icecat Abfrage ein, die die Contentdaten (weitere Bilder und technische Daten) per XML bei Icecat abholt. Hierfür kannst Du Frankys Lösung ja ohne Probleme einsetzen, wegen einzelnen Abfragen zu einem Artikel wirst Du bei Icecat nicht gesperrt.

Wenn Du fertigen Code oder meine komplette per Cronjob oder aus der xtc Modified Admin heraus lauffähige Lösung erwartet hast, dann muß ich Dich allerdings enttäuschen. Das finde ich auch legitim, denn es gibt hier auch andere Entwickler die Ihre Lösungen nicht kostenneutral anbieten

Grüße
Sebastian

[bkabel]

@franky,

so ähnlich funktioniert das letzte Modul schon... (bis auf das mit den Bildern)

@Sebastian,

danke für deine ausführliche Erklärung, mal sehen was sich daraus machen lässt!  

Gruß
Björn

[etchi]

Ich suche nach folgender Lösung, wer helfen kann, darf auch gerne eine PM schreiben und den Einbau gegen einen Obolus bei uns tätigen ...

1. Icecat Produktbeschreibung einbauen, wenn keine eigene Produktbeschreibung hinterlegt ist.
(Also nicht die Tabellen, sondern die Beschreibung... siehe hier: http://www.memoryworld.de/shop/artdetail.php?artnr=5150

2. Das Ganze in Abhängigkeit der Sprache ... bei DE im Shop deutsch, bei EN Englisch usw.

3. Der Abgleich soll per EAN stattfinden, EANs sind natürlich vorhanden!

Danke!

PS: Vielleicht könnte sich tweber melden? Ich glaube du bist der Entwickler des Moduls?