MODUL: ICEcat Datenblätter einbinden

[tweber]

[...]
Wir sollten noch ein Timeout einbauen. Und dann wäre noch die Überlegung, ob sich nochmal jemand dahinter klemmt und raus bekommt, wie ICEcat zum Thema Cache steht. Sollten wir dann ggf. doch nochmal überdenken und einbauen, wenn wir grünes Licht haben.
[...]

Ob das mit dem Cache erlaubt ist, habe ich mich auch schon gefragt. Es ist aber so, dass der "Batavi" - Shop (Das ist das offizielle Shopsystem von ICEcat und ebenfalls OS) die Daten sogar in der Datenbank cached. Ich hatte mal begonnen das Ganze nach modified eCommerce Shopsoftware zu portieren, es dann aber aus Zeitgründen (erstmal) wieder aufgegeben. Kann das aber zur Verfügung stellen, wenn es jemanden interessiert. Der Datenabruf und die Ablage in der DB sollten eingentlich schon tun. Hab aber den leztzen Stand nicht mehr ganz genau im Kopf.  

Grüße

Torsten

[Tomcraft]

Wir müssen ja das Rad nicht neu erfinden, da wir den Cache ja schon umgesetzt hatten. Wichtig ist nur zu wissen, ob das von ICEcat erlaubt ist?

Dass es in Betavi enthalten ist, ist für mich kein Freibrief.

Grüße

Torsten

[bkabel]

Hi Torsten (tweber),

genau das habe ich auch gesehen mit dem Cache in die Datenbank, aber ich denke damit wird die Datenbank wirklich ziemlich voll...  
Den Cache in seperate Ordner zu legen, so wie es jetzt z.Z. ist finde ich besser. Auch mit der delete.php die dafür gedacht war, hin und wieder alle gecacheten Daten inkl. Leichen zu bereinigen und ggf. Änderungen im XML-Code einzupflegen!  
Vorausgesetzt ICEcat erlaubt Caching der Dateien!  

Ich stelle nochmal deine Function getICEcatXML mit ein paar geänderten Stellen hier rein.
Schau mal bitte drüber und sag was du davon hälst! Ach ja, was bezweckst du mit der Funktion "error_log()"?

Code: PHP  [Auswählen]

  // BOF - Function => Get ICEcat XML-File to Cache
    function getICEcatXML($ean='', $vendor = '', $vendor_name = '', $lang = 'de', $requesttype = 'ean') {
      error_log("getICEcatXML called with: ean:" . $ean . " vendor:" . $vendor . " vendorname:" . $vendor_name . " lang:" . $lang . " type:" . $requesttype);
      $filetype = strtr($ean.$vendor, '%', '-');
      $xmlfile = 'ICEcat_cache/ICEcatXML/'.$filetype.'.xml';
      $phpfile = 'ICEcat_cache/ICEcatData/'.$filetype.'.php';
      if(file_exists($xmlfile)) {
        $xml = simplexml_load_file($xmlfile);
        $xml_item = $xml->Product['ErrorMessage'];
        if ($xml_item != null) {
          unlink($xmlfile);
            if (file_exists($phpfile)) {
              unlink($phpfile);
            }
              $data = false;
              return $data;
        } else {
        return file_get_contents($xmlfile);
        }
      }
      $ch = curl_init();
      curl_setopt($ch, CURLOPT_HEADER, 0);
      if ($vendor != '' && $vendor_name != '') {
        // with htn and manufacturer
        curl_setopt($ch, CURLOPT_URL, "http://data.icecat.biz/xml_s3/xml_server3.cgi?prod_id=".$vendor.";vendor=".$vendor_name.";lang=".$lang.";output=productxml");
      } else {
        // with ean
        curl_setopt($ch, CURLOPT_URL, "http://data.icecat.biz/xml_s3/xml_server3.cgi?ean_upc=".$ean.";lang=".$lang.";output=productxml");
      }
      curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
      curl_setopt($ch, CURLOPT_USERPWD, ICECAT_USERNAME.":".ICECAT_PASSWORD);
      curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_BASIC);
      //curl_setopt($ch, CURLOPT_TIMEOUT, 1);
      //curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 2);
      $data = curl_exec($ch);
      if (!$data) {
        //error_log('curl connection error');
        curl_close($ch);
        return;
      } else if (curl_getinfo($ch,CURLINFO_CONTENT_TYPE) == "text/html; charset=utf-8") {
        //error_log("req: " . $requesttype . " ean: " . $ean . " vendor: " . $vendor_name ." curlinfo: ". curl_getinfo($ch,CURLINFO_CONTENT_TYPE));
        curl_close($ch);
        return;
      }
      $xml = new SimpleXMLElement($data);
      $xml_item = $xml->xpath("//ProductFeature");
        if ($xml_item != null) {
          //error_log("req: " . $requesttype . " ean: " . $ean . " htn: " . $vendor . " vendor: " . $vendor_name ." curlinfo: ". curl_getinfo($ch,CURLINFO_CONTENT_TYPE));
          //error_log("curlinfo: ". curl_getinfo($ch,CURLINFO_CONTENT_TYPE));
          file_put_contents($xmlfile, $data);
          curl_close($ch);
          return $data;
        }
    }
  // EOF - Function => Get ICEcat XML-File to Cache

Viele Grüße
Björn

[tweber]

[...]
genau das habe ich auch gesehen mit dem Cache in die Datenbank, aber ich denke damit wird die Datenbank wirklich ziemlich voll...  

Den Cache in seperate Ordner zu legen, so wie es jetzt z.Z. ist finde ich es besser. Auch mit der delete.php die dafür gedacht war, hin und wieder alle gecacheten Daten inkl. Leichen zu bereinigen und ggf. Änderungen im XML-Code einzupflegen!  
[...]

Da mit der vollen Datenbank ist schon richtig, aber durch die Ablage in der DB ergibt sich auch die Möglichkeit, eine erweiterte Suchfunktionen zu realisieren. Also z.B. Einschränkungen auf die Speichergröße eines Notebooks oder ähnliches. Möglicherweise kann der Shop das ja jetzt schon, dann habe ich das aber noch nicht gefunden. Zudem läßst sich in Verbindung mit der InnoDB referentielle Integrität realisieren und damit die DB sauber aufräuem. Geht natürlich auch mit den Dateien, ist aber aufwändiger und man muss es ausprogrammieren, was immer auch zu Fehlern führen kann (aber nicht muss).

[...]
Vorausgesetzt ICEcat erlaubt Caching der Dateien!  
[...]

Ohne es wirklich zu wissen, gehe ich eigentlich davon aus. Die bieten ja sogar eine Software an, die den Bestand hostet, z.B. für den Falls , dass man mehrere Shops betreibt oder die Daten noch anderweitig nutzt. Letztendlich muss das ja sogar in deren Interesse sein, da durch das Caching Serverlast eingespart wird. Hier der Link zum Tool:
IcecatPIM

Und hier What is the Icecat Fair Use Policy? kann ich eigentlich auch kein Cache Verbot erkennen.

[...]
Ich stelle nochmal deine Function getICEcatXML mit ein paar geänderten Stellen hier rein.
Schau mal bitte drüber und sag was du davon hälst! Ach ja, was bezweckst du mit der Funktion "error_log()"?
[...]

error_log dient nur für Debugausgaben und kann entfernt werden. FirePHP ist da eigentlich eleganter, da man dann nicht ständig in in der ServerLog nachschauen muss sondern das bequem im Firebug anschauen kann.

Code: PHP  [Auswählen]

    $xml = new SimpleXMLElement($data);
    $xml_item = $xml->xpath("//ProductFeature");
      if ($xml_item != null) {
        //error_log("req: " . $requesttype . " ean: " . $ean . " htn: " . $vendor . " vendor: " . $vendor_name ." curlinfo: ". curl_getinfo($ch,CURLINFO_CONTENT_TYPE));
        //error_log("curlinfo: ". curl_getinfo($ch,CURLINFO_CONTENT_TYPE));
        file_put_contents($xmlfile, $data);
        curl_close($ch);
        return $data;
      }
 

Sowas in der Art hatte ich auch überlegt, mich aber dagegen entschieden, da dann auch immer wieder geladen wird, auch wenn ICEcat sowieso nichts im Katalog hat. Bevorzugen würde ich einen "intelligenteren" Löschmechanismus, der ab und an die "leeren" Files (Leichen) löscht, um einen neuen Ladeversuch zu ermöglichen.

Grüße

Torsten

[alca]

Hallo zusammen

Ich habe mich mal durch die Webseite von ICEcat gewühlt. Wenn ich es richtige verstehe, kann man auch jeden Tag eine aktuelle Datei von ihrem Server runterladen und frei verwenden.

Somit denke ich, dass ein Caching kein Problem sein sollte, da man mit dem Datei-Download ja etwas ähnliches macht.

Werde mal den Shop hochladen und dann hier die URL bekannt geben.
Aktuell ist es nur ein Test, sollte aber bis Ende Monat fertig sein.

Gruss
alca

[Tomcraft]

"Somit denke ich" ist für mich nicht das, was ich gerne hören möchte.

Wieso schreibt nicht einfach mal einer von euch eine E-Mail, damit wir etwas schwarz auf weiss haben?!

Alles andere ist Spekulation, wie ich hier im Thema bereits mehrfach gesagt habe, aber ich wiederhole mich immer wieder so gerne.

Grüße

Torsten

[tweber]

Hängt wohl daran, dass die Frage bereits bei ICEcat im Forum gestellt wurde. Ist noch gar nicht so lange her, aber geantwortet hat keiner.  
Cacheing

Grüße

Torsten

[bkabel]

Diese Anfrage im Forum von ICEcat stammt wohl von unserem modified eCommerce Shopsoftware franky_n.
Er hat auch schon angemerkt, daß diese Anfrage bisher unbeantwortet geblieben ist.

Grüße
Björn

[Tomcraft]

Na dann dort im Forum anmelden und die Frage nochmal hoch schieben.

Grüße

Torsten

[xMerchant]

OpenIceCat wird unter der Open Content License veröffentlicht (http://icecat.de/us/menu/services/index.htm) und gemäß der OpenContent License darf man den Content speichern, verändern, kopieren, ... solange das ursprüngliche Copyright an prominenter Stelle bleibt (http://www.opencontent.org/opl.shtml).

[mouseworx]

http://icecat.de/us/menu/disclaimer/index.htm

You as the User of the Icecat.biz information are solely responsible for the choice and usage of this information. You are not entitled to transfer, copy or otherwise multiply or distribute the Icecat.biz information. You are obliged to follow the directions of Icecat.biz with regard to the use of the information.

Grüsse
Sebastian

[Tomcraft]

Ja herrlich... und eben darum bringt es nichts, wenn wir hier weiter spekulieren und erneut (ich wiederhole mich) versuchen irgendwelche Lizenzen für uns auszulegen.

Fragt doch einfach nach und bekommt dann schwarz auf weiss ein Ja oder Nein! Alles andere interessiert hier doch nun wirklich nicht.

Aber ich denke, ich werde mich noch weitere Male wiederholen...

Grüße

Torsten

[xeron]

Hi,

also ich habe jetzt an ICEcat eine Anfrage bezüglich des Cache geschrieben. Melde mich, soweit ich eine Antwort habe.

Grüße
André

[xeron]

Also das ist die Antwort die ich bekommen habe. Sind wir leider noch nicht weiter damit.

Hallo,
Falls Sie die Daten exportieren möchten, nutzen Sie bitte unsere XML Schnittstelle. Weitere Informationen über XML Daten: How can I implement Icecat XML product data?

Viele Grüße,

[bkabel]

Hi xeron,

das klingt aber trotzdem soweit gut, denn ob ich jetzt nun den OpenSource "ICEcatPIM" (Product Information Manager) benutze um die Daten zu exportieren oder einen eigenen Connector, bleibt doch letztendlich egal, oder?
Wir setzten unter die Beschreibung/ Bilder ja auch den Disclaimer/ Copyright.

Wie denkt ihr darüber?

Gruß Björn