Sitemap splitten

[derheiko]

Hallo zusammen,

ich habe folgendes Problem.

Bis dato habe ich unsere Sitemap via gsitecrawler gescannt.

Nun haben wir einen neuen Ersatzteilkatalog und von 80.000 auf 135.000 Artikel aufgestockt.
Der Crawler bricht ab, weil die DB mit 1GB zu groß ist.

Dann habe ich entdeckt, das modified eCommerce Shopsoftware selber eine solche Funktion hat.
Habe diese angeworfen und eine 30 MB "sitemap.xml" ausgeworfen bekomnen.

Die habe ich bei Google eingereicht und die Meldung erhalten:

Zu viele URLs
Ihre XML-Sitemap umfaßt zuviele URLs. Bitte erstellen Sie mehrere XML-Sitemaps, die jeweils bis zu 50,000 URLs enthalten können, und reichen Sie diese anschließend ein.

Nun ist die alte Sitemap von dem gsitecrawler gesplittet worden.

sitemap-index.xml
sitemap.xml
sitemap2.xml
sitemap3.xml

Keine ist größer als 10 MB, was wohl auch so sein muss.

Habt ihr eine Lösung, wie ich die von modified eCommerce Shopsoftware gesplittet erstellen kann, bzw. gibt es ein Update im für den Adminbereich?

Ich konnte leider keine Lösung via Google und Suchfunktion finden und ähnliche Beiträge waren in diesem Unterforum. Sorry, wenn es da trotzdem gab oder ich falsch gepostet habe.

Vielen Dank vorab für eure Hilfe!

Linkback: https://www.modified-shop.org/forum/index.php?topic=17581.0

[Modulfux]

Von Haus aus kann der Shop die Sitemap nicht splitten. Hierfür müsste die Datei umgeschrieben werden, dass er nach Anzahl X die Erstellung unterbricht und mit einer neuen Datei anfängt.

Ansonsten bleibt dir nur über die Sitemap selber zu splitten. Wichtig ist hierbei nur das der Kopfteil und der Fußteil gleich sind, weil hier die Definitionen für die Sitemap festgelegt werden.

Gruß
Ronny

[GTB]

Wenn du die Sitemap im Admin erstellst, werden max 10MB grosse Dateien erzeugt.

Gruss Gerhard

[derheiko]

@GTB

Ich habe sie im Adminbereich erstellt und sie ist 30 mb groß.

Keine Ahnung warum, ist aber so. Da das auf unserem Testsystem so läuft, kann ich dich gerne mal drauf lassen.

[Tomcraft]

Das war noch die alte Version. Nimm mal bitte die "google_sitemap.php" aus dem Trunk.

Grüße

Torsten

[derheiko]

@Tomcraft

Danke für die Hilfe.
Habe es hochgeladen und gestartet. Nun erhalte ich die Fehlermeldung:

Code: PHP  [Auswählen]

Warning: fopen(sitemap1.xml) [function.fopen]: failed to open stream: Permission denied in /var/www/vhosts/xxx.de/httpdocs/google_sitemap.php on line 157

Warning: fwrite(): supplied argument is not a valid stream resource in /var/www/vhosts/xxx.de/httpdocs/google_sitemap.php on line 314

Das komische ist ...
... kurze vorgeschichte.

Wir haben einen kleinen Server bei Hosteurope und irgendwann einen größeren geholt und den Shop dahin umgezogen.

Das Sitemap läuft auf dem großen nicht. Da habe ich immer diese Meldung erhalten.
Auf dem kleinen lief es bis eben.

Mit deiner geänderten Version erhalte ich auch diese Meldung.
Ich werde mal versuchen raus zu finden wo der Fehler liegt und werde mich dann hier wieder melden.
Danke dir dennoch schonmal.

[Tomcraft]

Benenne deine "sitemap.xml" mal bitte in "sitemap1.xml" um.

Grüße

Torsten

[derheiko]

Auf dem Server befindet sich keine "sitemap.xml" mehr, weil ich die gelöscht hatte.

Ich habe die 30 MB vom mitgelieferten Script eben erstellte "sitemap.xml" lokal noch hier.
Habe sie, wie du empfohlen hast, umbenannt und neu hochgeladen.

Habe dann noch mal das Script gestartet, also das neue aus dem Trunk.

Leider wieder die gleiche Meldung

Der Timestamp ist auch nicht geändert. Also er fasst sie auch nicht an.
Ist sie nicht da, so erstellt er auch keine neue.

[Alfred]

Hallo,

dann lege eine leere Datei mit dem Namen an.

Gruß

[derheiko]

Guten Morgen,

ich habe eine leere Datei reingelegt und es kam das selbe.

Dann habe ich die Dateirechte des Ordners, des Sitemaps Scripts und der "sitemap.xml" neu gesetzt und dann hat es endlich funktioniert.

Sitemap-Datei 'sitemap1.xml' erstellt.
Sitemap-Datei 'sitemap1' erstellt.
Sitemap-Datei 'sitemap1' erstellt.
Sitemap-Datei 'sitemap1' erstellt.

391 Kategorien und 135306 Produkte exportiert.

Vielen Dank für eure Hilfe.

Leider funktioniert das noch nicht so richtig.

Was ich komisch finde ist, dass das alte Script 30 MB große Datei bei gleicher Artikelanzahl erstellt hat
und der GsiteCrawler auch (der hat diese aber gesplittet).

Die jetzt erstellte ist nur 10 MB groß.

Die habe ich jetzt in den Webmaster Tools per Hand mal hochgeladen.

Übermittelt wurden nur 39.400 URLs.
Sprich sie ist nicht vollständig. Ist das richtig so, dass das neue Script aus dem Trunk ab 10 MB abbricht und nicht splittet?

Danke nochmal vorab für eure Hilfe.

[Alfred]

[...]
Die jetzt erstellte ist nur 10 MB groß.
[...]

Hallo,

hast du einen Link zum Shop und den Sitemaps?

Gruß

[derheiko]

Danke dir für die Hilfe.

Habe es dir per E-Mail geschickt.