Massen import CSV

[formelx]

Servus!

 

Ich bin mir nicht sicher ob es eine Lösung für mein Problem gibt das man mit einem Modul lösen kann, aber ich probiere es mal:

 

Ich müsste eine CSV Importieren mit ca. 100.000 Einträgen. Dann einmal pro Stunde aktualisieren. Ist das mit PHP Mittel überhaupt möglich? Oder wäre es besser das direkt über die Shell in die DB zu Importieren? Kennt evtl. sogar jemand eine Lösung dafür? Gerne auch kostenpflichtig.

 

Grüße Marco

[Whiley]

Welche PS-Version?

 

Was sind 100000 Einträge, Datensätze, Felder, ...?

 

Hast du Probleme beim erstmaligen Importieren oder suchst du nach einer Lösung für das stündliche Update. Für letzteres mal die Möglichkeiten von webservice prüfen.

 

Grüsse

Whiley

[formelx]

Hi!

 

Es sind ca. 100000 Zeilen mit je 16 Feldern. Also 100000 Produkte mit Preisen, Bildern u.s.w

 

Der einmalige Import ist schon eine Herausforderung. Es dauert mit PHP einfach zu lange bzw. endet mit einem Error 500, egal wie sehr ich an den PHP configs drehe. Ich denke auch das Updaten wird ähnlich schlecht laufen. Ich nutze jetzt version 1.6.1 für den aufbau. 1.7 gefällt mir nicht.

 

Beim Webservice läuft die Geschichte ja quasi wieder über PHP. Ich denke bei dieser Anzahl an Produkte wäre ein direkter Import in die Datenbank sinnvoller oder? Leider gibt es dafür wohl keine fertige Lösung. 

[Whiley]

Auf einmal wirst du die 100000 Produkte über den prestashopeigenen csv-Import nicht einlesen kjönnen. In der Regel teilt man die die Produkte in Teilpakete auf und läd sie hintereinander ein. Die mögliche Größe der Teilpakete hängt von deinen Daten (hier insbesondere die Bilder) und von deinem Server ab(Geschwindigkeit, Speicher und php-Einstellungen) liegt aber im Regelfall so bei 5000 Produkten pto Teilpaket, die Gesamtzeit liegt trotzdem im überschaubaren Bereich. (wir haben vor kurzem mal ca 30000 Produkte aufgeteilt in 10 Teilpaket, mit Dummy-Bildern ohne Bildgrößengenerierung in ca 30 Minuten eingelesen)

 

Eine andere auch schon praktizierte Möglichkeit ist das Einlesen der Daten auf einem lokalen gespiegelten Shop und anschliessendem Übertragen der betroffenen Tabellen in die Datenbank des Online-Shops mit phpmyadmin und Transfer der Bilder via FTP.

 

Grüsser

Whiley