Jump to content

Prestashop Crash bei Import CSV


Recommended Posts

Hallo zusammen,

Ich werde es auch hier versuchen. Vielleicht haben einige von euch eine Idee:

es ist schon eine Weile her, dass ich einen neuen E-Commerce mit Prestashop erstellt habe, bei dem ich versuche, den Katalog (etwa 34.000 Artikel) über CSV hochzuladen. Getrennt Produkte und Kombinationen.

Schon die Tatsache, dass das Laden extrem langsam ist (8/10 Stunden für 10.000 Artikel), und irgendwann... Crash-Prestashop...NO WAY...

Ich habe auch versucht, das CSV ohne Links zu den Bildern hochzuladen, dasselbe..., ich habe die Dateien in 1000 Artikel pro CSV aufgeteilt...immer dasselbe

Ich denke an ein Prestashop-Problem (Version 1.7.6.2), weil auf Serverebene alles in Ordnung und fehlerfrei ist...

Hat jemand ein ähnliches Problem gehabt und es gelöst?

Ansonsten muss ich Prestashop komplett neu installieren, und ich verliere die ganze Arbeit, die ich vorher gemacht habe...

Danke an alle

Share this post


Link to post
Share on other sites

Share this post


Link to post
Share on other sites

Ich wüßte nicht, daß sich da mit einer neueren Version etwas ändert, allerdings wird ein kritisches Sicherheitsproblem gefixt.

Die Zahl der Artikel (inklusive Kombinationen oder kommen da noch welche dazu?) sollte eigentlich möglich sein.

Leider werde ich aus deiner Info nicht schlau. Wie genau hast du den Import durchgeführt? Hast du unbegrenzte max_execution-time? Wann bricht der Import ab und wie äußert sich das? Einmal schreibst du 8/10 (das heißt 8 bis 10 oder 8/10 = 8 Zehntel?) Stunden für 10.000 Artikel, dann daß bereits 1.000 Artikel nicht funktionieren würden (oder meinst du bei Durchlauf X)? Ist nach dem Abbruch der Shop nicht mehr nutzbar und kein weiterer Import möglich?

Edited by rictools (see edit history)

Share this post


Link to post
Share on other sites

7 minutes ago, rictools said:

Ich wüßte nicht, daß sich da mit einer neueren Version etwas ändert, allerdings wird ein kritisches Sicherheitsproblem gefixt.

Die Zahl der Artikel (inklusive Kombinationen oder kommen da noch welche dazu?) sollte eigentlich möglich sein.

Leider werde ich aus deiner Info nicht schlau. Wie genau hast du den Import durchgeführt? Hast du unbegrenzte max_execution-time? Wann bricht der Import ab und wie äußert sich das? Einmal schreibst du 8/10 (das heißt 8 bis 10 oder 8/10 = 8 Zehntel?) Stunden für 10.000 Artikel, dann daß bereits 1.000 Artikel nicht funktionieren würden (oder meinst du bei Durchlauf X)? Ist nach dem Abbruch der Shop nicht mehr nutzbar und kein weiterer Import möglich?

Hallo rictools,

es sind insgesamt ca. 34.000 Artikel, Kombinationen inkl.

Es geht um Bekleidung. Ich habe vom Lieferanten ein einzelnes CSV file "Katalog". Dieses CSV File habe ich dann in Kategorien geteilt, Männer,Frauen und Kinder. Jede Kategorie hat in etwa 10.000 Artikel (inkl. Kombinationen). Ich habe dann Artikel und Kombinationen getrennt, und somit für jede Kategorie 2 CSV Files erhalten, Artikel und Kombinationen.

Ich kann Problemlos 2 Kategorien hochladen, mit der PS Import Funktion, dauert aber dann je file zwischen 8 und 10 Stunden (bei anderen Versuchen auch mehr...). Bei der Letzten Kategorie bricht der Import irgendwann ab, egal ob tagsüber oder nachts. Das Problem ist dann BO komplett weiss, und FO Error 500, und nichts geht mehr. Prestashop gibt mir nur den Fehler: Error im Import Fenster. Muss dann wieder komplett neu installieren und Dienste am server wieder starten.

Wenn ich dann die ganzen Files nochmals trenne, und pro file 1000 Artikel nehme, das selbe Problem, wenn ich die Fotos nicht importiere, auch dasselbe, nichts mehr geht, aber gar nichts mehr. Auch Debug-Mode gibt mir keinerlei Fehlermeldung. Server-Log auch nicht...keine Fehler.

Danke

Share this post


Link to post
Share on other sites

2 minutes ago, rictools said:

Bricht der Import evtl. immer am gleichen Punkt ab (einmal die Reihenfolge der CSV geändert)?

Ach ja, wenn du schon komplett neu installierst, warum dann nicht die aktuelle Version? Welche PHP-Version läuft?

ich habe die Reihenfolge geändert, aber immer dasselbe. Mal bricht es bei 25.000 Artikel ab mal bei etwa 30.000, ist unterschiedlich...

mehr kann ich leider auch nicht sagen...wenn genaue Daten gebraucht werden, müsste ich nochmals einen versuch starten, das dauert dann aber wieder etwa 1 Woche 

Share this post


Link to post
Share on other sites

Ich hatte meinen Post noch ergänzt, ist auch ins Zitat übernommen, hast du aber wohl nicht gesehen.

Die Frage ist halt, gibt es irgendwo eine harte Grenze, die du überschreitest? Vielleicht kannst du mal deine Serverkonfiguration und PHP-Einstellungen posten, möglicherweise kann jemand der sich damit besser auskennt als ich damit etwas anfangen.

Share this post


Link to post
Share on other sites

Die Speichergrenze ist sehr niedrig (900M, ich habe mit einem normalen Hosting schon 4.096M) und eine max_execution_time von 90 Sekunden bedeutet, daß dein Import eigentlich bereits nach dieser Zeit abbrechen müßte, es sei denn, du verwendest ein Modul, das den Import splittet ...

Share this post


Link to post
Share on other sites

2 minutes ago, rictools said:

Die Speichergrenze ist sehr niedrig (900M, ich habe mit einem normalen Hosting schon 4.096M) und eine max_execution_time von 90 Sekunden bedeutet, daß dein Import eigentlich bereits nach dieser Zeit abbrechen müßte, es sei denn, du verwendest ein Modul, das den Import splittet ...

ich verwende die Prestashop Funktion für den Import, kein Modul....bin kein Freund von Modulen...nur die wichtigsten...

Speichergrenze denke ich, kann ich erhöhen, bin auf VPS von Google...

Share this post


Link to post
Share on other sites

Wenn ich das richtig sehe, handelt es sich da um einen kostenlosen VPN-Server in der Cloud von Google? Davon habe ich bisher noch nie etwas gehört, keine Ahnung ob das geeignet ist, um einen Prestashop mit so vielen Produkten zu betreiben, wenn das so wäre, warum bezahlen andere dann Geld für ihre Hostings und Server? Ich finde da auch auf Anhieb keine halbwegs übersichtlichen und verständlichen Infos dazu.

Share this post


Link to post
Share on other sites

1 minute ago, rictools said:

Wenn ich das richtig sehe, handelt es sich da um einen kostenlosen VPN-Server in der Cloud von Google? Davon habe ich bisher noch nie etwas gehört, keine Ahnung ob das geeignet ist, um einen Prestashop mit so vielen Produkten zu betreiben, wenn das so wäre, warum bezahlen andere dann Geld für ihre Hostings und Server? Ich finde da auch auf Anhieb keine halbwegs übersichtlichen und verständlichen Infos dazu.

Naja, kostenlos ist es nicht. Sind ca 300€/Jahr. Ist jetzt nicht übermäßig viel, aber im Gegensatz zu den gängigen Hostings (in Italien zumindest) das dreifache.

ob das dann auch geeignet ist, lasse ich mal dahingestellt, kann ich nicht beurteilen. Kann aber mit Sicherheit sagen, dass auf dem Google VPS Shops mit über 300.000 Artikel ( Auto Ersatzteile) Problemlos laufen. Es wurde lediglich der Speicherplatz am Server erhöht, natürlich gegen Aufpreis.

Ich dachte auch sofort an den Speicherplatz, aber von 40GB wurden bisher Max. 20GB gebraucht (für etwa 20.000 Artikel)

nun bin ich kein IT Experte, muss aber dem Problem auf den Grund kommen.

Habe auf dem selben VPS auch meinen ersten Shop laufen, etwa 6.000 Artikel, ohne Probleme. 

 

Share this post


Link to post
Share on other sites

vor 50 Minuten schrieb dani76it:

Ich denke, dass Google Cloud mit Prestashop funktioniert.

Das denke ich auch, aber ich finde da halt keine verständlichen Infos über Funktionsweise und Umfang bzw. Limits. So gibt es ja einerseits den Speicherplatz für Dateien und andererseits eine Maximalgröße bei Datenbanken (und diese könnte hier verantwortlich sein).

Share this post


Link to post
Share on other sites

27 minutes ago, rictools said:

Das denke ich auch, aber ich finde da halt keine verständlichen Infos über Funktionsweise und Umfang bzw. Limits. So gibt es ja einerseits den Speicherplatz für Dateien und andererseits eine Maximalgröße bei Datenbanken (und diese könnte hier verantwortlich sein).

Speicherplatz ist genug vorhanden. Max Grösse der Datenbank muss ich kontrollieren und eventuell erhöhen.

Danke rictools 

Share this post


Link to post
Share on other sites

On 6/13/2020 at 8:56 AM, Whiley said:

Vermutlich hast du ja Zgriff auf die Server-Log-Files? Was steht denn in der error.log bzw in der acces.log zum Fehlerzeitunkt?

Grüsse
Whiley

habe ich, keine Einträge....keine Fehler 😞

Edited by dani76it (see edit history)

Share this post


Link to post
Share on other sites

On 6/13/2020 at 4:12 PM, rictools said:

Na, du schreibst was von 20 von 40 GB, das ist immerhin die Hälfte und es gibt manchmal zusätzlich eine Beschränkung der Anzahl der Dateien.

ich denke, dass ich so auf etwa 30GB komme, aber leider bin ich noch nicht soweit gekommen....

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share

×
×
  • Create New...

Important Information

Cookies ensure the smooth running of our services. Using these, you accept the use of cookies. Learn More