Import produits CSV: lenteur extrême

[_AtoWeb_]

Bonjour

 

Je dois en urgence importer un catalogue d'environ 10.000 produits (simples, sans déclinaisons) dans un Presta 1.6.1.1 tout neuf.

 

Mon fichier CSV de produits fait 6 Mo, je l'ai tronçonné en paquet de 1000 produits (environ 500 Ko).

 

Au début cela passait à peu près bien, environ 4 min pour le 1er, mais j'en suis au 8ème paquet qui a mis plus d'une heure (mais avec succès, j'ai monté les limites de durées de script au niveau du serveur pour que ça ne plante pas). Et j'ai l'impression que la lenteur est exponentielle. 

 

J'ai bien essayé de relancer le serveur MySQL, mais ça n'a rien changé. 

 

A priori la configuration de mon serveur est largement suffisante (cf détail ci dessous), je pense plutôt à un problème d'optimisation de l'outil d'import. U

 

Config : serveur Plan 4 chez PlanetHoster

4 coeurs, 4 Go de RAM, 60 Go de disque

Intel® Xeon® CPU E5-2680 0 @ 2.70GHz  - Cache 20480 KB

 

La base est en MySQL 5.6.23, les tables sont en MyISAM. 

 

Une astuce pour arriver au bout de mon import ? 

 

Merci. (dispo si besoin de plus d'infos)

[fourquet]

Bonjour,

J'ai aussi fait des imports assez longs et voici ce que j'ai fait

 

1. travaille en local

2. ce qui est long ce sont les images . Si tu en as, ce sont elles qui prennent du temps (création de plusieurs images par produit (small,..). 

 

J'ai pour ma part scinder les produits des images dans 2 fichiers ou plutôt fais 2 imports :1 uniquement produits (qui va vite) et l'autre images.(Pas plus de 500 par fichier). Tu peux laisser tourner le pg longtemps. Ca importe, lentement mais ca importe.

 

Il faut aussi dévalider les types d'image que tu n'as pas dans preferences/images

 

Il ne reste plus qu'à recopier ta base et le repertoire img sur ton serveur

Bonne chance

 

Guillaume

Edited September 28, 2015 by fourquet (see edit history)

[_AtoWeb_]

Mes images (brutes) sont dans un dossier déjà sur le serveur, et je met "ignorer la régénération des miniatures" sur "OUI".

 

Mais oui c'est pas bête, c'est vrai que j'indique leur url absolue et qu'il doit donc certainement les traiter ! Je vais essayer en désactivant la colonne "url de l'image" pour voir. 

[_AtoWeb_]

Bon sur le serveur ce n'est pas la solution en tout cas, j'ai désactivé ("ignorer cette colonne") les deux colonnes "url de l'image" et "remplacer l'image", ça ne change rien, le script tourne environ à un produit toutes les 5 secondes. 

 

Reste à le faire en local si je ne trouve pas d'autre option...

[fourquet]

ce qui prend du temps esr également la création des tables d'index . Supprime les index des tables produit pour les recréer par la suite.

Cela va surement accélérer les choses.

Bonne chance en tous les cas

Edited September 28, 2015 by fourquet (see edit history)

[_AtoWeb_]

J'y suis presque...

 

J'ai une base de preprod dans laquelle le catalogue est à jour (mais pas les clients et commandes), et une autre base (de production) dans laquelle les clients et commandes sont à jour mais pas le catalogue. 

 

Est-ce qu'il est possible de récupérer les tables liées au catalogue (produits, catégories, etc.) d'une base pour les importer dans l'autre ? 

 

Si oui (ce serait juste formidable) quelles tables sont concernées ?