KIRILL_PITER Posted May 3, 2011 Share Posted May 3, 2011 Бьюсь с престой, нужен дельный совет, на форуме как то не активно отвечают на мои вопросы..Проблема в том, что мне нужно загрузить 180000 товаров, хостинг постоянно падает при такой большой загрузке, локально смог подгрузить 50 тысяч за заход и по 20 тысяч проиндексировать.. почему так долго выходит? импортирую 11 мегабайт, а один только импорт занял больше 5 часов, хотя повторюсь делал на локальной машине, отнють не медленной, было включено кэширование, может оно тормозило процесс? делал на денвере, база вышла 65 метров, экспорт успешно, на импорт хостинг не хочет так много принимать, посылает на SSH, а на денвере его у меня нет, а одинаковые ли файлы выходят я не знаю)))) т.е. можно ли импортировать мой экспорт по SSH... все таки не понимаю почему импорт CSV оказывается таким трудоемким... ?? Буду очень признателен за ответы! Link to comment Share on other sites More sharing options...
Ronaldo Perez Posted May 3, 2011 Share Posted May 3, 2011 омг180000 товаров из цсв? Это что за сегмент рынка если не секрет?по теме - речь идет только о цсв? 11 мб вроде не так и много... дроби файл на более мелкие.я не очень понял что за файлы у тебя 11 и 65 метров... SSH на денвере?) он там не нужен, если речь о локалньой машине)ты лучше опиши подробно какая именно у тебя проблема, какие ошибки выдает.. или только скорость страдает?если только скорость - на локальной машине в настройках php.ini выдели больше памяти под php, не помню точное название переменных, гугли.на хостинг 65 метров импорта скорее всего не пролезет, по тем же причинам - настройки пхп у хостера... если доступен ssh - можно залить файл на хостинг и потом из командной строки проимпортить напрямую в базу - но там надо четко понимать что именно ты делаешь) Link to comment Share on other sites More sharing options...
KIRILL_PITER Posted May 3, 2011 Author Share Posted May 3, 2011 SergeyH, привет! Сегмент рынка автозапчасти)) вот и всё!У меня с утра наблюдаются улучшения, возможно я близок к решению проблемы! Но появилась и проблема, описана в этом же разделе)) глянь плиз!А вот подробности:11 метров это CSV с 50000 товаров65 метров это дамп mysql бд сделанной экспортом из phpmyadminда, бд не лезет с локалки в хостинг, т.к. такой большой импорт не дает принять ограничение, хостинг сказхал по SSH, а как мен снять дамп SSH на локальной машине или пойдет и тот, который я по умолчанию сделал через phpmyadmin?Проиндексированная БД заняла 108 мегабайт(50 тысяч товаров) сейчас очень хотелось бы ее подгрузить на сайт на хостинг...Но тут супер идея о том, что может мешать кэширование, поотрубал и чудо, на сайт стало реально много влезать, вот только немного не корректно, описано как я и сказал выше в этом же разделе 5 минут назад!!! радует то, что хостинг стал падать не при 800 товарах, а уже при 40000 тысячах, вот только индексация некорректно отрабатывает! Что ещё мне уточнить? Я онлайн! Link to comment Share on other sites More sharing options...
Ronaldo Perez Posted May 3, 2011 Share Posted May 3, 2011 т.е. у тебя задача - БД с локалки перенести на хостинг, как я понимаю.ну тут тебе прийдется разбираться с SSH и т.п.. через веб интерфейс никто не даст тебе залить файл в 100 метров логично пойти таким путем1. выгружаем sql2. копируем его на хостинг3. заходим по ССШ на хостинг4. заходим консольно в mysql5. импортируем нужный дамп sqlт.е. тебе прийдется разбираться с этим всем, ну или хостера проси, не знаю че у вас там за отношения)sql файл только пожми перед копированием, там текстовый формат, жмется хорошо и трафик/время сэкономишь ------ хостинг стал падать не при 800 товарах, а уже при 40000 тысячахв смысле падать, че пишет то?вообще 180000 товаров - это довольно нетривиальная задача, хотя вроде как прямой зависимости между кол-вом товаров и нагрузкой нет.. но нюансы думаю будут)п.с. и можешь не постить это вс е в баги, это никак не баги престы)п.п.с ..а, еще вариант - при экспорте из пхпмайадмин раздробить файл на кучу мелких, такие чтоб влезали через вебинтерфейс.. и импортить руками) но это конечно пипец сколько клацания мышкой Link to comment Share on other sites More sharing options...
KIRILL_PITER Posted May 3, 2011 Author Share Posted May 3, 2011 Я почти разобрался с импортом, ssh открыл.. много чего понял, не успел попробовать..Не понял как удалить все товары, сейчас делаю это только ставя галочку, стереть предыдущие при добавлении новых товаров!Немного танцев с бубном и у меня вроде как, боюсь сглазить, хотя вроде как не верю в эту ерунду, блин тут поверишь...но все стало проходить, жду окончания загрузки, добавляю 50 тысяч товаров, 26 тысяч уже загрузилось.. проблема вот какая была, нажимаешь импортировать CSV и он думает пока все не импортирует, а потом пишет все окей, так вот этого окей не видишь, он просто пишет страница недоступна и соответственно загрузка перестает добавлять файлы... чушь.. вроде бы.. т.к. процесс идет полностью удаленно, решил попробовать нажать импорт и сразу же закрыть эту страницу, далее пошел в раздел Поиск, а там обновляя страницу видишь сколько у тебя товаров и количество растет!!!! УРА!!! Такую тему я смекнул при индексации, сейчас применил при добавлении товаров! товары у меня без картинок, так что ничего страшного)) уже 29 тысяч.. блин я из за этой фигни сдать сайт не могу... казалось бы все настроил, только самое главное не настроил, добавление тех самых товаров!!! Рад что ты следишь за темой!!! Думаю она может быть кому нибудь полезной!! Все таки преста очень хороший движок, несмотря на кучу сложенных на неё... Link to comment Share on other sites More sharing options...
Ronaldo Perez Posted May 3, 2011 Share Posted May 3, 2011 в настрйоках пхп кроме размера загружаемого файла, еще выставляется максимальное время на исполнение скрипта.. и если допустим импорт должен занимать 15 мин, а в настрйоках указано 5... проимпортится только часть. Речь идет о работе через браузер.В любом случае как разберешься, отпишись сюда, людям будет полезно Link to comment Share on other sites More sharing options...
sors Posted May 4, 2011 Share Posted May 4, 2011 Чтобы уменьшить размер базы нужно удалить все языки, кроме используемого.А вы подумали как будете обновлять эти товары? Вообще вряли все товары у вас в CSV хранятся изначально. Скорее всего используется какая-то складская программа. Лучшим решением было бы интегрировать ее с престой напрямую без CSV. Link to comment Share on other sites More sharing options...
Ronaldo Perez Posted May 4, 2011 Share Posted May 4, 2011 можно выгружать в цсв только товары с изменившимся состоянием склада/ценой, но это временная мера Link to comment Share on other sites More sharing options...
SPolischook Posted May 8, 2011 Share Posted May 8, 2011 Ну как дела то? Интересно как ворочается Преста с таким количеством товара, и какие параметры сервера. Дайте хоть ссылку когда закончите, интересно ведь Link to comment Share on other sites More sharing options...
Recommended Posts
Create an account or sign in to comment
You need to be a member in order to leave a comment
Create an account
Sign up for a new account in our community. It's easy!
Register a new accountSign in
Already have an account? Sign in here.
Sign In Now