Долго грузится сайт

[kizaika]

Ребята, помогите, пожалуйста!

Ситуация такая - вчера добавляла новые товары, распределяла их по категориям, и вдруг резко сайт практически перестал грузится! Каждая страница грузится по 5 минут! Причем и в админке, и на самом сайте (то есть не из-за веса картинок на сайте). Сейчас товаров на сайте около 26000 (вдруг это важно)
Другой сайт на этом же домене и на этом же сервере спокойно летает, а виарт - никак (
Причем бывают периоды - вроде более-менее начинает грузиться, а потом снова вылетает...
Места на сервере достаточно, возможности сервера позволяют иметь такой объем информации, трафик тоже в норме.

Где искать проблему, что можно сделать? Помогите, плиз

[nikom11]

Советую прочесть ветку , несколько страниц, там как раз были страшные тормоза сайта.

От себя добавлю, тормоза очень сильно сказываются при большом количестве товаров (от 10 тыс), То что сайт вылетает честно говоря не удивительно, так как происходит огромное количество запросов. Если у товаров есть фильтра, и они сделаны как один общий а не для каждой категории отдельно - еще больше увеличивает тормоза.

Места на сервере достаточно, возможности сервера позволяют иметь такой объем информации, трафик тоже в норме.

Уточните инфо о сервере, если это vps или личный хотя бы - тогда в сторону оптимизации сайта все же, если просто хостинг - увы пока решения нигде не встречал. Утверждаю, так как лично поменял сначало 2 хостинга, думал в них проблема, после многих предупреждений уше лна vps^ через время пришлось перейти еще на больший пакет за 45 у.е.

Контрольный вопрос: сколько товаров добавили?))

[kizaika]

Да, у меня vps-хостинг, еще больше 16 гигов свободного места.
Добавила вчера ок. 5000 товаров с фотографиями, остальные 20000 обновляла/редактировала (всем меняла цены, добавляла фотки)

Сайт и раньше грузился так себе, а сегодня все, просто упал. 1-2 страницы еще можно загрузить, а потом просто встает и минут 5-10 грузит страницу

Наша распродажа просто провалилась - клиенты не могут выбрать товары Надо срочно как-то это исправить, а как - не знаю!

[nikom11]

Место - реально не причем. Страшное предчувствие, что виарт просто не в состоянии работать с таким количеством.
У вас апач не ложится? кстати есть ли связка с nginx на сервере?

Одновременно обновлять прайсы или же параметры через cvs для 20 тыс товаров - очень и очень спорно потянет ли, весьма сомневаюсь.
Вы случаем не пробовали для примера оставить только к примеру 10 тыс, и посмотреть разницу? (просто чтобы уже ориентироваться)

На страницах товара есть фильтра? Если да, то каждый сделан отдельно для каждой категории или один общий?

P.S. Насколько я помню в 4.07 версии обещали изменить структуру с выводом тех же брендов (в стандартном виде - происходит очень большая загрузка).

[kizaika]

С помощью ребят из техподдержки решили проблему - удалила лишние товары из спецпредложений, уменьшила количество выводимых товаров в категориях, в дополнительных блоках и т.п. Теперь вроде грузится нормально

Фильтр общий для всех товаров, я его пока тоже убрала, сейчас еще размеры всех картинок поуменьшаю

А вот обновление через csv 20000 товаров (цены-остатки) занимает сейчас 2 минуты, а цены-остатки-описания-спецпредложения и т.п. - минут 10 Это если сразу закидывать файл по ftp, а потом импортировать его, если грузить сам csv через скрипт - то задача сложновыполнимая.

[nikom11]

)Здорово, общие рекомендации как видите помогли. Уделите по возможности внимание на фильтр - создав отдельный для каждой категории, так как если один - то очень потеряете в производительности.

[DiShop]

У вас на хосте сервер под управлением Apache. Для интернет-магазина с большим количеством товаров и посетителей это не самое оптимальное решение. А у вас в Мамадайке ещё и информационный портал и форум и доска объявления. В такой ситуации потребление памяти сервером растет в геометрической прогрессии. Первое что обычно делают в этих случаях это связка из легкого кеширующего сервера Nginx как фронтсервера и Apache как бэксервера. Это позволяет существенно сократить расход памяти и увеличить быстродействие. Еще более производительное решение установка сервера Nginx standalone, при этом Apache полностью убирается из системы, что позволяет добиться еще большей производительности. Это не проблема конкретно Виарта. По первым впечатлениям сам скрипт работает очень шустро и серьезных проблем в программной части пока не видно. То что говорят по фильтрам и производительности, если у вас в магазине более 50000 товаров, то как вы не оптимизируйте запросы выборку всё равно нужно делать из 50000. При существенном количестве товаров любой фильтр высоконагрузочный компонент. Я достаточно много работал с Magento там аналогичная проблема с использованием фильтров и вдобавок ресурсоемкий фреймворк. При сопоставимых функциональных возможностях Виарт в этом плане серьезно выигрывает в значительно меньшем потреблении ресурсов сервера и скорости работы.

[Eugene-n]

Это не проблема конкретно Виарта. По первым впечатлениям сам скрипт работает очень шустро и серьезных проблем в программной части пока не видно. То что говорят по фильтрам и производительности, если у вас в магазине более 50000 товаров, то как вы не оптимизируйте запросы выборку всё равно нужно делать из 50000. При существенном количестве товаров любой фильтр высоконагрузочный компонент.

Есть такая штука как индекс))) и 50000 для базы вообще не количество. Проблема все же в Виарте, если в общем проект сделан грамотно, то все модули типа производители,фильтры, хиты, и.т.д. написаны ногами и порождают множество лишних запросов. Это именно криво написанный код и ничего больше.
Убедиться в этом легко, достаточно включить логирование sql для базы и зайти в список товаров, в логе будет множество однотипных запросов. Если эти ошибки исправить, то можно получить порядка 300-400мс на получение страницы от сервера.
Еще один путь поставить 4.07re где решена проблема с фильтром производителей, снести напрочь все фильтры, снести все модули типа хиты, лучшие, последние.
ЗЫ: ну и нашли с чем сравнить, с главным тормозом Магенто.

[Shmasser]

снести напрочь все фильтры, снести все модули типа хиты, лучшие, последние

1. Снести - в смысле отключить или убрать полностью скрипты?
2. Вы это пробовали, всё получается?
У меня в версии 4.06 пока при небольшом количестве товаров (не более 1000) и мизерном трафике - иногда появляется перегрузка ЦПУ сервера. Последний раз сервер указал её источником - 3.89 % - admin/admin_graph.php

[Subbota]

Эта тема подымалась уже давно, Количество запросов к базе данных , но так и осталась не решенной еще со времен 3.6.

[DiShop]

иногда появляется перегрузка ЦПУ сервера. Последний раз сервер указал её источником - 3.89 % - admin/admin_graph.php

Файл отвечает за формирование графиков в админ. Простые запросы, что-то из кеша. Не очень понятно откуда берутся эти % У Вас случаем не включено Отслеживать заходы на Сайт Просмотренные страницы?

[Shmasser]

Проблема все же в Виарте, ..... все модули типа производители,фильтры, хиты, и.т.д. .... порождают множество лишних запросов. Это именно криво написанный код и ничего больше.

Скорее всего это правда, у меня была сильная перегрузка при выполнении products.php (судя по логам сервера). Видимо он запускает массу процессов, но думаю, начинать нужно именно с него.
Есть вообще компетентные люди, способные провести какой-то анализ ситуации?

Ребята из поддержки - хотите сделать продвигаемый продукт лучше и, значит, более конкурентным? Есть у Вас позиция по этой теме?

Eugene-n, что именно решено в 4.07 ?

DiShop, я даже не нашёл в версии 4.06, где это отключается. Просто удалил этот файл (пока переименовал) - график в админке исчез, вроде всё работает. Понаблюдаю.

[VST]

что именно решено в 4.07 ?

Оптимизирован код и логика работы модуля "Производители". В коде присутствовал цикл генерировавший огромное количество запросов к базе.

[Eugene-n]

Скорее всего это правда, у меня была сильная перегрузка при выполнении products.php (судя по логам сервера). Видимо он запускает массу процессов, но думаю, начинать нужно именно с него.
Есть вообще компетентные люди, способные провести какой-то анализ ситуации?

К сожалению, мало того, что магазин имеет много кривого кода, он еще является мегасуперкомбайном, в результате порождается огромное количество запросов к базе, которые большинству использующих виарт абсолютно не нужно. Основное узкое место - это категория со списком товаров. За него отвечает block_products_list.php и products.php. Второе узкое место - это модули "последние просмотренные, хиты продаж и.т.д.". Еще одно узкое место -это " Настройки отслеживания посещений". Это нужно отключить в настройках системы, т.к. в базе бесконечно растут таблицы va_tracking_visits, va_tracking_pages, плюс запись в таблицу с кучей индексов занимает много времени. Методика решения проблем простая - ставим магазин локально на denwer, включаем логирование для mysql, кликаем на категорию с товаром - любуемся огромным количеством не нужных запросов. Смотрим откуда эти запросы формируются и рубим их в коде. Наверное для этого нужен спец по php.
В идеале это должны сделать сами разработчики Виарта,но им видно недосуг, клепают маркетинговые фичи.

[Shmasser]

Оптимизирован код и логика работы модуля "Производители". В коде присутствовал цикл генерировавший огромное количество запросов к базе.

Отлично. Давайте не останавливаться на достигнутом и оптимизировать дальше:

Основное узкое место - это категория со списком товаров. За него отвечает block_products_list.php и products.php. Второе узкое место - это модули "последние просмотренные, хиты продаж и.т.д.". Еще одно узкое место -это " Настройки отслеживания посещений". Это нужно отключить в настройках системы, т.к. в базе бесконечно растут таблицы va_tracking_visits, va_tracking_pages, плюс запись в таблицу с кучей индексов занимает много времени.

Хотя бы не всё сразу, но последовательно - по важности задач (а они важны!).

[VST]

Замечания по существу.

не всё сразу, но последовательно - по важности задач

Принято.

[Eugene-n]

Еще один момент тормозов. При каждом клике в списке в категории изменяется поле total_view в таблице va_categories. При каждом детальном просмотре товара опять изменяется поле total_view но уже в va_items. Вроде ничего такого, но это самые большие и наиболее используемые таблицы, и если при каждом чихе их менять, то слетает все время query_cache у mysql и убивается производительность. Однозначно такой total_view должен быть в других
таблицах.

[kizaika]

Стоит только немного увеличиться нагрузке на сайт - и сайт опять падает. Поубирала все фильтры/лишние блоки/даже вместо двухуровнего каталога сделала одноуровненвый - все бесполезно. Каждая страница грузится минимум минуту. Я, конечно, понимаю, что товаров много, но по идее же виарт должне спокойно работать с любым количеством...
Посоветуйте, пожалуйста, что еще можно сделать???

[DiShop]

Сколько у Вас товаров? При каком трафике сайт ложится? Вижу используете интеграцию с веб бюллетин сьют это доп. ресурсы.


Открывается очень задумчиво, но пока не лежит.

[kizaika]

Товаров - ок. 40000.
Трафик - начинает страшно медленно грузиться, когда на сайте одновременно смотрят товары 30-50 человек.

Виарт не интегрирован с веб бюллетин, по сути это просто отдельный сайт на том же vps-хостинге.. Который к тому же слабо используется.

Да, сайт не совсем лежит, но проблему это не решает Потому что загрузка страницы более минуты - это слишком медленно, чтобы покупатели не уходили с сайта (