Импорт 100K-1M товаров на Битрикс без падений и таймаутов

Когда каталог переваливает за сотню тысяч позиций, у владельца магазина появляется неприятная привычка: следить за импортом по ночам. Загрузка то падает по таймауту, то роняет сервер нехваткой памяти, то занимает столько времени, что цены и остатки устаревают раньше, чем обновятся. Соблазн понятен — оставить всё как есть и просто перезапускать упавший импорт вручную. Но на большом каталоге это путь к постоянным простоям, устаревшим ценам и потерянным заказам. Ниже разбираем, почему стандартная загрузка не тянет объём, что именно меняет высокопроизводительный импорт и как мы строим его так, чтобы он работал годами.

Почему стандартный импорт не справляется с объёмом

Механизм импорта в Битриксе спроектирован под универсальность, а не под скорость на больших объёмах. Каждая позиция при загрузке проходит полный цикл: создаётся элемент инфоблока, пересчитываются цены, обновляется поисковый индекс, срабатывают события модулей, чистится кэш. На каталоге в несколько тысяч товаров эта работа незаметна. Но умножьте её на сотни тысяч строк — и получите колоссальный объём операций, который сервер физически не успевает выполнить за отведённое время. Процесс упирается в таймаут и обрывается, не дойдя до конца.

Вторая беда — память. Стандартная загрузка накапливает объекты и данные по ходу работы, и на больших объёмах потребление растёт неконтролируемо, пока процесс не упрётся в лимит и не рухнет. Третья — блокировки: пока идёт тяжёлая загрузка, база занята, и сайт начинает тормозить или отдавать ошибки покупателям. В итоге владелец каталога оказывается перед выбором: грузить по ночам и молиться, чтобы не упало, или дробить каталог на куски руками. И то, и другое — не решение, а костыль.

Что меняет высокопроизводительный импорт

Высокопроизводительный импорт переписывает саму схему загрузки. Вместо поштучной записи через тяжёлый механизм мы дробим каталог на порции и грузим их короткими шагами по таймеру. Каждый шаг укладывается в безопасное время и сохраняет точку остановки, поэтому таймаут становится невозможным, а при сбое процесс продолжает с прерванного места. Запись идёт прямыми пакетными SQL-вставками — данные пишутся сразу порциями, минуя поштучный цикл, и это ускоряет загрузку в десятки раз. На время массовой вставки мы временно гасим лишние обработчики и переиндексацию, а затем запускаем их один раз для всего объёма.

Сотни характеристик товаров мы выносим в highload-блоки — специальное хранилище Битрикса, рассчитанное на большие объёмы записей. Инфоблок при этом остаётся лёгким, и от этого выигрывают и импорт, и сам сайт. А регулярные обновления идут дельтой: система сравнивает новый прайс с базой и грузит только изменившиеся позиции, цены и остатки. Вместо ночной перезаливки миллиона строк база получает несколько тысяч изменений за минуты. Если каталог уже подтормаживает витрину, имеет смысл параллельно заняться его ускорением — об этом ниже.

Когда перестройка окупается, а когда хватит малого

Мы не уговариваем всех подряд переписывать импорт целиком. Если каталог небольшой и обновляется редко, стандартного механизма вполне достаточно, и тратиться на перестройку незачем. Высокопроизводительный импорт оправдан, когда позиций десятки и сотни тысяч, характеристик много, а цены и остатки меняются часто. В этом случае каждое падение загрузки — это устаревшие цены, недоступный товар и потерянные заказы, и стоимость перестройки окупается экономией на простоях и ручной работе. На бесплатном аудите загрузки мы замеряем ваш текущий импорт и честно говорим, что выгоднее: полная перестройка, точечное ускорение или достаточно навести порядок в источнике данных.

Как мы ведём работу

Старт — это аудит текущей загрузки. Мы замеряем объём каталога, время импорта, потребление памяти, смотрим, на каком этапе процесс падает и что именно его тормозит. На основе замеров проектируем схему: пакетную обработку, структуру highload-блоков под характеристики и правила дельта-обновлений. Дальше пишем шаговый импорт с прямыми вставками, очередями, агентами и контролем ресурсов, прогоняем его на полном объёме каталога в нагрузочном тесте и только после этого переключаем рабочий сайт. Подробнее общий процесс импорта и экспорта данных мы описали на странице импорта и экспорта данных.

Особое внимание — источнику данных. Прайсы приходят в разных форматах — Excel, CSV, XML, JSON, YML, CommerceML — и от качества разбора зависит надёжность всей загрузки. Под каждый источник мы подбираем устойчивый парсер, настраиваем сопоставление товаров по артикулу или внешнему коду и правила для пропавших позиций. Если форматов несколько, объединяем их в единый поток. Когда задача — именно настроить разбор разных форматов прайсов, мы выделяем её в отдельную работу по импорту товаров из Excel, CSV, XML, JSON, YML и CommerceML.

Импорт и скорость самого каталога

Быстрый импорт решает половину задачи — загрузить миллион позиций. Вторая половина в том, чтобы такой каталог быстро работал на витрине: открывались разделы, фильтры, карточки товаров. Гигантский каталог без оптимизации тормозит независимо от того, как он загружен, поэтому импорт и ускорение каталога часто идут в связке. Highload-блоки, которые мы используем при импорте, как раз и разгружают каталог, но для полноценной скорости витрины нужна отдельная работа — кэширование, оптимизация фильтров и запросов. Этим занимается услуга оптимизации каталога 100K-1M товаров, и мы рекомендуем смотреть на импорт и скорость как на две стороны одной задачи.

На практике связка работает так: высокопроизводительный импорт держит данные свежими и грузит миллион позиций без падений, а оптимизация каталога делает так, чтобы покупатель этого миллиона не замечал и листал страницы мгновенно. Вместе они превращают тяжёлый каталог из источника проблем в управляемый актив, который можно наращивать без страха, что сайт ляжет или импорт зависнет на полночи.

Надёжность и контроль

Большой каталог — это ежедневная работа, поэтому к надёжности импорта мы относимся серьёзно. Шаговый импорт сохраняет точку остановки и при сбое продолжает с прерванного места, а не теряет весь прогресс. Проблемные строки не роняют загрузку, а откладываются в отдельный отчёт, чтобы их можно было разобрать, — миллион позиций грузится дальше, даже если несколько десятков оказались битыми. Импорт ведёт подробные логи по строкам и шлёт оповещения о результатах на почту или в мессенджер, превращаясь из чёрного ящика в прозрачный процесс. Перед крупными изменениями делаем резервную точку, чтобы неудачную загрузку можно было откатить.

Возражения, которые мы слышим чаще всего

«У нас и так грузится, просто медленно и иногда падает — может, оставить как есть». Медленная загрузка с периодическими падениями — это скрытые потери: устаревшие цены, недоступный товар, ночные дежурства у админки и риск уронить сайт в пик. Высокопроизводительный импорт убирает эти потери, и на большом каталоге он окупается быстрее, чем кажется. Точную картину даёт аудит загрузки — мы замеряем, сколько времени и нервов уходит сейчас.

«Боимся, что новый импорт сломает данные или сам сайт». Поэтому мы и разрабатываем его параллельно с работающим сайтом, тестируем на полном объёме каталога и переключаемся только после нагрузочного теста. Перед изменениями делаем резервную точку, ведём логи и предусматриваем откат. Ядро Битрикса не правим — логику выносим в свои модули и агенты, поэтому обновления платформы проходят без конфликтов.

«Это слишком сложно и дорого для нашего магазина». Поэтому мы и разбиваем работу на уровни: можно начать с ускорения текущей загрузки, а highload-блоки, дельту и очереди добавить позже, по мере роста каталога. Умный расчёт на этой странице помогает заранее прикинуть, сколько часов и денег вернёт быстрый импорт именно в вашем случае.

Сценарии, под которые мы строим импорт

Каталоги бывают очень разными, и схему загрузки мы подстраиваем под вашу модель. Для магазина электроники с миллионом позиций и сотнями характеристик ядром становятся highload-блоки и прямые вставки — иначе ни импорт, ни витрина не справятся с объёмом свойств. Для автозапчастей на первый план выходит сопоставление по артикулам из нескольких прайсов и аккуратная обработка совместимостей. Для маркетплейса критична частота: цены и остатки нужно обновлять дельтой каждые несколько минут, не блокируя витрину, поэтому в центре схемы — очереди и фоновые агенты.

Отдельный сценарий — поставка из множества источников. Когда прайсы приходят от десятков поставщиков, из учётной системы и с площадок, важно не просто быстро грузить, а свести всё в единый каталог без дублей и потерь. Мы настраиваем правила сопоставления, приоритеты источников и обработку пропавших позиций, а дельта-обновления держат такой сводный каталог свежим без ручной рутины. Все эти сценарии живут на одной архитектуре импорта, которую мы проектируем с запасом по объёму, чтобы переход с двухсот тысяч на миллион позиций не требовал переписывать загрузку заново.

Этапы работы по шагам

Чтобы проект был предсказуемым, мы разбиваем его на понятные этапы с результатом на каждом. Первый этап — аудит загрузки: замеряем объём, время и память, фиксируем, где падает и что тормозит. Второй — проектирование: описываем пакетную обработку, структуру highload-блоков и схему дельты, согласуем правила сопоставления и обработки пропавших позиций. Третий — разработка: пишем шаговый импорт с прямыми вставками, очередями, агентами и контролем ресурсов. Четвёртый — нагрузочный тест на полном объёме каталога, чтобы убедиться в отсутствии падений и таймаутов.

Дальше — запуск: ставим импорт на расписание, настраиваем дельту, логи и оповещения, переключаем рабочий сайт. Финальный этап — передача исходников, настроек и документации плюс обучение ваших контент-менеджеров и администраторов. После запуска предлагаем сопровождение и мониторинг загрузки, но импорт полностью остаётся под вашим контролем: развивать его сможет как наша команда, так и любой другой исполнитель.

С чего начать

Начните с разговора. Расскажите об объёме вашего каталога, источниках данных и частоте обновлений — мы замерим текущую загрузку, покажем, где она теряет время, предложим схему высокопроизводительного импорта под вашу задачу и пришлём смету в течение рабочего дня. Аудит загрузки бесплатный, и по его итогам вы получите честную картину: что перестраивать в первую очередь, какой эффект это даст и за какой срок окупится. Мы не навязываем максимальный вариант: если по замерам достаточно точечного ускорения, так и скажем, а полную перестройку с highload-блоками, очередями и дельтой предложим только там, где она реально окупается объёмом и частотой обновлений. Обсудим ваш проект — и превратим импорт миллиона товаров из ночной головной боли в управляемый процесс, который грузит каталог стабильно и быстро без падений, таймаутов и ночных дежурств у админки.