Robots.txt и sitemap.xml для большого магазина на 1С-Битрикс

На каталоге в сотню товаров поисковик обойдёт всё и не заметит лишнего. На каталоге в десятки и сотни тысяч URL картина меняется: умный фильтр, сортировки и параметры порождают бесконечные комбинации адресов, и робот тратит силы на мусорные дубли вместо важных страниц. Два файла держат этот хаос в узде — robots.txt и sitemap.xml. Первый говорит, куда роботу ходить не нужно, второй — где лежат страницы, которые стоит обойти в первую очередь.

Эта статья — практическое руководство по настройке robots и sitemap для большого магазина на 1С-Битрикс: что закрывать, как разбить огромную карту сайта, чем robots отличается от noindex и canonical. Материал из нашей практики проектирования SEO-структуры каталогов — по делу, без «секретов продвижения».

Зачем большому каталогу управлять обходом

Поисковый робот не обходит сайт бесконечно. У каждого сайта есть условный лимит того, сколько страниц робот готов обойти за единицу времени, — и чем больше каталог, тем заметнее этот лимит. Если робот тратит обход на тысячи почти одинаковых страниц фильтра, до новых товаров и важных категорий он добирается медленнее, а то и вовсе откладывает их.

Управление обходом решает три задачи сразу: робот не распыляется на мусор, важные страницы индексируются быстрее, а в выдачу не попадают технические и дублирующие адреса. Для маленького сайта это незаметно, для большого магазина — прямое влияние на то, как быстро новинки появляются в поиске.

Что считается «мусором» для робота

• Параметрические дубли фильтра. Один и тот же набор товаров, доступный по десяткам комбинаций GET-параметров.
• Сортировки и пагинация. «Сначала дешёвые», «по популярности», страница 2, 3, 4 — контент почти тот же.
• Служебные разделы. Корзина, оформление заказа, личный кабинет, сравнение, результаты поиска по сайту.
• Технические URL. Системные пути платформы, файлы обработки форм, версии для печати.

Краулинговый бюджет простыми словами

«Краулинговый бюджет» звучит сложно, но идея простая: это объём внимания, который поисковик выделяет вашему сайту. Он не фиксирован и зависит от авторитета сайта, скорости ответа сервера и того, насколько «чистую» структуру вы отдаёте. Сайт, который заваливает робота дублями и медленно отвечает, получает меньше внимания к по-настоящему важным страницам.

На бюджет влияют факторы, часть которых в вашей власти:

Скорость здесь не случайна: чем быстрее отвечает сайт, тем больше страниц робот успевает обойти за тот же визит. Поэтому управление обходом тесно связано с производительностью — про неё мы пишем в материалах рубрики «Разработка и архитектура», в частности про композитный сайт и Core Web Vitals.

Robots.txt: что это и как читается

Robots.txt — текстовый файл в корне сайта, который читает поисковый робот перед обходом. В нём директивами описано, каким роботам куда можно и нельзя. Базовый синтаксис состоит из нескольких директив:

Главное, что нужно понимать про robots.txt: это рекомендация для обхода, а не запрет на индексацию. Добросовестные роботы её соблюдают и не ходят в закрытые разделы. Но если на закрытую страницу ведут внешние ссылки, она всё равно может попасть в индекс — без описания, «голым» адресом. Поэтому robots применяют, чтобы экономить обход, а для гарантированного исключения из выдачи используют noindex (об этом ниже).

Что закрывать в robots для магазина

Типовой набор того, что закрывают от обхода в интернет-магазине на 1С-Битрикс, складывается из служебных разделов и динамических дублей. Конкретные пути зависят от структуры сайта, но логика общая:

• Корзина и оформление заказа. Эти страницы персональны и не нужны в поиске.
• Личный кабинет и авторизация. Закрытые от посторонних разделы.
• Поиск по сайту и сравнение. Генерируют бесконечные комбинации запросов.
• Параметры фильтра и сортировки. GET-параметры, порождающие дубли, — но не чистые ЧПУ-посадочные.
• Системные пути платформы. Служебные каталоги ядра и обработчики.

Как именно превратить комбинации фильтра в индексируемые посадочные с уникальными метатегами, мы разбираем в отдельной статье про SEO-шаблоны метатегов для умного фильтра. Robots и шаблоны — две стороны одной задачи: одни комбинации открываем и снабжаем метатегами, другие закрываем от обхода.

Фильтр, сортировки и параметрические дубли

Самый обильный источник мусорных URL в магазине — это динамика каталога. Умный фильтр, сортировки, переключение вида и пагинация легко порождают десятки адресов с одинаковым или почти одинаковым содержимым. Если их не контролировать, робот утонет в них.

Стратегия работы с параметрическими дублями состоит из нескольких слоёв, которые применяют вместе:

• ЧПУ для спроса. Осмысленные комбинации получают чистый адрес и индексируются — это посадочные.
• Закрытие параметров в robots. Технические GET-комбинации (сортировка, вид, незначимые параметры) закрываются от обхода.
• Clean-param для незначимых параметров. Для роботов, которые её понимают, директива помогает «склеить» адреса, отличающиеся только мусорным параметром.
• Canonical на основную версию. Пагинация, сортировки и неприоритетные комбинации указывают каноническим адресом на главную версию раздела.
• Стабильный порядок параметров. Нормализация строки фильтра, чтобы «цвет+бренд» и «бренд+цвет» не давали два разных адреса.

Ни один из этих приёмов не решает задачу в одиночку — они работают в связке. Robots экономит обход, canonical склеивает дубли в индексе, а чистые ЧПУ собирают трафик. Подробнее про сами посадочные из фильтра — в статье про фасетную навигацию и SEO.

Robots.txt в 1С-Битрикс: штатный инструмент

В 1С-Битрикс не обязательно писать robots.txt вручную в блокноте — есть штатный инструмент «Управление robots.txt» в модуле «Поиск/SEO». Он позволяет собирать файл по блокам: добавить базовые правила, закрыть системные разделы платформы, дописать свои директивы и указать карту сайта. Это удобнее ручного редактирования и снижает риск опечатки в синтаксисе.

Схематично интерфейс выглядит как набор строк-директив, которые можно добавлять и удалять:

Sitemap.xml: карта для поисковика

Если robots.txt говорит роботу, куда не ходить, то sitemap.xml — наоборот, подсказывает, какие страницы стоит обойти. Это XML-файл со списком URL, который помогает поисковику быстрее находить контент, особенно на большом сайте, где не все страницы связаны короткими цепочками ссылок.

Каждая запись в карте — это адрес и, опционально, служебные подсказки: дата последнего изменения, частота обновления, приоритет. Поисковики относятся к ним как к рекомендации, а не приказу, но сам факт наличия чистой, актуальной карты помогает обходу. Главное правило карты — в ней должны быть только те страницы, которые вы хотите видеть в индексе: реальные товары, категории, посадочные, статьи. Никаких закрытых, технических или дублирующих URL.

Что должно и не должно быть в карте

• Должно: категории каталога, карточки товаров, индексируемые ЧПУ-страницы фильтра, статьи блога, статические посадочные.
• Не должно: корзина, личный кабинет, страницы с параметрами, сортировки, всё, что закрыто в robots или помечено noindex.

Логическое противоречие, которого важно избегать: страница не может быть одновременно закрыта в robots и присутствовать в sitemap. Если адрес есть в карте — он должен быть открыт для обхода и индексируем. Несогласованность robots и sitemap — частая причина путаницы в обходе.

Большой каталог: разбиение карты на части

У формата sitemap есть жёсткие ограничения: один файл вмещает не более 50 000 URL и не должен превышать установленный лимит по размеру. Каталог крупного магазина легко выходит за эти рамки. Решение — разбить карту на несколько файлов и собрать индексный sitemap (sitemap index), который ссылается на части.

Удобная практика для большого магазина — бить карту по смыслу, а не просто по 50 000 строк:

Такое разбиение не только обходит лимит, но и упрощает диагностику: по статистике обхода каждой части в панели вебмастера видно, какой раздел индексируется хорошо, а какой проседает. Это намного нагляднее, чем смотреть на один гигантский файл.

Генерация sitemap в 1С-Битрикс

Карту сайта в 1С-Битрикс не собирают вручную — для этого есть штатный генератор в модуле «Поиск/SEO». Он обходит структуру сайта по заданным правилам, формирует sitemap.xml, при необходимости разбивает его на части и создаёт индексный файл. Общий порядок настройки выглядит так:

1. Откройте настройки карты сайта. В модуле «Поиск/SEO» найдите раздел генерации sitemap для нужного сайта.
2. Выберите, что включать. Отметьте разделы каталога, инфоблоки и статические страницы, которые должны попасть в карту; исключите служебное.
3. Включите разбиение. Для большого каталога задайте разбиение на части и формирование индексного файла, чтобы не упереться в лимит.
4. Сгенерируйте и проверьте. Запустите генерацию и убедитесь, что в карте нет закрытых и мусорных URL.
5. Поставьте на расписание. Через агент задайте автоматическое обновление карты, чтобы она не устаревала по мере роста каталога.
6. Укажите карту в robots.txt. Пропишите строку Sitemap с адресом индексного файла и при желании загрузите карту в панель вебмастера.

Автоматизация здесь ключевая: на активном магазине каталог меняется ежедневно, и карта, собранная один раз руками, быстро устареет. Агент, перегенерирующий sitemap по расписанию, снимает эту заботу.

Robots, noindex и canonical: кто за что

Три инструмента часто путают и применяют не по назначению. У каждого своя роль, и понимание различий избавляет от типичных ошибок вроде «закрыл в robots, а оно всё равно в индексе».

Важный нюанс: noindex и robots Disallow для одной страницы конфликтуют. Если страница закрыта в robots, робот не зайдёт на неё и не увидит метатег noindex — то есть не узнает, что её надо убрать из индекса. Поэтому, когда задача именно «убрать из индекса», страницу оставляют открытой для обхода, но помечают noindex; а robots используют там, где достаточно просто не пускать робота.

Мультирегион и поддомены

Если магазин работает на несколько регионов, схема robots и sitemap усложняется. Здесь важно понимать техническую деталь: robots.txt привязан к хосту. У каждого поддомена (msk.site.ru, spb.site.ru) свой robots.txt по своему адресу, и каждый поддомен должен отдавать свою карту сайта.

Практические правила для мультирегиона:

• Поддомены. Для каждого региона-поддомена — свой robots.txt и свой sitemap.xml с региональными адресами. Обычно их формируют единообразно по шаблону, но физически это разные файлы.
• Регионы-папки. Если регионы реализованы папками на одном домене, robots один, и в нём учитываются региональные пути.
• Согласованность с canonical. Чтобы региональные версии одной страницы не конкурировали как дубли, между ними настраивают канонические и языковые/региональные указания.

Тема большая и тесно связана с архитектурой мультирегионального сайта — её стоит проектировать заранее, а не достраивать robots поверх готовой структуры. Если у вас именно такой проект, посмотрите смежные услуги в каталоге услуг B2Bsite: SEO-структуру и мультирегион удобнее закладывать вместе.

Проверка и мониторинг обхода

Настроить robots и sitemap — половина дела; вторая половина — убедиться, что они работают как задумано, и следить за этим дальше. Проверка состоит из нескольких шагов, которые стоит пройти после каждого крупного изменения структуры.

• Валидация robots.txt. Проверьте файл инструментом анализа в панели вебмастера: что нужные страницы открыты, а мусорные закрыты.
• Проверка sitemap. Убедитесь, что карта валидна, в ней нет закрытых URL и битых адресов, а индексный файл корректно ссылается на части.
• Согласованность. Ни один URL из sitemap не должен быть закрыт в robots или помечен noindex — это противоречие.
• Статистика обхода. Следите в вебмастере, какие разделы обходятся, сколько страниц в индексе, нет ли всплеска «мусорных» URL.

Мониторинг важен, потому что структура магазина живёт: добавляются разделы, меняется фильтр, появляются новые параметры. То, что было настроено год назад, могло разойтись с текущей структурой. Регулярная сверка robots и sitemap с реальным каталогом — часть здоровой SEO-гигиены.

Частые ошибки в robots и sitemap

Эти промахи встречаются особенно часто и стоят сайту индексации или трафика:

• Закрыли весь каталог. Слишком широкая маска Disallow случайно закрывает важные разделы — трафик падает, а причину ищут неделями.
• Закрыли индексируемые ЧПУ фильтра. Вместе с мусорными параметрами под маску попали посадочные страницы фильтра.
• noindex + robots на одной странице. Робот не заходит из-за robots и не видит noindex — страница остаётся в индексе.
• Устаревший sitemap. В карте удалённые товары и нет новых — поисквик получает неверную подсказку.
• Мусор в sitemap. В карту попали страницы с параметрами, корзина или закрытые разделы.
• Карта не разбита на части. Гигантский каталог пихают в один файл, превышая лимит в 50 000 URL.
• Sitemap не указан в robots. Карта есть, но робот о ней не знает, потому что нет строки Sitemap и она не загружена в вебмастер.
• Конфликт ручного и штатного robots. Файл правят и руками, и инструментом Битрикса — изменения затираются.

Чек-лист настройки

Сведём всё в практический список для приёмки перед запуском:

1. Robots собран. Закрыты корзина, кабинет, поиск, сравнение, системные пути и мусорные параметры фильтра.
2. ЧПУ открыты. Индексируемые посадочные фильтра не попали под маски Disallow.
3. Sitemap чистый. В карте только индексируемые страницы, без закрытых и мусорных URL.
4. Карта разбита. Для большого каталога настроено разбиение на части и индексный файл.
5. Генерация автоматизирована. Карта обновляется по расписанию через агент.
6. Sitemap указан в robots. Прописана строка Sitemap, карта загружена в панель вебмастера.
7. Нет противоречий. Ни один URL не закрыт в robots и одновременно не присутствует в карте.
8. Роли разведены. Где нужно исключение из индекса — noindex, где склейка дублей — canonical, где экономия обхода — robots.
9. Проверка пройдена. Файлы провалидированы, статистика обхода под наблюдением.

Вывод

На большом магазине robots.txt и sitemap.xml — это не «галочка для SEO», а инструменты управления вниманием поисковика. Robots закрывает от обхода мусорные дубли фильтра, сортировки и служебные разделы, sitemap отдаёт чистый список важных страниц и разбивается на части под объём каталога, а noindex и canonical берут на себя то, чего robots не умеет. Вместе они тратят краулинговый бюджет на товары и категории, а не на бесконечные комбинации параметров.

Главное — согласованность: один URL не может быть и в карте, и под запретом; роли robots, noindex и canonical не пересекаются; карта не устаревает. Настройте эту дисциплину один раз и следите за ней при росте каталога — и поисковик будет находить ваши новинки быстрее, а в выдаче не появится технического мусора.