Модуль SEO в 1С-Битрикс позволяет редактировать robots.txt прямо из админки — с генератором стандартных правил и разбивкой по группам поисковых роботов. Это удобнее и безопаснее, чем править файл вручную через FTP.
Где находится инструмент и как открыть
Редактор robots.txt входит в состав модуля Поисковая оптимизация (search engine optimization). Если модуль не установлен, добавьте его через Marketplace → Установленные решения или в разделе управления модулями.
Чтобы открыть инструмент:
- Войдите в административную панель сайта.
- Перейдите в Маркетинг → Поисковая оптимизация → Настройка robots.txt.
- Если сайтов несколько, выберите нужный сайт в выпадающем списке вверху страницы.
Битрикс создаёт и хранит файл в корне публичной части выбранного сайта. Все изменения, сделанные через инструмент, сразу записываются в физический файл /robots.txt.
Генератор стандартных правил
При первом открытии страница предлагает сгенерировать базовый набор директив кнопкой «Создать» (или «Настройки по умолчанию»). Генератор автоматически закрывает от индексации служебные пути 1С-Битрикс, которые не должны попадать в поисковую выдачу.
В стандартный набор входят запреты на индексацию таких путей:
/bitrix/— системные файлы ядра;/upload/— загруженные файлы (при необходимости);/*?и/*&— URL с GET-параметрами;/auth/,/personal/,/cart/— личные и служебные разделы;*/index.php,*/print/— технические дубли страниц.
Сгенерированный набор — это отправная точка. Его почти всегда нужно дополнить правилами под конкретный проект: закрыть страницы фильтра, сортировки, сравнения товаров и другие технические URL.
Редактор правил и вкладки роботов
Интерфейс инструмента разбит на вкладки по группам поисковых систем — обычно Yandex, Google и общая секция User-agent: *. Каждая вкладка формирует свой блок в итоговом файле.
Для добавления правил используются кнопки:
- Запретить URL (Disallow) — добавляет строку
Disallow:с указанным путём; - Разрешить URL (Allow) — добавляет
Allow:для исключений внутри закрытых разделов; - Sitemap (карта сайта) — вставляет директиву
Sitemap:с полным URL до XML-карты; - Host (главное зеркало) — задаёт основной домен (устаревшая директива, актуальна только для отдельных случаев).
Пути можно вводить вручную или выбирать через встроенный обзор структуры сайта — это исключает опечатки в написании разделов. Готовый текст файла отображается в поле предпросмотра внизу страницы, где его при желании можно отредактировать напрямую.
Директивы Sitemap и Host
Директива Sitemap указывает роботам путь к XML-карте сайта. Указывайте полный абсолютный URL с протоколом, например Sitemap: https://example.ru/sitemap.xml. Если карта разбита на несколько файлов, добавьте отдельную строку Sitemap для каждого индексного файла.
При настройке карты сайта через модуль SEO путь к sitemap.xml подставляется в robots.txt автоматически — вручную дублировать директиву не нужно.
Про директиву Host
Директива Host ранее указывала Яндексу главное зеркало сайта. С 2018 года Яндекс перешёл на определение главного зеркала через 301-редирект, поэтому Host считается устаревшей и роботами игнорируется. Склейку зеркал (www / без www, http / https) настраивайте через постоянные редиректы на уровне сервера или модуля SEO.
Пример готового robots.txt
Ниже — упрощённый пример итогового файла для типового сайта на 1С-Битрикс:
| Строка | Назначение |
|---|---|
User-agent: * | Правила для всех роботов |
Disallow: /bitrix/ | Закрыть системные файлы ядра |
Disallow: /personal/ | Закрыть личный кабинет |
Disallow: /*? | Закрыть URL с параметрами |
Allow: /bitrix/images/ | Разрешить нужные картинки |
Sitemap: https://example.ru/sitemap.xml | Путь к карте сайта |
Порядок директив внутри одной группы User-agent для современных роботов не критичен, но логичнее располагать сначала общие запреты Disallow, затем исключения Allow, а строку Sitemap вынести в конец файла.
Частые ошибки
Типичные проблемы при работе с robots.txt в 1С-Битрикс:
- Полное закрытие сайта. Строка
Disallow: /в секцииUser-agent: *запрещает индексацию всего сайта. Частая ошибка при переносе правил с тестового домена на боевой. - Файл в неправильном сайте. В многосайтовой конфигурации инструмент работает с выбранным сайтом. Убедитесь, что редактируете robots.txt нужного домена.
- Физический файл перекрывает настройки. Если в корне лежит статический
robots.txt, загруженный по FTP, а обработчик модуля не подключён, изменения из админки могут не применяться. Проверьте, что файл действительно отдаёт актуальное содержимое. - Относительный путь в Sitemap. Директива
Sitemapтребует полного URL с протоколом и доменом, иначе робот её проигнорирует. - Закрытие CSS и JS. Запрет
/bitrix/целиком может заблокировать стили и скрипты, из-за чего Google хуже отрисовывает страницы. ДобавьтеAllowдля нужных ресурсов. - Кодировка и переносы строк. Файл должен быть в UTF-8 без BOM; каждая директива — на отдельной строке.
Проверка результата
После сохранения обязательно проверьте файл:
- Откройте
https://ваш-домен/robots.txtв браузере и убедитесь, что отдаётся корректное содержимое. - Проверьте синтаксис в Яндекс Вебмастере (Инструменты → Анализ robots.txt) и в Google Search Console.
- Протестируйте конкретные URL: должны ли они быть открыты или закрыты для индексации.
Изменения robots.txt поисковики учитывают не мгновенно — переобход и переиндексация занимают от нескольких часов до нескольких недель.
Итог
Модуль SEO в 1С-Битрикс закрывает всю работу с robots.txt из административной панели: генерирует базовый набор правил под платформу, раскладывает директивы по группам роботов и автоматически подставляет путь к карте сайта.
Практический порядок действий: сгенерировать стандартные правила, дополнить их запретами под фильтры, сортировки и служебные разделы проекта, добавить директиву Sitemap и проверить итог в панелях вебмастеров. Регулярно пересматривайте файл при изменении структуры сайта, чтобы в индекс не попадали технические дубли.