Настройка robots.txt и sitemap.xml в Битрикс

Что такое robots.txt и зачем он нужен

robots.txt — это текстовый файл, размещенный в корневой папке сайта. С помощью правил и директив, прописанных в robots.txt можно разрешить или запретить роботам индексировать страницы, указать ссылку на актуальную карту сайта (sitemap.xml) и управлять скоростью краулинга, что позволяет экономить краулинговый бюджет.

Правильная настройка robots.txt — важная часть технического SEO. За счет исключения из индексации технических страниц, фильтров, параметров URL и дублей качество индекса улучшается, а скорость индексации страниц ускоряется.

В чем особенность настройки robots.txt для Яндекса и Google

В 1С-Битрикс есть возможность задавать отдельное правило для разных поисковых систем, это особенно удобно если сайт является мультирегиональным или у него есть активные зеркала. Например, бывает необходимо разрешить или запретить индексацию некоторых разделов только для Яндекса или только для Google.

Интерфейс инструмента настройки robots.txt в Битрикс предусматривает шаблоны директив и примеры для популярных задач. Поэтому настройка становится понятной даже для начинающих seo-специалистов.

Например:

• User-agent: Yandex / User-agent: Googlebot — указание правил для конкретного робота.
• Disallow: /bitrix/ — запрет на индексацию системных папок.
• Allow: — разрешение индексации отдельных страниц.
• Host: — указание основного зеркала сайта (только для Яндекса).
• Sitemap: — путь к карте сайта в формате XML.

После сохранения изменений Bitrix автоматически обновит файл robots.txt на сервере. Рекомендуется проверить его содержимое вручную, перейдя по адресу https://ваш_домен/robots.txt, чтобы убедиться в корректности настроек.

Как настраивается robots.txt в Битриксе

Bitrix упрощает работу с файлом robots.txt благодаря встроенному seo-инструменту. Для редактирования необходимо:

• Перейти в административную панель сайта.
• Открыть раздел «Маркетинг» → «Поисковая оптимизация» → «Настройка robots.txt».
• Выбрать поисковую систему (Яндекс, Google или обе сразу).
• С помощью кнопок и выпадающих списков задать нужные директивы: запрет на индексацию папок, указание главного зеркала, подключение sitemap и другие параметры.

Преимущество такого способа — отсутствие необходимости вручную писать синтаксис: система сама сформирует корректный файл на основе введенных параметров. Для начала, можно воспользоваться стартовым набором директив.

Пример базового robots.txt для сайта на 1С-Битрикс

Что такое карта сайта и зачем она нужна для SEO

Карта сайта (sitemap.xml) представляет собой файл, в котором перечислены адреса веб-страниц в сочетании с метаданными, связанными с этими адресами – например, дата последнего изменения страницы. 

С помощью карты сайта вебмастер сообщает поисковым системам о страницах, доступных для сканирования. Это повышает скорость обновления индекса и помогает избежать пропуска важных страниц.

Особенности настройки sitemap в Битриксе

Генерация карты сайта в Битриксе производится автоматически с помощью инструментов, встроенных в систему управления контентом. 

Но при необходимости вы можете создать ее самостоятельно вручную и указать, какие страницы будут включены для последующей индексации поисковыми роботами.

Инструмент для генерации и настройки sitemap.xml также находится в разделе «Маркетинг» → «Поисковая оптимизация». При переходе в настройки откроется соответствующее диалоговое окно.

Если карта сайта еще не создана, то необходимо ее добавить. В форме настроек указать:

• Имя карты сайта;
• Путь к файлу (обычно это /sitemap.xml);
• Сайт (если используется несколько сайтов или поддоменов).

Далее остается только настроить ее для конкретного сайта и отметить нужные разделы.

На вкладках “Файлы” и “Инфоблоки” отметьте чек-боксами, какие страницы и данные включать.

• На вкладке “Файлы” задаются статические страницы сайта, подлежащие индексации.
• На вкладке “Инфоблоки” выбираются элементы динамического контента.

Если данные инфоблока должны индексироваться, система автоматически создаёт отдельный файл карты сайта и подключает его к основному sitemap.xml.

Имя файла формируется по шаблону, заданному в поле “Шаблон имени файла карты сайта с данными инфоблоков”, и сам файл также будет подключаться к главному файлу карты сайта.

Дополнительные опции для инфоблоков

В разделе “Инфоблоки” перечислены все инфоблоки сайта, для которых можно установить следующие опции:

• Автогенерация - карта сайта автоматически обновляется при добавлении, изменении или удалении элементов. Это обеспечивает постоянную актуальность sitemap и улучшает техническое SEO.
• Список - добавляет в карту адрес индексной страницы инфоблока. 

• Секции - определяет, какие разделы инфоблока индексируются.

Для выбора разверните структуру инфоблока и отметьте секции, которые должны быть проидексированы.

• Элементы - задает индексацию отдельных элементов инфоблока.

Важно: если у раздела снята галочка “Элементы”, то индексироваться будут только отмеченные подразделы. Например, если для раздела “Одежда” снята галочка, а для подраздела “Обувь” — установлена, то в индекс попадут только страницы “Обувь”.

Когда все параметры для построения карты заданы, можно нажать “Сохранить”, чтобы зафиксировать настройки, или “Сохранить и запустить”, чтобы сразу сгенерировать карту сайта.

Такая автоматизация помогает ускорить процесс индексации и улучшить структуру сайта для поисковых систем.

Пример, как выглядит карта сайта в Битриксе

Итоги и рекомендации по SEO-оптимизации

Правильно настроенные robots.txt и sitemap.xml — это основа технического SEO сайта на 1С-Битрикс.
Они помогают:

• контролировать процесс индексации сайта;
• экономить краулинговый бюджет поисковых систем;
• устранять дубли страниц и улучшать структуру сайта;
• ускорять обновление страниц в поисковой выдаче.

Рекомендуется регулярно проверять robots.txt и sitemap.xml после изменений структуры сайта или контента.

Это поможет поддерживать корректную индексацию, повысить позиции в поиске и улучшить качество органического трафика.