Robots.txt и Sitemap.xml - два файла которые напрямую влияют на то как поисковые роботы обходят и индексируют ваш сайт. Ошибка в robots.txt может закрыть от индексации весь сайт. Отсутствие Sitemap замедляет индексацию новых страниц. Разбираем как правильно настроить оба файла.
Что такое robots.txt и зачем он нужен
Robots.txt - текстовый файл в корне сайта, который содержит инструкции для поисковых роботов: какие страницы можно индексировать, какие нет. Поисковики читают этот файл перед тем как обходить сайт.
- Экономия краулингового бюджета: поисковик тратит ограниченное время на обход сайта. Закрывая технические страницы, вы направляете этот бюджет на важные страницы
- Защита служебных разделов: закрывайте от индексации админку, корзину, личный кабинет, страницы поиска по сайту
- Управление дублями: можно закрыть параметры URL которые создают дублированный контент
Важно: robots.txt - это рекомендация, а не запрет. Добросовестные поисковики соблюдают его, но файл не защищает страницы от прямого доступа пользователей.
Как правильно настроить robots.txt
Базовая структура файла robots.txt:
User-agent: * - правила для всех роботов
Disallow: /admin/ - закрыть раздел от индексации
Allow: / - разрешить всё остальное
Sitemap: https://site.ru/sitemap.xml - ссылка на карту сайта
Что нужно закрывать через Disallow:
- Административные разделы: /admin/, /wp-admin/, /bitrix/admin/
- Корзина и оформление заказа: /cart/, /checkout/, /order/
- Личный кабинет: /account/, /profile/, /my/
- Поиск по сайту: /search/, /?s=, /?query=
- Дублирующие параметры: страницы с UTM-метками, параметры сортировки если они создают дубли
- Технические файлы: /cgi-bin/, временные файлы, файлы конфигурации
Критическая ошибка: Disallow: / закрывает весь сайт от индексации. Проверяйте файл внимательно перед публикацией.
Что такое Sitemap.xml
Sitemap (карта сайта) - XML-файл со списком всех страниц которые должен проиндексировать поисковик. Это как содержание книги - поисковый робот видит все страницы сразу, без необходимости обходить весь сайт по ссылкам.
- Ускорение индексации: новые страницы индексируются быстрее если они есть в Sitemap
- Обнаружение страниц: поисковик находит страницы которые не связаны с другими через внутренние ссылки
- Приоритеты: можно указать относительную важность страниц и частоту обновления
- Типы контента: отдельные Sitemap для изображений, видео, новостей
Как создать и настроить Sitemap
Для большинства CMS создание Sitemap автоматизировано через плагины и встроенные инструменты:
- WordPress: плагины Yoast SEO или Rank Math автоматически генерируют и обновляют Sitemap
- Bitrix: встроенный модуль «Карта сайта» или модуль SEO
- Для небольших сайтов: онлайн-генераторы Sitemap - xml-sitemaps.com и аналоги
- Вручную: для небольших сайтов (до 50 страниц) можно создать XML-файл самостоятельно
Что включать в Sitemap:
- Включайте: главную страницу, страницы услуг/товаров/категорий, статьи блога, контакты
- Не включайте: страницы закрытые в robots.txt, дубли, страницы с параметрами URL, страницы с noindex
После создания Sitemap добавьте его в Яндекс.Вебмастер в разделе «Индексирование - Файлы Sitemap». Так поисковик узнает о файле быстрее.
Типичные ошибки и как их избежать
Большинство проблем с robots.txt и Sitemap - результат невнимательности при настройке.
- Закрытые нужные страницы в robots.txt: перед публикацией проверьте каждое правило Disallow. Одна лишняя строка может закрыть важный раздел
- Страницы в Sitemap но закрытые в robots.txt: противоречие - поисковик видит страницу в Sitemap но не может её обойти
- Устаревший Sitemap: файл не обновляется при добавлении новых страниц - настройте автоматическую генерацию
- Страницы с noindex в Sitemap: если страница имеет тег noindex - её не нужно включать в Sitemap
- Неправильный URL в Sitemap: используйте только полные абсолютные URL с протоколом https
- Слишком большой Sitemap: один файл может содержать максимум 50 000 URL. Для больших сайтов используйте индексный файл Sitemap
Проверка и диагностика
После настройки обязательно проверьте файлы. Ошибка обнаруженная сразу - не проблема. Ошибка которую не замечали месяцами - серьёзный ущерб для SEO.
- Яндекс.Вебмастер: раздел «Диагностика - Файлы robots.txt» покажет ошибки парсинга. Раздел «Файлы Sitemap» покажет статус индексации
- Онлайн-валидаторы robots.txt: проверьте файл через инструменты валидации перед публикацией
- Ручная проверка: откройте yourdomain.ru/robots.txt и yourdomain.ru/sitemap.xml в браузере - файлы должны быть доступны
- Screaming Frog: краулер покажет какие страницы закрыты от индексации и есть ли противоречия между robots.txt и Sitemap
Правильная настройка robots.txt и Sitemap - базовая часть
технической оптимизации. Если у вас есть сомнения в правильности настройки - лучше проверить.
Оставьте заявку - проведём технический аудит и исправим все ошибки.
