Что такое robots.txt, из каких директив состоит и какие страницы закрывать от обхода. Пошаговая инструкция по настройке файла для сайта.
Что такое robots.txt и на что он влияет
Robots.txt — это текстовый файл в корневом каталоге сайта, который поисковый робот запрашивает первым и по которому решает, какие разделы обходить, а какие пропустить. Без файла сайт считается полностью открытым для обхода. Инструкции же носят рекомендательный характер: крупные поисковики им следуют, отдельные роботы — нет.
Грамотная настройка экономит краулинговый бюджет: робот не тратит его на служебные страницы — корзину, результаты внутреннего поиска, дубли. Снижается и нагрузка на сервер, а технический «мусор» не попадает в индекс.
При этом одна неверная строка — например, Disallow: / — может скрыть от роботов весь сайт. Поэтому мы проверяем robots.txt при приёмке проекта и после каждой правки.
Из каких директив состоит файл
User-agent — обязательная директива
Задаёт робота, для которого действуют правила ниже. Звёздочка (*) — для всех ботов, отдельно можно прописать Yandex и Googlebot. Если у бота есть свой блок, его правила полностью заменяют общие из User-agent: *, а не суммируются с ними.
Disallow и Allow
Disallow запрещает обход каталога или страницы, например /admin/. Allow открывает отдельный путь внутри закрытого раздела — исключение из общего запрета.
Sitemap и Clean-param
Sitemap указывает полный адрес XML-карты сайта. Clean-param — директива Яндекса: перечисляет GET-параметры вроде UTM-меток, которые роботу не нужно учитывать при обходе.
Спецсимволы и синтаксис
«*» заменяет любую последовательность символов, «$» фиксирует конец адреса. Одна директива — одна строка, после «#» пишут комментарии, в путях важен регистр.
Какие разделы сайта закрывают от обхода
- От обхода закрывают служебные страницы: админпанель, корзину и оформление заказа, личный кабинет, авторизацию, результаты внутреннего поиска, фильтры и сортировки, разделы с персональными данными.
- Состав зависит от типа сайта: лендингу хватит пары строк, интернет-магазину потребуется расширенный перечень. Закрывают выборочно: случайный запрет лишит важный раздел поискового трафика.
Почему запрет в robots.txt не удаляет страницу из поиска
Как настроить robots.txt на сайте: пошаговая инструкция
- Проверьте наличие файлаОткройте в браузере адрес вида сайт.ру/robots.txt. Виден список правил — файл есть; пустая страница или ошибка — файл предстоит создать.
- Откройте файл на редактированиеГотовый файл правят через панель хостинга или FTP. Файла нет — создайте его в текстовом редакторе: имя строчными буквами, кодировка UTF-8.
- Пропишите каркас директивКаркас файла для сайта на 1С-Битрикс, каждая директива — с новой строки: User-agent: * Disallow: /bitrix/ Disallow: /search/ Allow: /bitrix/components/ Allow: /bitrix/templates/ Sitemap: https://site.ru/sitemap.xml Clean-param: utm_source&utm_medium&utm_campaign Подставьте в строку Sitemap свой домен и при необходимости дополните каркас своими правилами.
- Соблюдите технические требованияВнутри файла — только латиница: кириллические домены и пути переводите в Punycode. Размер — до 500 КБ, файл один и хранится в корне сайта.
- Загрузите файл и проверьте ответ сервераСохраните файл в корне сайта, откройте по прямому адресу и убедитесь, что сервер отдаёт код 200 OK. Поисковики кэшируют robots.txt (Google — примерно сутки), поэтому новые правила применяются при следующем обходе; отдельно подтверждать правки не нужно.
Какие ошибки в файле допускают чаще всего и чем они грозят
Чаще всего ошибаются в масштабе запрета и в технических требованиях к файлу. Запись Disallow: / закрывает от роботов весь сайт; случайно запрещённые CSS- и JS-файлы мешают корректной индексации страниц; кириллица в путях и адресах делает строки нечитаемыми; противоречия между Disallow и Allow путают робота. Если файл недоступен или весит больше 500 КБ, по правилам Яндекса сайт считается полностью открытым для обхода. Снаружи это проявляется характерно: страницы пропадают из выдачи — это видно при проверке индексации, в поиске появляются служебные адреса, трафик падает после правок или переезда сайта. В таких случаях robots.txt проверяют первым делом.
Как проверить robots.txt в Яндекс Вебмастере и Google Search Console
- Откройте анализ в Яндекс ВебмастереВ сервисе выберите «Инструменты» → «Анализ robots.txt». Если сайт добавлен, файл загрузится и проверится автоматически; если нет — впишите адрес в поле «Адрес сайта», и отчёт появится ниже.
- Изучите отчётБлок «Правила обхода» показывает директивы, которые роботы реально учитывают при обходе, а «Ошибки» — строки, которые не удалось обработать.
- Проверьте отдельные URLВпишите адрес страницы в поле проверки — инструмент покажет, разрешает ли текущая версия файла её обход.
- Перепроверьте файл после правокПосле загрузки новой версии на сервер запустите анализ заново: инструмент скачивает файл с сайта прямо в момент проверки и отразит внесённые изменения.
- Сверьте с Google Search ConsoleВ разделе «Индексирование» откройте отчёт «Файлы robots.txt»: он показывает статус загрузки файла, дату последнего скачивания роботом, само содержимое и список ошибок и предупреждений.
- Проверьте актуальную версию и отдельные URLФункция живой проверки подтягивает текущий файл с сервера и подсвечивает проблемные строки. Доступ к конкретному адресу показывает инструмент «Проверка URL»: в данных обхода видно, разрешён ли он роботу.
Когда можно настроить файл самому, а когда нужен специалист
Частые вопросы о robots.txt
Обязателен ли robots.txt и что будет, если его нет?
Нет, по стандарту он не обязателен: без файла роботы обходят сайт целиком. Но мы советуем создавать его любому проекту — даже простому лендингу хватит пары строк.
Как быстро изменения в файле вступают в силу?
Сразу после загрузки файла на сервер — как в шаге 5 инструкции выше: отдельно подтверждать правки не нужно. Следить за версиями удобно в Яндекс Вебмастере, он хранит их историю.
Влияет ли robots.txt на позиции в поиске напрямую?
Нет. Директивы управляют обходом, а не ранжированием: позиции от файла не растут и не падают. На поиск он влияет косвенно — через качество индексации.
Нужна ли в файле директива Crawl-delay?
Для Яндекса директива актуальна: Crawl-delay по-прежнему описан в Справке и учитывается роботом, а скорость обхода настраивается и в Яндекс Вебмастере — в разделе «Скорость обхода сайта». Для Google она бесполезна: робот её не поддерживает, а Search Console в 2024 году убрала и настройку скорости обхода.
Можно ли с помощью robots.txt скрыть страницу из поиска или конфиденциальные данные?
Нет. Файл запрещает обход, но не выдачу и не защищает данные: из поиска страницу убирает noindex, от людей — пароль. Подробности — в предупреждении выше.
Как посмотреть robots.txt любого сайта, включая конкурентов?
Допишите /robots.txt к адресу домена — файл открыт любому посетителю, по нему видно, какие разделы сайт прячет от роботов. Правила действуют в пределах одного хоста, поэтому у каждого поддомена свой файл.
Расскажите о задаче — оценим сроки и объём работ по вашему проекту.