Google не использует llms.txt: 97% файлов без запросов ботов. Разбираем, кто их читает, когда файл оправдан и что важнее для попадания в ответы ИИ.
В сентябре 2024 года Джереми Ховард предложил llms.txt — Markdown-файл в корне сайта, «карту» проекта для нейросетей. К 2026 году вокруг файла — две крайности: «обязательный шаг AI-оптимизации» и «бесполезный ритуал». Google пока официально игнорирует файл, а по логам Ahrefs на 137 тыс. доменов около 97% опубликованных llms.txt не получили ни одного запроса. Разберём, что файл делает, кто его реально читает, когда он оправдан, что важнее для попадания в ответы ИИ и как внедрить без вреда, если он всё же нужен.
Что такое llms.txt и зачем его придумали

llms.txt — Markdown-файл по адресу site.ru/llms.txt, где владелец сам отбирает главное: название проекта, краткое описание и ссылки на ключевые материалы с однострочными пояснениями. Изначальная цель предложения Ховарда — дать моделям выжимку вместо громоздкого HTML с меню и скриптами. Формат развивается сообществом на llmstxt.org: в августе 2026 года вышла версия 2 — файлы допускаются в подпапках разделов и появился способ связать HTML-страницу с её Markdown-версией. В формат также входят «чистые» Markdown-версии страниц и llms-full.txt со склеенным полным текстом материалов. Это предложение сообщества, а не стандарт поисковых систем или W3C. Файл не управляет обходом и не заменяет sitemap.xml: это компактная карта, а не каталог всех URL.
Чем llms.txt отличается от robots.txt и sitemap.xml
| Параметр | robots.txt | sitemap.xml | llms.txt |
|---|---|---|---|
| Задача | Правила доступа роботов к разделам сайта | Обнаружение страниц поисковыми системами | Карта ключевых материалов для ИИ-агентов |
| Что внутри | Директивы User-agent, Allow и Disallow | Полный технический список страниц | Описание проекта и ссылки с пояснениями |
| Управляет обходом | Да, роботы учитывают директивы | Нет, только список адресов | Нет, его открывают только желающие агенты |
| Статус | Де-факто с 1994 года, формализован в RFC 9309 (2022) | Официальный протокол Sitemaps.org | Предложение сообщества, не стандарт |
| Ограничения | Запрет сильнее ссылки в llms.txt | Список не гарантирует индексацию | Ничего не запрещает и не гарантирует цитирование |
Читают ли llms.txt нейросети: что показали замеры
По замерам 2025–2026 годов — нет. Google прямо пишет, что Search не использует llms.txt и специальных файлов или разметки для AI Overviews и AI Mode не требуется: действуют обычные принципы SEO. OpenAI в рекомендациях для издателей опирается на доступ OAI-SearchBot, а не на файл. Логи согласны с ними: по данным Ahrefs за май 2026 года по 137 000 доменов, около 97% опубликованных файлов не получили ни одного запроса.
Что показали логи и исследования
Остальные данные складываются в ту же картину. SE Ranking в ноябре 2025 года проверил 300 000 доменов: файл нашёлся примерно на 10% сайтов, а связи между его наличием и частотой цитирования в AI-ответах исследователи не обнаружили. Аудит CDN-логов тысячи доменов за месяц показал ноль обращений к файлу от GPTBot, ClaudeBot и PerplexityBot. Данные логов одного сайта за две недели августа 2026 года: 6 081 визит AI-краулеров и ни одного запроса llms.txt — при том что файл был доступен по прямой ссылке и отдавал код 200. Дело не в том, что боты не нашли файл, — они за ним просто не приходили.
Кто файл всё же запрашивает
- SEO-инструменты вроде Semrush и Ahrefs — они добавили проверку наличия llms.txt в свои аудиты;
- классические поисковые роботы: Googlebot скачивает всё, что находит на сайте, — это стандартное поведение краулера, а не поддержка формата;
- кодирующие агенты вроде Cursor и Cline — при работе с документацией;
- люди, которые открывают /llms.txt в браузере, чтобы посмотреть, есть ли файл на сайте.
Правила обхода боты при этом читают исправно: в те же две недели краулеры 230 раз запросили robots.txt — именно оттуда они узнают, что им разрешено. Мы разбирали его настройку в отдельной инструкции.
Кому файл оправдан, а кому это трата времени
Оправдан: есть информационное ядро
Документация продукта и API, базы знаний, SaaS, образовательные проекты, каталоги и массивы экспертных материалов — всё это файл сводит в один структурированный список.
Оправдан: инструменты поддерживают формат
Для агентов внешних инструментов проекта, которые прямо заявляют поддержку llms.txt, файл — готовая карта.
Не оправдан: нечего картографировать
У сайта услуг или интернет-магазина без такого ядра llms-full.txt бессмыслен, а на позиции в Google файл не влияет.
Не оправдан: базовые проблемы остаются
Битые ссылки, разделы, закрытые в robots.txt, и тексты, которые годами не обновлялись, файл не исправит: запрещённым ботам он доступ не открывает.
Что проверить на сайте до llms.txt
- База до llms.txt: в robots.txt не закрыты OAI-SearchBot, GPTBot, PerplexityBot и ClaudeBot, а WAF и CDN их не блокируют; ключевые страницы отдают код 200 без noindex, с верным canonical и включены в sitemap.xml.
- Контент и доверие: title, текст и Schema.org согласованы; оригинальные ответы на вопросы покупателей; проверяемые отзывы и упоминания. Аналитика целевого и AI-реферального трафика настроена — и лишь потом заводим llms.txt.

Мы заводим llms.txt в самом конце — после аудита и наведения порядка на сайте. Сам файл — работа на полчаса, а видимость в нейросетях складывается из доступности ботов, качества контента и репутации компании, то есть из месяцев обычной работы над сайтом. И честно предупреждаем клиента: гарантий цитирования файл не даёт.
Как внедрить llms.txt, если вы всё же решили его завести
- Начните, если проверка из предыдущего раздела пройденаФайл бессмыслен на сайте, закрытом от ботов: сначала пройдите чек-лист из предыдущего раздела и только потом возвращайтесь к llms.txt.
- Отберите 10–30 канонических страницВозьмите главную, ключевые услуги и цены, кейсы, контакты и сильные экспертные статьи.
- Опишите проект и поясните ссылкиОдно предложение о проекте и однострочные пояснения к ссылкам, не дублируя title.
- Проверьте формат ссылок и кодировкуТолько абсолютные адреса с https:// и кодировка UTF-8 — иначе кириллица сломается.
- Положите главный файл в кореньАдрес главного файла — site.ru/llms.txt; на 1С-Битриксе он лежит в корне, рядом с robots.txt и sitemap.xml. Отдельный файл для раздела кладут в подпапку этого раздела: /docs/llms.txt, если раздел открыт по адресу /docs/.
- Не выгружайте в файл весь sitemapФайл доступен любому по прямому адресу, поэтому закрытых, служебных и персональных данных в нём быть не должно. И не превращайте его в копию sitemap: llms.txt — компактная карта, а не каталог всех URL.
- Проверьте ссылки и назначьте ответственногоВсе ссылки должны открываться: забытый файл хуже отсутствия. Назначьте того, кто будет актуализировать список при изменениях на сайте.
Частые вопросы про llms.txt
Используют ли llms.txt Google и другие сервисы?
Нет. Google официально пишет, что Search не использует файл, а для AI Overviews и AI Mode специальных файлов и разметки не требуется. OpenAI, Anthropic и Perplexity поддержку формата не объявляли.
Гарантирует ли файл упоминание бренда в ответах ChatGPT или Perplexity?
Нет. Исследования 2025–2026 годов на сотнях тысяч доменов не нашли связи между наличием llms.txt и частотой цитирования в AI-ответах. Файл — карта материалов, а не фактор выбора источника.
Нужно ли удалять llms.txt, если он уже стоит на сайте?
Не обязательно. Короткий файл с выверенными фактами и живыми ссылками может служить удобным индексом для тех, кто его читает. Удалять стоит устаревший: с битыми ссылками и копией всего sitemap.
Чем llms.txt отличается от llms-full.txt?
Первый — компактная карта сайта: описание проекта и ссылки на ключевые страницы. Второй — полный текст выбранных материалов одним файлом. Llms-full.txt нужен документации, сайту услуг он не нужен.
Может ли llms.txt запретить нейросетям обучение на контенте?
Нет. Файл ничего не запрещает — ни обучение, ни обход: llms.txt просто перечисляет ссылки. Управление доступом ботов — в robots.txt: именно там открывают или закрывают GPTBot, ClaudeBot и других; закрытый бот не получит контент и для обучения. Ссылка в llms.txt запрет на обход не отменяет.
Зависит ли польза файла от CMS и сколько займёт добавление?
Нет: llms.txt — статический файл, на 1С-Битриксе он размещается так же, как robots.txt, — в корне сайта. Сам файл — работа на полчаса, но смысл он имеет только после проверки доступности сайта ботам.
Расскажите о задаче — оценим сроки и объём работ по вашему проекту.

