На недавней конференции меня спросили, важен ли llms.txt. Лично я не являюсь его поклонником, и ниже объясню почему. Я слушал подругу, которая сказала, что мне стоит изучить тему глубже, так как я не до конца понимаю предложение, и должен признать, что она была права. После детального изучения я понял идею гораздо лучше. К сожалению, это только усилило мои первоначальные сомнения.
Хотя это может звучать как мнение одного человека, я стараюсь смотреть на ситуацию с точки зрения поисковой системы или платформы ИИ. Почему они должны или не должны внедрять этот протокол? Такой взгляд дал мне несколько интересных инсайтов.
Что llms.txt пытается исправить
Современные сайты создаются для людей: сложные навигации, динамический JavaScript, рекламу, всплывающие окна, динамические шаблоны. Но большинство LLM (моделей с большим языковым ядром) работают в ограниченных условиях: узкие контекстные окна, одноразовое чтение документов и более простое извлечение информации по сравнению с традиционными поисковыми индексаторами.
Изначальное предложение от Answer.AI предлагает добавить файл llms.txt в корень сайта, в котором перечислены наиболее важные страницы, а опционально – упрощённое содержание, чтобы ИИ не тратил ресурсы на шум.
Сторонники описывают этот файл как «ручную карту сайта для ИИ», а не как файл для блокировки обхода. Идея проста: дать ценное содержимое сайта в более чистом и доступном виде, чтобы инструменты не пропускали его и не интерпретировали неверно.
Проблема доверия, которая не исчезает
Если оглянуться назад, это знакомый сценарий. В начале веба существовал тег meta keywords, который позволял сайту заявить о себе. Его широко злоупотребляли, и в итоге игнорировали. Маркировка авторства (rel=author и т.д.) пыталась помочь машинам определить авторитет, но манипуляции повторились. Структурированные данные (schema.org) стали успешными только после долгого процесса регулирования и совместного внедрения поисковыми системами.
llms.txt находится в этой же линии: это самодекларируемый сигнал, который обещает ясность, но доверяет издателю говорить правду. Без проверки любой стандарт корневого файла может стать вектором манипуляции.
Возможные злоупотребления
Команды платформ по безопасности сразу видят риски. Если сайт публикует файл llms.txt и заявляет что угодно, как платформа узнает, что указанное соответствует реальному содержимому?
- Скрытые страницы. Сайт указывает страницы, скрытые от обычных посетителей или за платным доступом, а ИИ считывает их.
- Переспам или ссылка на мусорные страницы. Файл может стать каталогом с партнёрскими ссылками, низкокачественными страницами или ключевыми словами для манипуляции.
- Склонение к предвзятости. Если агент доверяет файлу больше, чем обычному HTML, злоумышленник может вставить манипулятивные инструкции.
- Ссылки на сторонние домены. Файл может указывать на внешние URL, редиректы или контент-острова.
- Доверие без проверки. Присутствие манифеста может заставить ИИ присвоить страницам больший вес, даже если это спам.
Эксперты отмечают, что llms.txt «создаёт возможности для злоупотреблений». А обратная связь подтверждает минимальное внедрение: «Ни одна LLM их не читает». Отсутствие использования снижает риск реальных случаев, но также означает отсутствие проверенных механизмов безопасности.
Почему платформы сомневаются
- Качество сигнала. Если записи в llms.txt шумные или спамные, доверие им может снизить качество ответов ИИ.
- Стоимость проверки. Нужно сверять URL с реальными страницами, тегами canonical, структурированными данными и логами сайта.
- Обработка злоупотреблений. Если злонамеренный сайт публикует ложные URL, кто несёт ответственность?
- Риск для пользователей. ИИ может выдавать неточные или предвзятые ответы.
Google уже заявил, что не будет полагаться на llms.txt для функции «AI Overviews» и продолжает следовать обычной SEO-практике. John Mueller отметил: «На данный момент ни одна AI-система не использует llms.txt».
Почему внедрение без регулирования не работает
Успешные веб-стандарты всегда имеют общее: управляющий орган, ясный словарь и механизм контроля. Schema.org работал благодаря сотрудничеству крупных компаний. Robots.txt выжил благодаря минимализму – он не пытался описывать качество контента.
llms.txt противоположен этим принципам. Он предлагает издателям самостоятельно декларировать, что важно. Нет консорциума, стандарта валидации или группы для проверки злоупотреблений. Любой может его опубликовать. Ни одна крупная LLM сегодня не использует его публично.
Чтобы llms.txt стал доверенным сигналом, необходимы:
- Проверка манифеста. Например, подпись или проверка через DNS.
- Сверка URL с реальными страницами.
- Прозрачность и логирование изменений.
- Измерение пользы. Нужно доказать улучшение корректности ответов ИИ.
- Механизмы предотвращения злоупотреблений.
Без этих элементов платформы будут воспринимать llms.txt как опциональный или незначимый инструмент.
Реальная ценность сегодня
Для владельцев сайтов llms.txt может быть полезен как инструмент внутреннего управления контентом, а не как гарантированный источник трафика. Для внутренних систем или инструментов партнёров публикация манифеста может иметь смысл.
Но если цель – влиять на публичные результаты ИИ (Google, OpenAI, Perplexity), стоит действовать осторожно. Нет доказательств, что эти системы учитывают llms.txt. Иными словами, воспринимайте его как «зеркало» стратегии контента, а не как «магнит» для трафика.
Заключение
Веб продолжает пытаться «обучить» машины понимать себя. Каждое поколение изобретает новый формат и способ заявить, что важно. Ключевой вопрос всегда один: «Можно ли доверять сигналу?» Идея llms.txt хорошая, но механизмы доверия ещё не внедрены. Пока не появятся проверка, регулирование и доказательная база, llms.txt будет находиться в серой зоне между обещанием и проблемой.