llms.txt: чи працює він і що робити натомість

Що таке llms.txt і чим він не є?

llms.txt — це добірний список для читання машинами: хто ви, які сторінки канонічні, де лежать авторитетні відповіді. Джеремі Говард із Answer.AI запропонував специфікацію 3 вересня 2024 року. Ідея практична: HTML для людей шумний (навігація, скрипти, банери згоди), а контекстні вікна моделей скінченні, тож дайте машині чисту мапу.

Специфікація має два рівні. /llms.txt — короткий індекс: підсумок і добірні посилання. /llms-full.txt вбудовує весь вміст в один документ, щоб агент завантажив усе про вас одним запитом.

Не менш важливо, чим файл не є. Це не robots.txt: за ним немає жодного механізму примусу. Це не сигнал ранжування: жодна пошукова система не заявляла, що читає файл для ранжування. І це не контроль доступу: краулер, який його ігнорує, нічого не втрачає. robots.txt каже «ось що можна завантажувати», а llms.txt — «ось що варто прочитати». Змішування цих двох і породжує більшість хибних висновків.

Чи використовує Google llms.txt?

Пошук Google — ні; інструменти Chrome — так. Упродовж десяти днів травня 2026 року Google зробив два кроки в протилежні боки, тому обидва табори можуть його цитувати.

5 травня 2026 року Google додав до Lighthouse перевірку llms.txt у новій категорії агентного перегляду. Перевірка позначає сайт, якщо запит до /llms.txt повертає помилку сервера, а документація пояснює, що без файлу «агенти можуть витрачати більше часу на обхід сайту, щоб зрозуміти його загальну структуру» (ppc.land). 15 травня 2026 року Google опублікував настанови з оптимізації під генеративні функції Пошуку (AI Overviews і AI Mode). llms.txt у них немає, що збігається з тим, що представники пошуку Google кажуть від появи специфікації: важить стандартне технічне SEO.

Це два шари. Пошук Google ранжує й цитує з наявного HTML-індексу. Агентний перегляд, коли AI-агент відвідує ваш сайт, щоб виконати завдання для користувача, має інші потреби, і саме його почала перевіряти команда Chrome. Хто каже «Google вимагає» чи «Google його вбив», цитує один шар і ігнорує інший.

Чи читають AI-краулери llms.txt?

Рідко. Сукупний аналіз 515 мільйонів подій ботів показав, що запити до /llms.txt становлять нікчемну частку трафіку AI-краулерів (опубліковано на aeo.press). GPTBot, ClaudeBot і PerplexityBot переважно запитують HTML-сторінки, як це завжди робили пошукові краулери.

Публікація випереджає читання. До 31 березня 2026 року llms.txt мали 7,4% компаній Fortune 500 (37 із 500) (ppc.land). Сайти з документацією для розробників прийняли його значно швидше, бо кодувальні агенти — єдиний споживач, що доведено читає такі файли сьогодні.

Чесний підсумок: публікація llms.txt не змінює помітно того, як великі AI-краулери читають ваш сайт у 2026 році. Хто продає його як розблокування AI-трафіку, продає наперед доказів.

Що керує AI-краулерами у 2026 році?

П'ять шарів, лише два з яких мають зуби. llms.txt — один інструмент у цьому стеку.

Шари, про які сперечаються (llms.txt, Content Signals), дорадчі. Шар, що змінив поведінку краулерів за одну ніч, — це край CDN, і багато власників сайтів ніколи свідомо його не налаштовували.

Чому важливі цифри співвідношення обходів до кліків?

Бо AI-системи споживають вміст промисловими обсягами й повертають майже нуль відвідувань. За даними Cloudflare Radar за Q1 2026, співвідношення обходів до переходів (сторінок завантажено на один перехід людини) становило приблизно 1 276:1 для GPTBot від OpenAI і приблизно 23 951:1 для ClaudeBot від Anthropic (Cloudflare). Якщо ваш бізнес заробляє на переглядах, ця асиметрія пояснює бунт видавців і експеримент pay-per-crawl.

Але співвідношення міряє кліки, а кліки — не єдина віддача. Обхід, який не привів жодного відвідувача, усе одно визначає, чи знає модель про вас, чи описує точно і чи називає вас, коли покупець просить шорт-лист. Для B2B-компанії AI-відповідь часто і є точкою контакту, а ваша аналітика її не фіксує. Зсув ми розібрали в AEO, GEO і SEO: мета переходить від виграшу кліку до точно цитованої відповіді.

Блокувати AI-краулерів чи дозволяти?

Залежить від того, для чого ваш вміст. Та сама арифметика обходів і кліків по-різному б'є по різних типах бізнесу.

Для більшості B2B-компаній відповідь — відкрити. Маркетинговий сайт існує, щоб ринок знав, чим ви займаєтеся; AI-система, яка його прочитала й точно повторила, виконує роботу сайту. Блокувати GPTBot, щоб захистити вміст, мета якого бути відомим, — значить перевернути стратегію. Актив, який варто захищати, — точність, а не доступ, і збереження точності на різних платформах — суть роботи з AI-видимістю.

Що з брендом, коли ваш власний сайт заблоковано?

Вагу набувають відкриті авторитетні джерела. Cloudflare за замовчуванням блокує AI-краулерів для нових доменів, видавці блокують або дозують доступ, а pay-per-crawl ціноутворює те, що раніше було безкоштовним. Коли відкритий веб з погляду краулера звужується, пошук концентрується на корпусах, що відкриті за задумом: Вікіпедія, Wikidata, публічні реєстри, академічні репозиторії.

Якщо ваш сайт темний для краулерів, за вибором чи через типові налаштування CDN, то ваша стаття у Вікіпедії (якщо вона виправдана), ваша сутність у Wikidata та інші відкриті джерела стають фактичним записом, який AI читає про вас. Тому ми ставимося до енциклопедичної присутності як до інфраструктури, а не марнославства. Сторінка існує, лише якщо незалежні джерела підтверджують значущість, і ніхто не може обіцяти, що скаже AI. Механіку описано в Wikipedia AEO, послузі Wikidata і графа знань та тактиках Wikipedia SEO.

Як написати хороший llms.txt?

Пишіть як словникову статтю, а не слоган, і лишайте лише факти, за які ви відповідаєте. Чотири правила дають більшість користі:

1. Визначте сутність у першому рядку. Якщо модель прочитає лише двадцять токенів, вони мають сказати, ким ви є.
2. Вкажіть на повний профіль. Тримайте індекс легким і дайте посилання на llms-full.txt для агентів, які хочуть усе одним запитом.
3. Поєднуйте канонічні URL з фактами, що мають числа й дати. «Засновано: 2010» можна дістати й повторити; прикметники — ні. Якщо на сторінці є ціна, поставте її поруч з URL.
4. Скажіть, чого ви не стверджуєте. Моделі повторюють свої джерела. Якщо файл перебільшує, перебільшить і AI-відповідь, а перша розмова з клієнтом почнеться з виправлення. Короткий розділ «чого ми не стверджуємо» — страховка точності.

Мінімальний каркас:

# Назва компанії: визначення одним рядком

> Два речення про те, що ви робите і для кого.

## Ключові сторінки
- [Послуги](https://example.com/services): що пропонується і ціни
- [Про нас](https://example.com/about): дата заснування, місце, керівництво

## Чого ми не стверджуємо
- Жодних гарантованих результатів; межі послуги одним рядком.

Перегенеровуйте файл, коли змінюються факти. Застарілий файл із хибними цінами гірший за відсутність файлу. Свій власний ми публікуємо в корені домену, він створюється з канонічних даних сайту, а його завершальний розділ говорить, чого ми не гарантуємо.

Як ми допомагаємо

llms.txt — найдешевший і найменш вагомий шар AI-читабельності. Ми працюємо з вагомими. Платне редагування у Вікіпедії завжди розкривається від імені WikiBusines, і ми не гарантуємо, що скаже AI.

• Аудит AI-видимості, €490. Як асистенти описують вас зараз і на які джерела спираються.
• LLM Hub. Машинночитний хаб знань про вашу компанію, збудований з ваших канонічних фактів.
• Wikidata, від €680. Записи сутностей, за якими рушії відрізняють вас від компаній зі схожою назвою.
• Аудит значущості, від €490, зараховується в сторінку, якщо проєкт замовлено протягом місяця. Створення сторінки від €2 400 для англійської, 4–5 тижнів, з 90 днями моніторингу й гарантії після публікації.

Щоб почати, напишіть нам.