llms.txt：它有用吗，以及该做什么来替代

llms.txt是什么，不是什么？

llms.txt是给机器的精选阅读清单：你是谁、哪些页面是标准页面、权威答案在哪里。Answer.AI的杰里米·霍华德（Jeremy Howard）于2024年9月3日提出了该规范。其前提是务实的：为人类构建的HTML是嘈杂的（导航、脚本、同意横幅），而模型的上下文窗口是有限的，所以给机器一份干净的地图。

该规范有两层。/llms.txt是简短的索引：一份摘要加上精选的链接。/llms-full.txt将完整内容内联到一份文档中，使智能体可以一次请求就加载关于你的一切。

它不是什么，同样重要。它不是robots.txt：背后没有任何执行机制。它不是排名信号：没有搜索引擎说过它为排名而读取该文件。它也不是访问控制：忽略它的爬虫不会有任何损失。robots.txt说“这是你可以抓取的”；llms.txt说“这是值得阅读的”。把两者混为一谈，产生了大多数糟糕的观点。

Google使用llms.txt吗？

Google搜索不使用；Google的Chrome工具使用。2026年5月的十天之内，Google做了两件方向相反的事，这就是为什么两派都能引用它。

2026年5月5日，Google在一个新的智能体浏览类别下，为Lighthouse添加了llms.txt审计。如果获取/llms.txt返回服务器错误，该审计就会标记网站，文档称，没有该文件，“智能体可能花更多时间爬取网站以了解其高层结构”（ppc.land）。2026年5月15日，Google发布了关于为搜索中的生成式AI功能（AI Overviews和AI Mode）进行优化的指南。其中没有llms.txt，这与该规范出现以来Google搜索代表所说的一致：重要的是标准的技术SEO。

这是两个层面。Google搜索根据其现有的HTML索引排名和引用。智能体浏览，即AI智能体访问你的网站为用户完成一项任务，有不同的需求，而这正是Chrome团队开始审计的内容。任何说“Google要求它”或“Google终结了它”的人，引用的都是一个层面而忽略了另一个。

AI爬虫真的会读取llms.txt吗？

很少。对5.15亿条机器人事件的汇总分析发现，对/llms.txt的请求只占AI爬虫流量的微不足道的份额（发表于aeo.press）。GPTBot、ClaudeBot和PerplexityBot绝大多数请求的是HTML页面，就像搜索爬虫一贯所做的那样。

发布的速度快于阅读的速度。到2026年3月31日，《财富》500强中有7.4%（500家中的37家）发布了llms.txt（ppc.land）。开发者文档网站采用得快得多，因为编码智能体是当今唯一可证明会读取此类文件的使用者。

诚实的总结是：在2026年，发布llms.txt并不会明显改变主要AI爬虫读取你网站的方式。任何把它当作AI流量解锁来销售的人，都是在证据之前销售。

2026年是什么在控制AI爬虫？

五个层次，只有其中两个有牙齿。llms.txt是这套组合中的一件工具。

人们争论的那些层（llms.txt、Content Signals）都是建议性的。一夜之间改变了爬虫行为的那一层，是CDN边缘，而许多网站所有者从未有意识地配置过它。

为什么抓取与点击的数字很重要？

因为AI系统以工业规模消费内容，却几乎没有送回访问量。Cloudflare Radar的2026年第一季度数据显示，抓取与引荐之比，即每次被引荐的人类点击所抓取的页面数，对OpenAI的GPTBot约为1,276:1，对Anthropic的ClaudeBot约为23,951:1（Cloudflare）。如果你的业务靠页面浏览量变现，这种不对称就解释了出版商的反抗和按抓取付费的试验。

但这个比率衡量的是点击，而点击并不是唯一的回报。一次从未带来访客的抓取，仍然决定着模型是否知道你的存在、是否准确地描述你，以及在买家要求短名单时是否点出你的名字。对B2B公司来说，AI的回答往往就是接触点，而你的分析工具永远不会记录它。我们在AEO、GEO与SEO中展开了这一转变：目标从赢得点击转变为成为被准确引用的答案。

你应当阻止还是允许AI爬虫？

取决于你的内容是用来做什么的。同样的抓取与点击的算术，因业务类型而有不同的影响。

对大多数B2B公司来说，答案是开放。营销网站的存在，是为了让市场知道你做什么；一个读取并准确复述它的AI系统，正在做网站的工作。为了保护那些本意就是要被知道的内容而阻止GPTBot，是把策略颠倒了。值得保护的资产是准确性，而不是访问，跨平台保持准确性是AI可见度工作的核心。

当你自己的网站被阻止时，你的品牌会怎样？

开放的、高权威的来源分量更重。Cloudflare默认对新域名阻止AI爬虫，出版商阻止或计量访问，按抓取付费则为过去免费的东西定价。随着开放网络从爬虫的角度缩小，检索集中到那些在设计上保持开放的语料库：维基百科、Wikidata、公共登记册、学术资料库。

如果你的网站对爬虫是黑暗的，无论是出于选择还是CDN的默认设置，那么你的维基百科条目（如果有必要的话）、你的Wikidata实体和其他开放来源，就成了AI读取的关于你的事实上的记录。这就是为什么我们把百科层面的存在视为基础设施，而不是虚荣。只有当独立来源支撑知名度时才存在页面，也没有人能承诺AI会说什么。机制见维基百科AEO、Wikidata与知识图谱服务和维基百科SEO策略。

如何写一份好的llms.txt？

像词典条目一样写，而不是口号，并让每一个事实都是你能站得住脚的。四条规则涵盖了大部分价值：

1. 在第一行定义实体。如果模型只读二十个词元，它们应当说明你是什么。
2. 指向完整的资料。保持索引便于浏览，并为想要一次获取全部内容的智能体链接llms-full.txt。
3. 把标准网址与带有数字和日期的事实配对。“成立：2010年”是可检索、可复述的；形容词则不是。当页面说明了价格时，把价格放在网址旁边。
4. 说明你不主张什么。模型会回声其来源。如果你的文件夸大，AI的回答就夸大，而潜在客户的第一通电话就要从更正开始。一个简短的“我们不主张什么”章节，是准确性的保险。

一个最简骨架：

# Company name: one-line definition

> Two-sentence summary of what you do and for whom.

## Key pages
- [Services](https://example.com/services): what is offered and prices
- [About](https://example.com/about): founding date, location, leadership

## What we do not claim
- No guaranteed outcomes; limits of the service in one line.

事实变化时重新生成该文件。一份错误陈述你价格的陈旧文件，比没有文件更糟。我们在域名根目录发布了自己的文件，由网站的标准数据生成，其结尾章节说明了我们不保证什么。

WikiBusines如何提供帮助

llms.txt是AI可读性中成本最低、也最不重要的一层。我们处理那些重要的层。维基百科上的付费编辑始终以WikiBusines的名义披露，我们也从不保证AI会说什么。

• AI可见度审核，€490。助手目前如何描述你，以及它们依赖哪些来源。
• LLM Hub。为你公司构建的机器可读的知识中心，基于你自己的标准事实。
• Wikidata，€680起。引擎用来把你与名称相似的公司区分开来的实体记录。
• 知名度审核，€490起，若一个月内下单，费用计入页面服务。页面创建英文€2,400起，4至5周，发布后含90天监测与保证。

如需开始，请联系我们。