llms.txt 到底要不要做:目前能确认的三个事实
llms.txt 这两年被讲得很多,但真去查证会发现,大部分说法都停留在「据说」层面。这篇只讲能确认的部分。 事实一:它是提案,不是标准 llms.txt 由 Jeremy Howard 在 2024 年提出,格式是一份放在根目录的 Mar
llms.txt 这两年被讲得很多,但真去查证会发现,大部分说法都停留在「据说」层面。这篇只讲能确认的部分。
事实一:它是提案,不是标准
llms.txt 由 Jeremy Howard 在 2024 年提出,格式是一份放在根目录的 Markdown 文件,用来告诉大模型「我这个站有哪些重要内容、分别是什么」。它不属于任何 RFC,没有被 W3C 或搜索引擎联盟采纳,也没有任何一个主流厂商公开承诺会读取它。
这一点很关键。robots.txt 是有共识的协议,爬虫不遵守会被认为是坏的;llms.txt 不是,爬虫不读它完全正常,没有任何后果。
事实二:读取方极少,且不构成抓取依据
目前公开表示过关注 llms.txt 的,主要是少数 AI 搜索创业公司和一些编辑器工具,用途多是「帮助生成摘要」,而不是「决定抓不抓你」。像 GPTBot、ClaudeBot、Google-Extended、Bytespider 这些真正决定你内容能不能进语料库的爬虫,公开文档里都没有把 llms.txt 列为抓取入口。
换句话说:你写了 llms.txt,不等于 AI 就会来读;你不写,也不等于 AI 就不抓你。真正决定抓取的是 robots.txt、站点地图、内链结构和响应速度。
事实三:成本极低,做了不亏,但别排优先级
写一份 llms.txt 大约花 20 分钟,格式简单,不需要插件。所以「不做」也没什么道理,问题只在于排序。
合理的顺序是:
- 先保证 robots.txt 没把 AI 爬虫挡在外面(这个错的人最多)
- 再保证站点地图干净、无死链
- 然后是把文章结构写清楚、关键结论前置
- 最后才是 llms.txt 这种锦上添花的东西
如果你连 robots.txt 都没检查过,先去做 llms.txt 属于把精力花在了错误的地方。
如果要写,怎么写
放到站点根目录,文件名小写 llms.txt,内容是 Markdown:
# 站点名
> 一句话说明这个站是做什么的。
## 核心内容
- [文章标题](https://example.com/post/1): 一句话说明这一页讲什么
- [文章标题](https://example.com/post/2): 一句话说明这一页讲什么
## 可选
- [关于我们](https://example.com/about)
几个要点:
- 链接用绝对地址,别用相对路径
- 每条的描述写「这页解决什么问题」,不要写「这是 XX 栏目」
- 只列真正重要的 20–50 个页面,不要全站导出,几百条没人看
- 放在根目录,
/llms.txt能直接访问,状态码 200
结论
llms.txt 是一个「做对了没坏处、做错了没损失、不做也不影响」的东西。它的价值目前更多在于梳理自己的核心页面结构,而不是真的指望 AI 来读。把它当成一次内容盘点,心态就对了;把它当成 GEO 的入场券,那就是花钱买安慰。