有人告诉你,不做 llms.txt,大模型就读不懂你的站,AI 里也就搜不到你。这话把一份纯文本文件说成了收录开关,听着吓人,其实拧巴。
拧巴在两处。搜索侧的官方指南明说不使用这个文件。可它又便宜到几乎不值得专门开个会争论。所以到底做不做,答案不在它灵不灵,在你怎么给它定位。定位错了,写得再工整也是给自己埋雷。
先给它定个位,再决定写不写
不用翻规范,也不用跟人争它算不算标准。花点时间问自己几句,答案就清楚了。
| 先问自己 | 答对了 | 答错了 |
|---|---|---|
| 它写进效果承诺了吗 | 没有,只放在事实清单里 | 把效果当成验收项 |
| 里面是事实句还是营销话 | 公司全称,每个链接跟一句讲什么的说明 | 整段官网文案照搬,章节名写成「为什么选择我们」 |
| 改版会顺手更新它吗 | 挂进栏目调整流程,链接逐条跟着核 | 写完就再没人碰,地址早失效了 |
三句都落在中间那列,就值得写,成本几乎可以忽略,改版时顺手过一遍。落在右边那列,先别急着建文件,先把那个当成收录开关的念头纠正过来。否则后面每一行都会往营销话上写,写完反而多一处要维护、又不敢删的东西。
那组被反复引用的数字,说了什么
有一份覆盖 83 站、12 周的服务器日志研究,常被两边拿来当证据。里面记着,某主流 AI 爬虫抓 llms.txt 7 次,同期抓 robots 协议文件 3990 次。两个数摆在一起,谁轻谁重一眼就看得出来。
但这个数不该读成没用,也不该读成有用。它只说明一件事,抓取侧几乎不靠这份文件认路。所以结论不是别做,是把它放回该在的位置。文件保留,定位成一份索引与主体事实声明,写清这个站是谁、有哪些重要页面、以哪份口径为准,就是不写进任何效果承诺。一份纯文本文件,写一次,改的时候顺手更新,便宜到不值得为它争,也轻到扛不动一个效果承诺。
别人怎么做,分三档看
公开能查到的说法大致三类,混着看容易出事。
一类有规范原文或官方口径撑着,可以当依据。搜索侧的官方指南明说不使用这个文件,这句不必再找旁证。顺带能得出一个不太讨喜的结论,它不是标准,也不是必备件,正常抓取本来就不经过它。
一类是行业里普遍在做、但拿不出公开验证的,只归纳、不当依据。把它列成必做项,甚至当成效果杠杆,采用量涨得很快,可采用量只测文件在不在,不测模型读没读。这类看个方向就行,别拿来当验收标准。
还有一类已经有公开反例,写进边界。前述那份服务器日志研究就是一例。这类做法可以做,但要写清它管什么、不管什么,管的是导读与主体口径,不管效果,不能写进效果承诺。
什么时候不必做这份文件
只有后台发文权限、往根目录放不了文件的团队,做到把页面本身写清楚就该停,硬凑一份放不到位的文件没意义。内容还没定型、栏目三天两头改的站,导读写完就过期,模型顺着旧地址扑空,反而添乱。还有一种更该停,验收标准落在效果上的,这套东西给不了,它回答的是这个站是谁、有哪些页,结果好不好不归它管。
一句话的判断标准
把它当一份人写的导读和主体事实声明,成本极低就顺手写,一旦谁把它写进效果承诺,这份文件就从资产变成了负债。
真要动手,llms.txt 该怎么写的技术文档给了三段骨架、章节取舍和一份验收清单,顺着核一遍就知道自己写歪没有。