一份报告说 AI 爬虫占了七成，另一份说只占一成半，两份都摆在你面前。先别急着判断谁在糊弄你，它们可能都对，只是没人告诉你分母是什么。
这是本站上线一个月后真实遇到的事。爬虫日志五天 5668 条，AI 与大模型爬虫占 69.2%。访问日志 4.4 万行，AI 爬虫占 14.5%。前一份只数被认出来的爬虫，后一份数所有敲过门的请求，包括真人、扫描器、工具和站方自己的体检脚本。分母差了一个量级，占比当然对不上。
拿到一份抓取报告，先问三个问题
不必自己会写正则，也不必懂服务器配置，问对三句话就能看出一份报告靠不靠谱。
| 该问的 | 靠谱的回答 | 该警惕的回答 |
|---|---|---|
| 这个百分比的分母是什么 | 只数爬虫请求，或数全部请求，会明说是哪一种 | 直接给百分比，说不清统计范围 |
| 301 算不算错误 | 单独列为转移，与失败分开 | 把三成 301 算进失败率，再报一个吓人的故障比例 |
| 自有监测请求剔了没有 | 单列一类，不并入内容爬虫 | 凡 UA 里带 bot 就全算成 AI 引擎到访 |
第三问最容易被跳过。本站那份访问日志里有 6.8% 是站方自己的体检脚本，跑一次全站检查，曲线就往上跳一下。不剔掉，会误读成抓取量涨了，甚至拿去证明前一周的改动有效。
比占比更值得看的两个数
一个是状态码分布。本站 4.4 万行里 301 占 38.6%，来自旧链收口与域名归一，是改版后本该有的正常响应。404 占 5.5%，绝大多数是扫描器在探不存在的后台路径，返回 404 恰恰说明拦对了。把这两组都算成故障，报告会很难看，结论也会跑偏。
另一个是栏目命中率。问答 95%、洞察与方法 93%、服务 92%、案例 91%，核心内容页普遍在 88% 以上。首页只有 66%，看着最差，实际是分母里混进了大量裸域跳转。这个数要配一句解释才有意义，单看一个百分比只会误判。
顺带还有一个挺有用的发现。爬虫日志里洞察与方法被抓 1589 次居首，问答 1269 次，案例 1165 次，其中某一个引擎单对洞察栏目就抓了近 700 次。方法论和问答内容不是装点门面的，它们是抓取侧真正的主粮。如果你的站只有服务介绍和公司新闻，这一栏会是空的。
别把一件事说成另一件事
所有这些数字加起来，只能证明三件事，主流引擎来过、页面给对了响应、核心栏目进得去。它证明不了 AI 在回答里提过你的品牌，更证明不了带来了询盘。
公开研究里同一组提示重复跑，出来的品牌列表经常不一样，位置类指标尤其不稳。抓取活跃与被引用之间还隔着一整段实测，得拿固定的问句池去各个平台分别问、重复问、记录原始回答，才算摸到边。听到有人拿爬虫访问量当可见性提升的证据，这就是缺了那一段。
什么时候不必做这套
一天只有几十个请求的站，看占比没意义，一个爬虫多跑两轮就能让曲线跳十几个点，看绝对条数和状态码更实在。全站走 CDN 且拿不到边缘日志的，源站记录不等于真实流量，先接日志再谈分析。只有后台统计面板、看不到原始记录的团队，把上面三个问题拿去问服务商就好，自己算不出来也不用硬凑。
一句话的判断标准
报告里敢写清楚分母、敢把 301 单列、敢在结论里写明抓取不等于引用，这份报告就能看。三样缺一样，数字再漂亮也先放一放。
想自己复算一遍，双源日志监测的技术文档给了完整分类口径、可复制的九条检查清单，以及每一步的验证方式。