解密GEO：AI抓不到你的内容？先查这6个技术问题

内容被 AI 无视，最常见的原因不是写得不好，而是它根本没读到。这一步排查不需要高深技术，六个体检项，半小时能过一遍。

先说结论：抓取问题的排查顺序应该是“能不能读到原文 → 读到的是不是正文 → 读到的是不是最新的”，倒过来查会浪费很多时间。

一、关掉 JS 看还剩什么

浏览器打开文章页，按 Ctrl+U 看源代码，搜一句正文里的原话。搜不到，说明正文是前端渲染出来的。

多数 AI 抓取器不执行 JavaScript，或者执行能力有限。你的页面在它眼里可能只有一个空壳。这一条能解释掉大半“内容明明很好却没人引用”的案例。

二、robots.txt 有没有误伤

检查有没有针对 GPTBot、ClaudeBot、PerplexityBot、Bytespider 这类 UA 的 Disallow 规则。有些站点为了防采集一刀切封了所有爬虫，顺带把 AI 检索也封了。

还有一种隐蔽情况：CDN 或 WAF 的默认策略会拦截高频 UA，日志里表现为 403。这种情况 robots 里看不出来，只能翻访问日志。

三、正文是不是被藏在交互后面

“点击展开全文”“登录后阅读”“会员可见”——这三种设计在 GEO 语境下都是致命的。模型不会点按钮，也不会注册账号。

如果确实需要登录墙，至少保证摘要和核心结论是公开的、在 HTML 里的。

四、sitemap 是不是过期了

抓取器依赖 sitemap 发现新内容。你的 sitemap 如果三个月没更新，或者把已删除的页面还挂在里面，抓取效率会明显下降。

检查三件事：lastmod 时间是否真实、有没有 404 页面混在里面、新文章是否在发布后自动进入 sitemap。

五、状态码别乱用

200 返回一个“文章不存在”的页面，是典型的软 404。抓取器会把它当成正常内容收录，结果是一堆空页面占着索引位。

另外要确认规范链接（canonical）指向自己而不是别的域名，否则你的内容会被归到别人名下。

六、验证抓取工具看到的内容

用 curl 直接请求页面，看返回的 HTML 里有没有正文。命令行看到的东西，和 AI 抓取器看到的通常一致——它不渲染、不带 cookie、不点按钮，和 curl 一样朴素。

这一步最有用，因为它是唯一不带任何前端干扰的视角。

排查完还读不到，说明什么

如果六项都通过了，抓取正常、正文可见、时间新鲜，但 AI 答案里依然没有你，那问题就不在技术层，而在内容层：读得到了，但没被选中。这时候要换的是写法，不是服务器配置。

判断方法很简单：把正文前 300 字直接贴给任意一个 AI，问它“这段在回答什么问题、结论是什么”。如果它答得含糊，说明你的内容对模型来说也是含糊的——它读懂了字，没读懂观点。