Sitemap、robots、结构化数据：SEO 基础三件套在 AI 搜索时代还有用吗

先说结论：三件套全部还有用，而且比以往更重要。原因很简单——AI 爬虫和搜索引擎爬虫共用同一套基础设施。robots 挡错了，AI 一样看不到你；sitemap 没提交，新文章一样进不了索引；结构化数据写对了，AI 解析成本下降，被引用概率上升。

robots.txt：最常见的致命错误

先说最危险的配置。以下几种写法会直接让 AI 搜索完全看不到你：

# 错误示例 1：全站禁止
User-agent: *
Disallow: /

# 错误示例 2：挡住了 CSS 和 JS
User-agent: *
Disallow: /css/
Disallow: /js/

示例 2 的问题很多站都有：挡住 CSS/JS 后，爬虫渲染页面时看到的是残缺版本，会误判页面质量。Google 早在 2019 年就明确说过不要挡 CSS 和 JS。

正确的最小配置：

User-agent: *
Allow: /
Disallow: /zb_system/
Disallow: /zb_users/
Disallow: /*?*
Sitemap: https://www.example.com/sitemap.xml

最后一行 Sitemap 声明不要漏。虽然搜索引擎也能通过其他途径发现站点地图，但直接在 robots 里声明是最省事的做法。

另外要注意：如果你希望被 AI 搜索引用，不要屏蔽 AI 爬虫（例如 GPTBot、ClaudeBot、PerplexityBot 等）。有些站为了「防止内容被白嫖」把这类 UA 全挡了，结果是自己在 AI 搜索里彻底消失。这是个战略选择，但要清楚代价。

sitemap.xml：三条实用规则

1. 只放需要被收录的页面：标签页、搜索结果页、分页的第二页以后，通常不需要放。放进去只会稀释抓取配额。
2. lastmod 要真实：很多 CMS 的 lastmod 显示的是生成 sitemap 的时间，不是内容修改时间。这会误导爬虫，长期反而降低信任。改内容时才更新 lastmod。
3. 文章多了要拆分：单个 sitemap 上限是 5 万条 URL / 50MB。超过就用 sitemap 索引文件（sitemap index）拆分。

提交渠道：Google Search Console、Bing Webmaster Tools（Bing 的数据同时喂给一部分 AI 搜索）。Bing 这条容易被忽略，但在 AI 搜索时代价值上升了。

结构化数据：对 AI 的价值比对搜索更高

传统认知里，结构化数据的作用是「拿到富媒体摘要」（评分星星、FAQ 折叠）。现在多了一个更重要的用途：降低 AI 的解析成本。

AI 读一个页面时，要从 HTML 里推断「这是什么类型的内容、作者是谁、什么时候发的、价格多少」。如果页面里有 Article、FAQPage、Product、Organization 这些标记，这些信息就是显式声明的，不用推断。推断有出错的可能，声明没有。

最值得加的四种：

不要为了结构化数据编造内容。FAQ 标记里的问答必须在页面上真实可见，否则会被判为欺骗性标记，可能导致整站富媒体摘要权限被收回。

三个容易被忽略的基础项

1. canonical 标签：同一内容有多个 URL（带参数、带 www 和不带、http 和 https）时，必须用 canonical 指定主版本。否则权重分散，AI 也可能把同一内容当多个来源。
2. 页面速度：移动端首屏加载超过 3 秒，跳出率明显上升。速度本身不是排名决定因素，但影响用户行为信号，间接影响排名。
3. HTTPS：现在已经是默认要求。http 站点在浏览器里会显示「不安全」，用户信任度直接受损，AI 侧也倾向于优先引用 https 来源。

一次性自查清单

1. 访问 你的域名/robots.txt，确认没有全站 Disallow，且声明了 Sitemap。
2. 访问 你的域名/sitemap.xml，确认能正常打开，条数与实际文章数接近。
3. 随机抽三篇文章，看源码里有没有 Article 结构化数据，dateModified 是否正确。
4. 检查首页有没有 canonical，指向的是不是主域名。
5. 用移动网络打开首页，看几秒能显示主要内容。
6. 确认站点是 https，且 http 会 301 跳转到 https。

这六条全部通过，技术基础就算合格了。剩下的都是内容层面的工作。