分页、归档、标签页要不要让 AI 抓：一份取舍表

做 GEO 排查时，动作往往停在文章页。但一个站真正被访问最多的 URL，常有大量是列表类：分页、归档、标签聚合。这些页面放不放给 AI 爬虫，直接影响抓取预算怎么分。

先说清楚一个前提：这里的「让不让抓」指的是 robots.txt 和站内链接策略，不是收录承诺。放开不等于会被抓，被抓也不等于会被引用。

四类列表页，价值差别很大

文章分页（/post/2、?page=2）：内容与首页高度重复，只是顺序不同。对 AI 来说几乎没有独立信息量，但会消耗抓取次数。一般建议不单独做 SEO/GEO 目标，也不必屏蔽——屏蔽反而可能阻断通往老文章的路径。

分类列表：有明确的主题聚合意义。一个分类页如果只有标题列表，价值低；如果带一句分类说明、按主题分组的摘要，它就能回答「这一类的整体情况」。后者值得让抓，前者不必特别处理。

日期归档（/date/2024/05）：几乎纯导航结构，无独立语义。这类适合 noindex 或 robots 屏蔽，把预算让给内容页。注意：屏蔽归档页之前先确认没有外部链接指向它们，否则那些链接的权重就白丢了。

标签聚合页：最容易出问题的一类。标签数量一多，就产生大量低质量组合页，比如「GEO + 插件 + 2024」这种只含三篇文章的页面。站内这种页面过百之后，抓取预算会被明显摊薄。

一个简单的判断标准

对每个列表 URL 问一句：这个页面上有没有文章正文里没有的信息？

• 有（分类说明、编辑整理、横向对比）→ 让它抓
• 没有（纯标题列表 + 摘要截断）→ 不必刻意优化，质量太差的考虑合并或屏蔽

这个标准和 SEO 时代的老办法不完全一样。SEO 讲究列表页也能吃排名，GEO 更在意「能不能抽出一段可用的话」。一个只列标题的页面，无论排名多好，模型都抽不出东西。

标签页的具体处理

三个可选动作，按站点规模挑：

1. 限制数量：只保留被 5 篇以上文章使用的标签，其余合并或删除。这是最治本的做法。
2. 只留首页可抓：标签页本身保留，但限制翻页深度，避免产生海量组合 URL。
3. robots 屏蔽参数：屏蔽带分页参数的变体，保留主标签页。

不建议上来就全站屏蔽标签页。标签聚合本身能反映主题聚焦，屏蔽掉可能丢掉一些长尾机会。先看数量，再做决定。

分页要留意的两个细节

一是分页 URL 的统一。同一份内容如果既能通过 /post/2 也能通过 ?page=2 访问，等于两份重复页面，对抓取没好处。定一种，其余 301。

二是翻页过深的内容基本抓不到。第 20 页之后的文章，如果只靠分页链接到达，访问概率极低。解决办法是加强内链和 sitemap，而不是指望爬虫翻页。

最后一句

抓取预算这个概念，在小站上感觉不明显，上百篇之后差别就出来了。列表页处理的原则不是「让 AI 多抓」，而是「别让它把次数花在没信息的地方」。