站点被 AI 完全忽略：一份从上到下的排查清单
「我们内容也写了，还是完全没被提过」——这种情况通常是通道问题，而不是内容问题。按下面的顺序排查，八成能在前三步定位到原因。 第一步：能不能被抓到 先确认爬虫真的来过。 看服务器日志里是否有 GPTBot、OAI-SearchBot、Per
#抓取
以下是带有「抓取」标签的全部文章
Sitemap、内链与抓取预算：AI 爬虫来了会先抓哪一页
爬虫的时间是有限的不论传统搜索引擎还是 AI 爬虫，单次访问的页面数量都有上限，这个上限就是「抓取预算」。站点越大、结构越乱，预算被浪费得越多，真正重要的页面反而抓不到。很多站点的状况是：几万条标签页、分页页、参数页占满了抓取配额，而核心的