知识库 / 阶段 3 · 技术 SEO 与开发协作 / 搜索引擎优化(SEO) ↗ / 第 094 节

网站分页抓取收录配置说明

一、整体结构原则

核心页强 index,延伸页控 index,重复页 noindex,全部 follow。

页面分级#

层级 页面类型 作用 是否 index
L1 首页 全站入口、权重中心
L2 分类首页 强主题聚合
L3 标签首页(≥3 篇) 弱专题聚合 ✅(有门槛)
L4 文章页 流量核心
L5 分页、作者分页、标签分页 延伸导航 ❌ noindex, follow

二、分页策略(兼顾 Yandex)#

1️⃣ 首页分页(时间流)#

/ → index

/page/2/ → index

/page/3/ → index

/page/4/ → index

/page/5/ → index

/page/6/ 及以后 → noindex

  • 前 5 页 index:保证 Yandex 深层抓取与新内容发现

  • 6 页后 noindex:防止索引膨胀

2️⃣ 分类分页(强主题)#

分类首页 → index

分类第2页 → index

分类第3页 → index

第4页及以后 → noindex

  • 分类比标签权重高

  • 允许 2–3 页参与索引

  • 后续控膨胀

3️⃣ 标签分页(弱聚合)#

标签首页(≥3 篇) → index

标签分页全部 → noindex

  • 不给分页 index

  • 保证权重集中到首页

4️⃣ 作者页#

作者首页(有品牌价值) → index

作者分页 → noindex

如果作者只是普通投稿人:

👉 作者首页也可以 noindex

三、标签生命周期模型(自动进阶)#

=1 篇 → noindex

=2 篇 → noindex

≥3 篇 → index

进阶优化(更稳版本):

≥3 连续 7 天 → 才 index

避免频繁切换。

四、Sitemap 分配策略(极其关键)#

只提交:#

  • 首页

  • 分类首页

  • 标签首页(≥3 篇)

  • 文章页

不提交:#

  • 分页

  • 1–2 篇标签

  • 作者分页

五、抓取预算分配逻辑#

60% 抓取预算 → 文章页#

20% → 分类页#

15% → 首页分页#

5% → 标签页#

不要让分页吃掉预算。

六、内链权重控制(比 robots 更重要)#

首页:#

  • 只露出高质量标签

  • 不推孤岛标签

分类页:#

  • 强推最新文章

  • 不堆积无价值标签

标签页:#

  • 不要全站侧栏堆 100 个标签

七、Yandex 特别注意#

Yandex 讨厌:

  • URL 爆炸

  • 深层分页全部 noindex

  • 结构频繁变化

所以:

  • 首页分页保留 3–5 页 index

  • 结构不要频繁调整

  • robots 改动不要太密集

八、最终稳定结构图#

首页(index)

├── 分类(index)

│ ├── 分页 2-3 页 index

│ └── 后续 noindex

├── 标签(≥3 index)

│ └── 分页全部 noindex

└── 文章(全部 index)

九、一句话模型总结#

首页保证抓新
分类保证主题
标签保证专题
分页控制膨胀