知识库 / 阶段 3 · 技术 SEO 与开发协作 / 搜索引擎优化(SEO) ↗ / 第 094 节
网站分页抓取收录配置说明
一、整体结构原则
核心页强 index,延伸页控 index,重复页 noindex,全部 follow。
页面分级#
| 层级 | 页面类型 | 作用 | 是否 index |
| L1 | 首页 | 全站入口、权重中心 | ✅ |
| L2 | 分类首页 | 强主题聚合 | ✅ |
| L3 | 标签首页(≥3 篇) | 弱专题聚合 | ✅(有门槛) |
| L4 | 文章页 | 流量核心 | ✅ |
| L5 | 分页、作者分页、标签分页 | 延伸导航 | ❌ noindex, follow |
二、分页策略(兼顾 Yandex)#
1️⃣ 首页分页(时间流)#
/ → index
/page/2/ → index
/page/3/ → index
/page/4/ → index
/page/5/ → index
/page/6/ 及以后 → noindex
-
前 5 页 index:保证 Yandex 深层抓取与新内容发现
-
6 页后 noindex:防止索引膨胀
2️⃣ 分类分页(强主题)#
分类首页 → index
分类第2页 → index
分类第3页 → index
第4页及以后 → noindex
-
分类比标签权重高
-
允许 2–3 页参与索引
-
后续控膨胀
3️⃣ 标签分页(弱聚合)#
标签首页(≥3 篇) → index
标签分页全部 → noindex
-
不给分页 index
-
保证权重集中到首页
4️⃣ 作者页#
作者首页(有品牌价值) → index
作者分页 → noindex
如果作者只是普通投稿人:
👉 作者首页也可以 noindex
三、标签生命周期模型(自动进阶)#
=1 篇 → noindex
=2 篇 → noindex
≥3 篇 → index
进阶优化(更稳版本):
≥3 连续 7 天 → 才 index
避免频繁切换。
四、Sitemap 分配策略(极其关键)#
只提交:#
-
首页
-
分类首页
-
标签首页(≥3 篇)
-
文章页
不提交:#
-
分页
-
1–2 篇标签
-
作者分页
五、抓取预算分配逻辑#
60% 抓取预算 → 文章页#
20% → 分类页#
15% → 首页分页#
5% → 标签页#
不要让分页吃掉预算。
六、内链权重控制(比 robots 更重要)#
首页:#
-
只露出高质量标签
-
不推孤岛标签
分类页:#
-
强推最新文章
-
不堆积无价值标签
标签页:#
- 不要全站侧栏堆 100 个标签
七、Yandex 特别注意#
Yandex 讨厌:
-
URL 爆炸
-
深层分页全部 noindex
-
结构频繁变化
所以:
-
首页分页保留 3–5 页 index
-
结构不要频繁调整
-
robots 改动不要太密集
八、最终稳定结构图#
首页(index)
├── 分类(index)
│ ├── 分页 2-3 页 index
│ └── 后续 noindex
├── 标签(≥3 index)
│ └── 分页全部 noindex
└── 文章(全部 index)
九、一句话模型总结#
首页保证抓新
分类保证主题
标签保证专题
分页控制膨胀