首页 精彩推文内容详情

本站zblog博客系统 robots.txt 优化核心总结

2025-10-19 23 nanxia
本次优化围绕 ZBlog 网站安全防护 + 搜索引擎抓取效率 展开,在你初始规则基础上完善细节,最终形成 “精准禁爬 + 高效引导” 的完整配置,核心内容如下:

一、优化核心目标

  1. 禁止爬虫访问 ZBlog 敏感 / 低价值目录(保护隐私、避免权重分散);

  2. 规范规则格式,确保所有搜索引擎识别生效;

  3. 保留 Sitemap 引导,让爬虫优先抓取正文内容(文章、分类、标签等)。

二、关键优化措施

优化方向具体动作目的
补充禁爬目录新增 /zb_users/upload/(用户附件)、/zb_users/plugin/(插件)、/zb_users/theme/(模板)覆盖 ZBlog 典型非公开目录,避免爬虫抓取无用资源
规范路径格式将 search.php 调整为 /search.php统一完整路径,避免部分搜索引擎(百度、Bing)识别失效
增强可读性为每条规则加注释(如 “保护隐私”“集中权重”)方便后续维护,避免误改
保留 Sitemap完整保留 6 个 XML 地图地址引导爬虫精准识别网站结构,提升正文索引效率

三、优化后可直接使用的完整配置

User-agent: *
# 禁止ZBlog核心系统目录(含后台/配置,护安全)
Disallow: /zb_system/
# 禁止搜索结果页(避重复内容,集中权重)
Disallow: /search.php
# 禁止用户数据目录(含隐私数据,防泄露)
Disallow: /zb_users/data/
# 禁止语言包目录(静态资源,无需索引)
Disallow: /zb_users/language/
# 禁止日志目录(后台日志,无公开价值)
Disallow: /zb_users/logs/
# 禁止用户上传目录(附件文件,非正文)
Disallow: /zb_users/upload/
# 禁止插件目录(功能代码,无需索引)
Disallow: /zb_users/plugin/
# 禁止模板目录(模板文件,无访问价值)
Disallow: /zb_users/theme/

# 引导搜索引擎抓取正文的Sitemap地址
Sitemap: https://www.iyangxi.com/sitemap-post/1.xml
Sitemap: https://www.iyangxi.com/sitemap-page/1.xml
Sitemap: https://www.iyangxi.com/sitemap-cate/1.xml
Sitemap: https://www.iyangxi.com/sitemap-tag/1.xml
Sitemap: https://www.iyangxi.com/sitemap-tag/2.xml
Sitemap: https://www.iyangxi.com/sitemap-tag/3.xml


相关标签: # zblog # 核心 # 总结 # 目录 # 优化