Sitemap Sniffer

Sitemap Sniffer 是一款强大的网站地图探测工具，能够从任意公开网站的根目录、域名、robots.txt 文件、直接站点地图 URL 以及站点地图索引中自动发现并提取站点地图文件。它不仅能识别出所有隐藏的 sitemap，还会导出详细的元数据，包括 URL 数量、嵌套索引深度，并提供可选的 URL 清单行，为 SEO 审计和爬虫规划提供精准数据支持。

核心功能

• 多渠道发现：支持从网站根目录、常见路径、robots.txt 解析、直接 URL 以及 sitemap 索引等多种来源自动嗅探站点地图。
• 深度解析：递归提取嵌套的 sitemap 索引，揭示深层结构，确保不遗漏任何子站点地图。
• 数据导出：将 sitemap 元数据（如最后修改时间、URL 数量）导出为 CSV 或 JSON 格式，方便后续分析。
• URL 清单：可选提取每个 sitemap 中的具体 URL 列表，用于爬虫预算分配和内容审计。

主要特性

• 全面覆盖：自动检测 robots.txt 中的 Sitemap 指令，并尝试常见路径，确保不遗漏任何公开的站点地图。
• 高效解析：快速处理大型 sitemap 索引，支持并行下载，节省时间。
• 灵活导出：支持导出元数据或完整 URL 列表，满足不同 SEO 工作流需求。
• 轻量易用：无需复杂配置，输入网站 URL 即可开始嗅探，结果直观呈现。
• SEO 友好：专为 SEO 审计设计，帮助优化爬虫抓取策略，提升索引效率。

适用场景

• SEO 审计：快速发现网站所有公开的站点地图，检查是否有遗漏或错误配置。
• 爬虫规划：获取完整的 URL 清单，用于制定爬虫抓取预算和优先级。
• 竞品分析：探测竞争对手网站的站点地图结构，了解其内容组织方式。
• 网站迁移：迁移前导出所有 URL 列表，确保重定向和索引覆盖完整。