新上线今天102 投票
用 Accept 头为 AI 代理提供 Markdown 内容：一个提升效率的新思路
在 AI 时代，网站内容如何更高效地被 AI 代理读取？Hacker News 上的一篇热门文章提出了一个简洁的方案：通过 HTTP 内容协商，让网站能够根据请求头 Accept: text/markdown 返回 Markdown 格式的页面内容。
核心思路：利用内容协商
文章指出，你的网站已经拥有内容，只需为 AI 代理提供一个 Markdown 变体，就能让它们跳过导航、脚本、布局等无关代码，直接读取核心内容。这本质上是一种基于 HTTP 标准的内容协商（Content Negotiation）实践，通过识别 Accept 请求头，为不同的客户端（如浏览器或 AI 代理）返回最适合的表示形式。
三大优势：效率、质量与速度
- Token 节省：Markdown 格式去除了 HTML 的冗余标签，字节数大幅减少，AI 代理可以将宝贵的上下文窗口用于理解内容本身，而不是处理 DOM 结构。
- 检索质量提升：对于 RAG（检索增强生成）流水线，Markdown 提供了更高的信噪比，没有广告、相关推荐或弹窗干扰嵌入过程，从而提升检索准确性。
- 延迟降低：更少的数据传输和解析，意味着更快的首 token 生成时间，让 AI 代理能更迅速地开始“思考”。
落地实践：从快速开始到完整指南
文章提供了“快速开始”的三步设置，并附有详细的指南，涵盖 Nginx、Caddy、WordPress、Rails、Cloudflare Workers 等主流服务器和框架的配置示例。此外，还讨论了 Vary 头、q-values、406 状态码、缓存等关键细节，并提到了 Cloudflare 的零配置捷径。
现状与展望
文章还列出了当前 AI 代理对 Accept: text/markdown 的支持矩阵，帮助开发者了解哪些代理的浏览或抓取工具会发送此请求头。尽管并非所有代理都支持，但这一做法为网站优化 AI 交互提供了新思路，并有望推动更多代理采纳。
总体而言，通过简单调整 HTTP 响应，就能为 AI 代理提供更友好的内容，这不仅提升了效率，也体现了 Web 对 AI 时代的适应。