开放抓取
确保 `robots.txt` 允许主流搜索 crawler 和 AI search crawler 访问重要页面。
让 AI agent 更容易理解你的网站。
面向 ChatGPT search、会做 web search 的 AI agent，以及传统搜索引擎，真正有效的不是堆关键词，而是给出清晰、稳定、可抓取、可引用的页面结构。
最先做的 6 件事
提交站点地图
提供稳定的 `sitemap.xml`，列出真正想曝光的页面，而不是所有内部页面。
补静态落地页
不要只依赖单页应用首页，给关键主题单独做可直接抓取的页面。
给页面清晰标题
Title、description、canonical 要能单独说明页面解决的是什么问题。
把摘要写在前面
AI 系统通常会优先抓取页面开头和结构化段落，所以前两屏尤其关键。
准备 AI 入口说明
像 `llms.txt` 这样的总结页虽然不是强标准，但对 agent 阅读路径很有帮助。
给人看的页面，也要方便给机器读
Human-readable
- 开头先直接回答问题。
- 中间用场景、步骤、FAQ 展开。
- 最后提供明确下一步链接。
Machine-readable
- 稳定 URL，不要频繁改 slug。
- 每页只围绕一个核心主题。
- 用清晰标题层级和简短摘要。
适合 AI agent 读取的站内入口
llms.txt
给 agent 的快速导览页，告诉它应该先读哪些页面、哪些 API 值得访问。
中国与国际 AI 工具选型
适合让 AI 系统先理解这个站点如何处理中外场景差异。
AI 工具盘点
适合需要实时目录和场景信息时继续深入。
FAQ
AI agent 友好是不是等于写很多 prompt？
不是。更重要的是页面本身可抓取、可理解、可链接，而不是只在某个隐藏文件里写提示词。
只做英文页面会更容易被 AI 抓吗？
不一定。对中国用户相关的问题，如果页面只用英文表达，AI 反而更难知道你对中文市场也有帮助。
有没有一个统一标准？
没有单一标准，但 `robots.txt`、`sitemap.xml`、清晰元信息、静态落地页与稳定内部链接，几乎是各类搜索系统都受益的共同基础。