这篇文章把三个文件一次讲透：它们各管什么、2026 年 AI 爬虫清单怎么配、llms.txt 怎么写怎么验证。所有配置和脚本直接复制就能用。
你的官网在 Google 上品牌词稳稳第一，回头问 ChatGPT「你们产品是干什么的」，它引用的却是竞品官网。打开你的 robots.txt 一看，还是十几年前的模板；sitemap 是插件自动生成的，从没管过；llms.txt 这个文件，压根不存在。
AI 爬虫路过你的站，等于路过一块黑板——不是不让你看，是没人给它写过导览。
01status-quo
三个文件来自三个时代：
• robots.txt：1994 年的协议，管权限 • sitemap.xml：2005 年 Google 牵头的协议，管发现 • llms.txt：2024 年 Answer.AI 的 Jeremy Howard 提出，管理解
多数网站只配了前两个，第三个是空白。这就是 AI 引用不到你的第一个原因：你的站对 AI 是哑巴，不是瞎子。
再往前翻，问题更多。robots.txt 用 User-agent: * 一刀切，AI 爬虫的「引用」和「训练」权限从没分开过；sitemap 只是给 Google 交作业，Lastmod 全是假的；更没有 llms.txt 告诉 AI「先读哪几页」。结果就是：AI 只能靠爬全文猜你的站是干什么的，猜错就引用别人。
02three-files
先对齐分工，三个文件各干一件事：
2026 AI 爬虫清单
配置 robots.txt 之前，先认识 2026 年最常见的 AI 爬虫：
• GPTBot：OpenAI 训练爬虫，可挡 • OAI-SearchBot：ChatGPT 搜索索引与引用，建议放行 • ClaudeBot：Anthropic 训练爬虫，可挡 • Claude-SearchBot：Claude 搜索索引，建议放行 • PerplexityBot：Perplexity 搜索引用，建议放行 • Google-Extended：Google 的 AI 训练与生成爬虫 • CCBot（Common Crawl）、Bytespider（字节跳动）、Amazonbot、Applebot-Extended、cohere-ai、meta-externalagent
关键认知：引用类爬虫决定 AI 搜索能不能引用你，训练类爬虫决定内容进不进训练集。两者互不影响——挡掉 GPTBot，ChatGPT 搜索照样能引用你，只要 OAI-SearchBot 是放行的。
一份可直接复制的 robots.txt：
User-agent: *
Disallow: /admin/
Disallow: /search
# 引用类：AI 搜索要引用你，放行
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# 训练类：按内容策略决定，可只放行内容目录
User-agent: GPTBot
Allow: /blog/
Allow: /docs/
Disallow: /sitemap 注意三条：URL 指向 https://你的域名/sitemap.xml；Lastmod 写真实更新时间，别用插件默认的固定值；在 robots.txt 末尾加一行 Sitemap: https://你的域名/sitemap.xml。
03llms-txt-in-action
llms.txt 的规范极简：H1 写站点名，下面紧跟一行 blockquote 摘要，再往下是分组的 Markdown 链接列表。可选配 llms-full.txt，把关键页面的全文拼成一个文件，供长上下文模型一次性摄取。规范站是 llmstxt.org。
三层实践，从薄到厚：
• 站点级： /llms.txt，全站导览• 语言级： /zh/llms.txt，按语言/子站拆分• 全量级： /llms-full.txt，全文打包
一份可复制的 /llms.txt：
# 云帆文档系统
> 面向中小团队的 Markdown 文档协作平台，支持知识库、API 文档与 AI 问答。
## 产品与定价
- [产品介绍](https://example.com/product.md): 平台定位与核心功能
- [价格方案](https://example.com/pricing.md): 免费版与专业版对比
## 文档
- [快速开始](https://example.com/docs/quickstart.md): 5 分钟跑通
- [API 参考](https://example.com/docs/api.md): 全部接口与示例
## 关于
- [关于我们](https://example.com/about.md): 团队与联系方式要点就一个：链接即权重。排在最前面的链接，AI 最可能先抓、先引用。
不用手写，一个脚本搞定。新建 gen_llms.py，粘这段（标准库，零依赖）：
#!/usr/bin/env python3
"""gen_llms.py — 从 sitemap.xml 生成 llms.txt"""
import sys, urllib.request, xml.etree.ElementTree as ET
sitemap = sys.argv[1] if len(sys.argv) > 1 else "https://example.com/sitemap.xml"
name = sys.argv[2] if len(sys.argv) > 2 else "站点名"
summary = sys.argv[3] if len(sys.argv) > 3 else "一句话描述你的站点。"
ns = {"s": "http://www.sitemaps.org/schemas/sitemap/0.9"}
xml = urllib.request.urlopen(sitemap, timeout=15).read().decode("utf-8")
urls = [u.findtext("s:loc", namespaces=ns)
for u in ET.fromstring(xml).findall("s:url", ns)]
out = [f"# {name}", "", f"> {summary}", ""]
out += [f"- [{name} {i}]({url})" for i, url in enumerate(urls, 1)]
open("llms.txt", "w", encoding="utf-8").write("\n".join(out))
print(f"OK: {len(urls)} 条链接 -> llms.txt")跑一下：
python3 gen_llms.py https://example.com/sitemap.xml "云帆文档系统" "面向中小团队的 Markdown 文档协作平台"
# 生成 llms.txt，把它放到网站根目录即可想一步到位出 llms-full.txt，把脚本里的链接逐个抓全文拼成一个大 markdown 就行，搜索「llms.txt generator」也有现成工具。
这不是个人玩具。Cloudflare 的 llms-full.txt 约 3.7M tokens、Anthropic 约 481K tokens（2026-09 实测）——大厂已经把 llms.txt 当基础设施在维护。你的站没有，等于在 AI 生态里裸奔。
04geo-bonus
llms.txt 是 GEO 四大杠杆里「可爬取 + 可理解」的直接落地，三个动作立竿见影：
• 摘要句写清楚「你是谁、服务谁」：AI 回答品牌类问题时，这句话最可能被原样引用 • 链接按权重排序：把最想让 AI 引用的页面（产品页、事实页、FAQ）放最前 • 配合放行引用类爬虫：llms.txt 写得再好，OAI-SearchBot 被挡也白搭
再加一层：把「一句话定义」写进首页和 About 页，和 llms.txt 摘要保持一致。AI 引用你的次数，取决于你给自己下的定义被重复了多少次。
06checklist
验证与自查，十分钟跑完：
# 1. llms.txt 是否可访问
curl -s https://你的域名/llms.txt | head -20
# 2. robots.txt 是否生效
curl -s https://你的域名/robots.txt• robots.txt 已按「引用类放行、训练类按策略」分开配置 • sitemap 的 Lastmod 真实，已提交到 Search Console • /llms.txt 存在且返回 200 • llms-full.txt 已生成（内容站建议） • 用 OpenSEO 或 Screaming Frog 模拟抓取，确认爬虫放行生效
robots.txt 决定 AI 能不能来，llms.txt 决定 AI 来了说什么。
三件套配齐，你的站才算在 AI 生态里「有户口」。下一篇进入实战：企业官网的 SEO×GEO 打法——品牌词、E-E-A-T、Organization schema，一套组合拳。关注不迷路。
觉得有用？点个关注，持续获取优质内容。
米兰体育秉承"专业团队、品质服务" 的经营理念，诚信务实的服务了近万家客户，成为众多世界500强、集团和上市公司的长期合作伙伴！
米兰体育成立于2001年，擅长网站建设、网站与各类业务系统深度整合，致力于提供完善的企业互联网解决方案。米兰体育提供PC端网站建设（品牌展示型、官方门户型、营销商务型、电子商务型、信息门户型、微信小程序定制开发、移动端应用（手机站、APP开发）、微信定制开发（微信官网、微信商城、企业微信）等一系列互联网应用服务。
公安局备案号：
专属顾问
