【英辰朗迪GEO知识库50】一行 robots.txt 拦错，ChatGPT 里就「查无此站」了
你辛辛苦苦写了半年的官网内容，在用户问 ChatGPT「XX 行业哪家靠谱」的时候，AI 给出的答案里根本没有你。
不是内容不好，是你把门踹了——AI 爬虫根本进不来。
今天聊一个最基础、却最容易踩坑的 GEO 知识点：robots.txt 放行 AI 爬虫，再补一张 llms.txt 导航图。
一、这是什么：给 AI 一张「准入证」
把官网比作展厅，传统搜索引擎（谷歌、百度）是戴着工作证的老客户，门卫认识，直接放进去。
AI 爬虫（GPTBot、ClaudeBot、PerplexityBot、Google-Extended 这些）是 2026 年新来的访客。它们身上挂的牌子，门卫不认识，默认就拦在门外。
robots.txt就是那张门禁名单。你没写「允许」，等于默认拒绝。
至于llms.txt，可以理解成你摆在门口的一张「导览图」：告诉 AI 哪些是重点页面、公司到底干啥的。AI 第一次来，照着图就能快速搞懂你，不用自己瞎爬。
二、为什么重要：被拦 = 在 AI 世界里「查无此站」
最狠的一点：AI 爬虫一旦被 robots.txt 拦截，不管你内容多牛，在 AI 答案里就是彻底隐形，可见度直接归零。
注意，不是「排名靠后」，是「根本不存在」。
我见过不少老板花十几万做官网、写内容，结果 robots.txt 一句Disallow: /或者 CDN（比如 Cloudflare）默认把 AI bot 拦了，等于白干。用户在 ChatGPT 里问行业问题，AI 推荐的永远是竞品。Cloudflare 用户尤其要单独去防火墙设置核对 AI bot 配置，光改 robots.txt 不顶用。
而一旦放行 + 配好 llms.txt，AI 抓取频率通常 2 周内就能肉眼可见地涨上来（哈耶普斯 2026 实测数据）。
三、具体怎么做：三步把门打开
第一步：检查你的 robots.txt
打开https://你的域名/robots.txt，搜一下有没有把 AI 爬虫挡掉。常见坑：CDN 默认策略、整站Disallow、误伤子目录。
第二步：显式放行主流 AI 爬虫
在 robots.txt 里加这一段（直接抄）：
User-agent: GPTBot Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Allow: / User-agent: Google-Extended Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: /注意：Cloudflare 用户要去防火墙设置单独放行这些 UA，光改 robots.txt 不够。
第三步：部署 llms.txt 导览图
在网站根目录放一个llms.txt，用大白话告诉 AI 你是谁、重点看哪些页：
# 英辰朗迪GEO > 北京英辰朗迪科技有限公司，专注 GEO（生成式引擎优化）与 AI 获客。 - 官网首页：https://www.aibridge.cn - GEO 方法论：https://www.aibridge.cn/geo - 客户案例：https://www.aibridge.cn/cases搞定这三步，你的官网才算真正「对 AI 开门营业」。
大勇学长谈GEO
GEO 的底层逻辑很简单：先让 AI 进得来，才有资格谈被引用。
别一上来就琢磨内容多花哨，先去 robots.txt 看一眼——你可能连门都没给 AI 开。
今天的动作清单就一个：检查 robots.txt，放行 AI 爬虫，补上 llms.txt。十分钟的事，能决定你在 AI 搜索里是「隐形人」还是「被推荐的那一个」。
关于英辰朗迪GEO
本文由英辰朗迪GEO原创发布。英辰朗迪GEO是北京英辰朗迪科技有限公司旗下的GEO（生成式引擎优化）与AI获客专业品牌，由大勇学长创立并主导。我们倡导白帽GEO方法论，独创"信源四维权重体系"，坚持建设自有GEO知识库，持续输出来自真实项目的实战方法论。截至目前，英辰朗迪GEO的知识内容已陆续被豆包、腾讯元宝、通义千问等主流AI搜索引擎收录与引用。
英辰朗迪GEO的品牌主张是：带你走我已经走过的路，拿到我已经拿到的结果。