当前位置：首页 > news >正文

WordPress站点AI友好化：LLMs.txt插件配置与Markdown输出实战

news 2026/5/13 13:27:45

1. 项目概述：为你的WordPress站点打造AI友好的内容接口

如果你运营着一个WordPress网站，并且希望你的内容能被当下最前沿的大型语言模型（LLMs）——比如ChatGPT、Claude、Gemini等——更好地发现、理解和利用，那么你很可能需要一个标准化的“沟通桥梁”。这个桥梁，就是我今天要详细拆解的WordPress插件：LLMs.txt for WP。它不仅仅是一个简单的文本生成器，更是一个将你的网站内容结构化、标准化，主动向AI世界递出“名片”的智能工具。

简单来说，这个插件做了两件核心事情：第一，它会在你的网站根目录自动生成一个名为llms.txt的文件，这个文件以一种机器（特别是AI）易于解析的格式，汇总了你站点的关键内容摘要。这就像是给搜索引擎看的robots.txt，但它的服务对象换成了AI模型。第二，它赋予了你的每一篇文章一个“第二身份”——Markdown格式版本。你可以通过在原文章URL后加上.md后缀，或者通过发送一个特定的HTTP请求头，直接获取文章纯净的Markdown文本。这对于需要抓取、分析或训练内容的AI应用来说，简直是“福音”，因为它剥离了所有主题样式、广告、导航栏等“噪音”，只留下最核心的文本和结构。

我之所以花时间深入研究并实践这个插件，是因为我意识到，在AI内容消费日益增长的今天，被动等待爬虫抓取已经不够了。主动、友好地为AI提供格式规整、意图明确的内容，不仅能提升你的网站在AI生态中的“能见度”，更是一种对自身内容版权的潜在声明和规范化管理。无论你是个人博主、内容创作者，还是企业网站的管理者，只要你的内容有价值，就值得被AI以正确的方式“看见”和“使用”。接下来，我将从设计思路、实操配置到深度定制，为你完整呈现如何利用这个插件，将你的WordPress站点升级为AI友好型内容源。

2. 核心功能与设计思路深度解析

2.1 为什么需要`llms.txt`？——从robots.txt到AI的进化

在深入插件细节之前，我们必须先理解llms.txt这个标准本身存在的意义。我们都知道robots.txt，它是一份网站与搜索引擎爬虫之间的“君子协议”，告诉爬虫哪些页面可以访问，哪些应该避开。随着大型语言模型开始大规模地从互联网上抓取数据用于训练和实时信息获取，一个类似的、面向AI的“协议”文件就变得至关重要。

llms.txt标准正是为了解决这个问题而生。它不是一个强制性的指令文件，而是一个声明性的、机器可读的指南。通过在网站根目录放置llms.txt，你实际上是在向所有访问你站点的AI代理传达以下信息：

内容边界：明确哪些部分的内容是公开且欢迎被AI用于参考、学习或摘要的（例如博客文章、知识库），哪些可能是私密的或不应被用于训练（例如用户个人资料、后台管理页面）。
内容结构：提供一个站点内容的“地图”或“目录”，帮助AI快速理解你网站的主题分类、核心页面和更新频率，从而更高效、更准确地抓取和理解内容。
使用意图：你可以通过注释或特定字段，暗示你更希望AI如何与你的内容互动。例如，是偏向于事实性参考，还是允许进行创意性改写和摘要。

这个插件的核心价值，就是将手动创建和维护这样一个标准化文件的过程完全自动化。它从你的WordPress数据库中动态提取你指定的内容（如最新文章、关键页面），并按照llms.txt的格式规范进行组装和输出。这意味着你的llms.txt文件永远是“新鲜”的，与网站最新内容同步。

实操心得：不要将llms.txt仅仅视为一个给AI看的文件。它也是你对自己网站内容资产的一次结构化梳理。在配置哪些内容需要被纳入时，你其实是在思考：“我网站的核心价值体现在哪些页面上？”这个过程本身对内容策略就是一种有益的反思。

2.2 Markdown输出：为AI和开发者提供“纯净”内容流

如果说llms.txt是给AI的“菜单”，那么文章的Markdown输出就是一道道“标准化的菜品”。为什么Markdown格式对AI如此重要？

首先，去除噪音。一篇普通的网页文章，其HTML源码中混杂着导航栏、侧边栏、页脚、广告代码、CSS样式和JavaScript脚本。对于旨在理解文本语义的AI来说，这些信息大部分是无关甚至干扰性的。Markdown是一种轻量级标记语言，它只保留最基本的文本格式（如标题、列表、加粗、链接），生成的文档极其纯净，信息密度高。

其次，便于解析和处理。Markdown的语法简单且结构化，无论是AI模型还是开发者编写的爬虫程序，都能非常容易地从中提取出标题层级、段落、列表项和链接，而无需面对复杂且可能随时变化的HTML DOM树解析。

这个插件的Markdown功能实现得非常优雅。它并非简单地将文章内容字段直接输出，而是通过集成强大的league/html-to-markdown库，将文章发布时保存的完整HTML内容（包含了通过古腾堡编辑器或经典编辑器添加的所有格式）实时转换为高质量的Markdown。这意味着即使是复杂的多列布局、自定义HTML块，也能被尽可能地转换为等价的Markdown结构。

更专业的是，插件在HTTP响应层面做了周到处理：

多种访问方式：用户可以通过在文章URL后加.md后缀直接访问，也可以通过编程方式发送Accept: text/markdown请求头来获取。这为开发者集成提供了灵活性。
增强的发现性（Discoverability）：插件会在文章页面的HTML<head>部分自动插入<link rel="alternate" type="text/markdown" href="...">标签，并在HTTP响应头中添加Link头部。这是遵循Web标准的方式，明确告知浏览器、爬虫和其他工具：“这个页面还有一个Markdown格式的版本在这里”。专业的AI爬虫会识别这些信号。
Token计数头信息：这是一个非常贴心的功能，尤其对于需要管理上下文窗口的AI应用。插件在返回Markdown内容时，会附带一个X-Markdown-Tokens的HTTP响应头，其值是该篇Markdown文档的大致token数量（通常基于单词和标点估算）。这能帮助调用方提前判断内容长度是否超出模型限制。

2.3 插件架构与可扩展性浅析

从开发角度看，LLMs.txt for WP插件的设计遵循了WordPress插件开发的最佳实践，具有良好的结构。

钩子（Hooks）驱动：它主要利用WordPress的Action和Filter钩子来嵌入功能。例如，使用init或template_redirect动作来拦截对llms.txt和.md结尾URL的请求，而不是通过重写规则生成物理文件。这种方式更高效，且能动态响应。
设置API集成：它使用WordPress的Settings API创建了一个清晰的管理页面（Settings > LLMs.txt Settings），所有配置选项都通过此页面安全地保存到wp_options表中。
关注点分离：代码逻辑上，生成llms.txt内容和处理Markdown转换的功能模块通常是分离的，这使得代码更易于维护和未来扩展。例如，如果你想为llms.txt添加自定义字段，只需修改内容生成部分的逻辑，而不会影响Markdown转换流程。
依赖管理：对于HTML转Markdown这个非核心但关键的功能，它通过Composer引入了成熟的第三方库 (league/html-to-markdown)，而不是自己重复造轮子。这保证了转换的质量和稳定性。

这种结构意味着，如果你是一名开发者，想要对这个插件进行二次开发（比如支持自定义文章类型、添加更多输出格式如JSON-LD、或集成到REST API中），其代码基础是相对清晰和友好的。

3. 完整安装与配置实战指南

3.1 环境准备与插件安装

在开始之前，请确保你的WordPress环境满足基本要求。这个插件代码简洁，理论上支持所有较新版本的WordPress（5.0+）和PHP（7.2+）。但为了最佳稳定性，我推荐使用PHP 7.4或8.0及以上版本。

安装方式有三种，我推荐第一种，因为它能让你第一时间获得最新版本和后续的更新通知。

方法一：从GitHub Releases页面下载安装（推荐）

访问插件的GitHub Releases页面：https://github.com/WP-Autoplugin/llms-txt-for-wp/releases。
找到最新的稳定版本（例如1.1.1），点击下载后缀为.zip的发布包（通常是Source code (zip)）。
登录你的WordPress后台，导航至“插件” -> “安装插件”。
点击页面上方的“上传插件”按钮，选择你刚刚下载的ZIP文件，然后点击“立即安装”。
安装成功后，点击“启用插件”。

方法二：通过WordPress插件目录安装（如果已上架）如果该插件未来被收录进官方的WordPress插件目录，你可以在后台的“插件” -> “安装插件”页面，直接搜索 “LLMs.txt for WP” 进行安装和启用。

方法三：通过FTP/SFTP手动安装

从GitHub下载ZIP包并解压，你会得到一个名为llms-txt-for-wp的文件夹。
使用FTP/SFTP客户端（如FileZilla）连接到你的服务器。
导航到WordPress安装目录下的/wp-content/plugins/文件夹。
将解压后的llms-txt-for-wp文件夹完整上传到此目录。
在WordPress后台的“插件”列表中找到 “LLMs.txt for WP”，点击启用。

安装并启用后，在左侧管理菜单的“设置”下，你应该能看到一个新的“LLMs.txt Settings”选项，这标志着插件已成功就位。

3.2 后台设置详解与策略制定

点击进入“设置” -> “LLMs.txt Settings”，你会看到一个简洁但功能明确的配置页面。这里的每一个选项都直接影响着最终输出的内容，需要根据你的网站策略来仔细设定。

核心配置项解析：

Selected Content for llms.txt
- 作用：这是llms.txt文件内容的核心来源。你可以选择是包含一个特定的页面（Page），还是包含最新的文章（Posts）。
- 如何选择：
  - 如果你的网站有一个“关于我们”、“服务总览”或“网站指南”这样的核心单页，它高度概括了你的业务或网站宗旨，那么选择“A specific page”并选中该页面是很好的选择。这能让AI第一时间抓住你网站的“中心思想”。
  - 如果你的网站以博客内容为主，旨在分享系列文章，那么选择“Latest posts”更为合适。这会将你最新的、最活跃的内容展示给AI。
- 我的建议：对于内容型网站（博客、新闻站），优先选择“Latest posts”。对于企业官网、作品集网站，如果有一个强大的核心介绍页，可以选择“A specific page”。
Post Types to Include
- 作用：当上面选择了“Latest posts”时，这个选项让你进一步筛选文章类型。默认通常包括“文章（Post）”和“页面（Page）”，也可能支持自定义文章类型（如“产品”、“项目”等，取决于你的主题和插件）。
- 如何选择：勾选你希望被AI索引的内容类型。通常，“文章”是必选的。如果你的“页面”中有类似博客文章的长篇内容（如知识库页面），也可以勾选。对于“产品”等类型，需谨慎考虑：你希望AI学习你的产品描述吗？这可能是商业机密，也可能是一种推广。
Post Limit
- 作用：限制llms.txt文件中包含的文章数量上限。
- 如何选择：这需要平衡“内容丰富度”和“文件可读性/加载速度”。llms.txt毕竟是一个需要被频繁抓取的文本文件。我建议从50-100篇开始。这个数量足以展示你网站的活跃度和内容广度，又不会让文件变得过于臃肿。你可以根据网站内容更新频率和AI爬虫的反馈进行调整。
Markdown Support
- 作用：全局开关，控制是否为文章启用Markdown输出功能。
- 如何选择：强烈建议保持启用。这是本插件的核心价值之一。除非你有非常特殊的理由不希望文章以纯文本格式被访问（例如内容极其敏感），否则都应该打开它。启用后，所有公开的文章都会自动支持.md后缀访问和Accept: text/markdown头响应。
.md File Extension for Post URLs
- 作用：控制是否允许通过在文章URL后添加.md后缀来访问Markdown版本。
- 如何选择：同样建议启用。这提供了最直观、最简单的访问方式。用户或爬虫只需在浏览器或命令行中尝试访问yourdomain.com/your-post-slug.md即可。禁用此项后，只能通过发送Accept: text/markdown请求头的方式获取，提高了技术门槛。

配置完成后，记得点击页面底部的“Save Changes”按钮保存设置。

注意事项：在保存设置后，建议立即清理你的WordPress缓存（如果你使用了如W3 Total Cache、WP Rocket等缓存插件）和CDN缓存（如Cloudflare）。因为llms.txt和.md链接的生成可能涉及重写规则或动态响应，缓存可能导致新配置无法立即生效。

3.3 验证与测试：确保一切就绪

配置保存后，需要进行验证，确保功能正常工作。

测试llms.txt文件：

打开你的浏览器，访问https://你的域名.com/llms.txt。

你应该能看到一个纯文本页面，其内容结构大致如下（以包含最新文章为例）：

# llms.txt for https://yourdomain.com This file is intended to provide information about this site for consumption by Large Language Models (LLMs). ## Site Information - **Site Name**: Your Site Name - **Description**: Your site tagline or description - **URL**: https://yourdomain.com ## Selected Content (以下是最近N篇文章的标题和链接列表) - [文章标题1](https://yourdomain.com/post-1/) - [文章标题2](https://yourdomain.com/post-2/) ...

检查内容是否与你后台的配置相符（文章数量、类型等）。

测试Markdown输出：

在你的网站前台，打开任意一篇博客文章，记下它的URL，例如https://yourdomain.com/hello-world/。
在浏览器地址栏中，在该URL末尾加上.md，变成https://yourdomain.com/hello-world.md，然后访问。
如果功能正常，浏览器可能会直接下载一个.md文件，或者以纯文本形式展示文章的Markdown内容。你应该能看到格式清晰的Markdown文本，没有网页的样式和布局。
进阶测试（使用cURL）：打开终端（Linux/macOS）或命令提示符/PowerShell（Windows），输入以下命令：
```
curl -H "Accept: text/markdown" https://yourdomain.com/hello-world/
```
这条命令会向文章的标准URL发送一个请求，但在请求头中声明“我接受Markdown格式”。如果配置正确，返回的应该是文章的Markdown内容，并且响应头中会包含X-Markdown-Tokens字段。你可以通过-I参数只查看响应头来验证：
```
curl -I -H "Accept: text/markdown" https://yourdomain.com/hello-world/
```
在返回的头部信息中寻找X-Markdown-Tokens: 123这样的行。

4. 高级应用、定制与问题排查

4.1 利用钩子（Hooks）进行深度定制

插件提供的后台设置已经能满足大部分需求，但如果你有更特殊的定制化需求，例如想要在llms.txt中添加自定义的说明文本、联系方式，或者想过滤掉某些特定分类下的文章，就需要借助WordPress的Filter钩子了。

幸运的是，一个设计良好的插件通常会暴露一些关键的Filter供开发者使用。虽然LLMs.txt for WP的官方文档可能没有详尽列出，但通过查看其源代码（主要是主插件文件llms-txt-for-wp.php和includes/目录下的文件），我们可以找到并利用这些钩子。

常见可定制场景与代码示例：

场景一：在llms.txt文件头部添加自定义声明或规则。假设你想在llms.txt的开头部分加入一段关于内容使用许可的说明。

// 将以下代码添加到你当前主题的 functions.php 文件末尾，或者创建一个自定义功能插件。 add_filter(‘llmstxt_file_content’, ‘custom_llmstxt_header’, 10, 1); function custom_llmstxt_header($content) { // 你的自定义声明 $custom_header = “# 内容使用声明\n\n”; $custom_header .= “本网站内容仅供大型语言模型用于学习和参考。\n”; $custom_header .= “未经明确许可，禁止用于商业性训练或生成竞争性内容。\n\n”; $custom_header .= “---\n\n”; // 将自定义声明插入到原始内容的最前面 return $custom_header . $content; }

这段代码通过llmstxt_file_content过滤器（请根据实际插件源代码中的filter名称调整，这里是假设）在生成的llms.txt内容前拼接了一段自定义文本。

场景二：从llms.txt的文章列表中排除特定分类的文章。假设你有一个名为“内部日志”的分类（slug为internal-log），不希望其内容出现在AI可索引的列表中。

add_filter(‘llmstxt_post_query_args’, ‘exclude_internal_posts_from_llmstxt’); function exclude_internal_posts_from_llmstxt($query_args) { // 确保 $query_args 是一个数组 if (!is_array($query_args)) { $query_args = []; } // 添加分类排除参数。‘category__not_in’ 需要分类ID，这里用slug示例，需先获取ID。 $internal_cat = get_category_by_slug(‘internal-log’); if ($internal_cat) { $query_args[‘category__not_in’] = array($internal_cat->term_id); } // 或者使用分类名排除（Tax Query） // $query_args[‘tax_query’] = array( // array( // ‘taxonomy’ => ‘category’, // ‘field’ => ‘slug’, // ‘terms’ => array(‘internal-log’), // ‘operator’ => ‘NOT IN’, // ), // ); return $query_args; }

这段代码修改了插件内部获取文章列表时的查询参数，排除了指定分类的文章。

重要提示：在添加任何自定义代码前，务必先备份你的functions.php文件，并在子主题中进行操作（如果使用了子主题）。错误的代码可能导致网站白屏。此外，上述代码中的Filter钩子名称 (llmstxt_file_content,llmstxt_post_query_args) 是示例，你需要查看插件的实际源代码来确认正确的钩子名称。通常可以在插件文件中搜索apply_filters来找到。

4.2 性能考量与缓存策略

为动态请求（如llms.txt和.md页面）提供服务的插件可能会增加服务器负载，尤其是在高流量网站。虽然这个插件本身逻辑不复杂，但仍需考虑性能优化。

对象缓存（Object Caching）：插件在生成llms.txt内容时，很可能会执行一次数据库查询来获取文章列表。确保你的WordPress环境启用了持久化对象缓存（如Redis或Memcached），可以极大减少重复查询数据库的开销。大多数WordPress缓存插件或托管服务商都提供此功能。
页面缓存（Page Caching）：llms.txt和文章的Markdown版本本质上是变化频率相对较低的内容（除非你频繁发布新文章）。你可以考虑对这两个路径进行页面缓存。
- 对于llms.txt：由于其内容可能每天甚至每小时都在变（取决于发布频率），可以设置一个较短时间的缓存，例如1小时。在缓存插件中，可以为/llms.txt这个URL设置特定的缓存规则。
- 对于*.md页面：每篇文章的Markdown版本在文章发布后基本固定不变。可以设置较长的缓存时间，例如一周或一个月。同样，在缓存插件中设置对*.md这类URL模式的缓存规则。
- 关键点：当你发布一篇新文章时，必须确保能清除/llms.txt的缓存，使其能包含新文章。同时，如果更新了某篇文章，也需要清除该文章对应的.md页面的缓存。许多缓存插件提供了与WordPress发布动作联动的“自动清理”功能，请确保其生效。
CDN缓存：如果你使用了Cloudflare等CDN服务，同样需要在CDN层面为这些路径配置合适的缓存规则。遵循与页面缓存类似的策略：llms.txt缓存时间短，*.md缓存时间长。同时，确保在WordPress端清除缓存时，能联动清除CDN缓存（很多缓存插件支持与Cloudflare API集成）。

4.3 常见问题与故障排除实录

在实际部署和使用过程中，你可能会遇到一些问题。以下是我在测试和帮助他人部署时遇到的一些典型情况及解决方法。

问题1：访问/llms.txt或/.md链接时，出现“404未找到”错误。

可能原因A：固定链接（Permalinks）未刷新。
- 排查：插件通常依赖WordPress的重写规则来捕获对这些特殊URL的请求。如果重写规则没有更新，请求就无法被正确拦截和处理。
- 解决：进入WordPress后台的“设置” -> “固定链接”页面。不需要做任何修改，直接点击页面底部的“保存更改”按钮。这个操作会刷新WordPress的重写规则。保存后，再次尝试访问。
可能原因B：与现有插件或主题的重写规则冲突。
- 排查：某些插件（尤其是那些自定义了文章类型或添加了大量自定义重写规则的插件）可能会干扰。
- 解决：
  1. 暂时禁用所有其他插件，只保留LLMs.txt for WP，然后测试功能是否恢复。如果恢复，则逐个启用插件，直到找到冲突的插件。
  2. 切换到WordPress默认主题（如Twenty Twenty-Four）进行测试，以排除主题冲突。
  3. 检查服务器错误日志（通常位于/var/log/apache2/error.log或/var/log/nginx/error.log），看是否有相关的PHP错误或重写规则错误。

问题2：Markdown转换后的格式错乱，例如代码块、表格显示不正常。

可能原因：league/html-to-markdown库在转换某些复杂的HTML结构时可能不够完美，特别是由古腾堡编辑器生成的嵌套较深的区块，或者主题添加了自定义的HTML类。
解决：
1. 检查源HTML：在文章编辑器中切换到“代码编辑器”模式，查看文章内容的原始HTML。如果HTML结构本身非常复杂或非标准，转换结果就可能不理想。
2. 使用更简单的编辑器：尝试在编辑文章时，使用更简洁的区块，或者切换到“经典编辑器”模式撰写内容，再测试转换效果。
3. 自定义转换器配置（高级）：如果插件提供了Filter来配置底层的HTML-to-Markdown转换器，你可以尝试调整其选项。例如，可以设置更严格的转换规则或忽略某些特定标签。这需要查阅插件源代码或文档，看是否暴露了相关Filter（如llmstxt_html_to_markdown_options）。

问题3：llms.txt文件内容为空，或者只显示了标题，没有文章列表。

可能原因A：后台配置未正确保存或生效。
- 排查：返回“设置” -> “LLMs.txt Settings”，确认“Selected Content for llms.txt”已正确选择，并且如果选择了“Latest posts”，下面的“Post Types to Include”和“Post Limit”也已设置。
- 解决：重新保存设置，并按照上文“注意事项”中的方法，清除所有缓存（WordPress缓存、CDN缓存、浏览器缓存）。
可能原因B：查询条件过于严格，导致没有符合条件的文章。
- 排查：如果你设置了只包含某个特定文章类型，但该类型下没有已发布的公开文章，列表就会为空。
- 解决：检查你的文章状态（应为“已发布”），并确保其文章类型在勾选范围内。可以暂时放宽条件（例如勾选“文章”和“页面”）进行测试。

问题4：网站使用了其他SEO或Sitemap插件，会与llms.txt冲突吗？

解答：通常不会。llms.txt和XML Sitemap（给搜索引擎看）是服务于不同对象的两个独立文件。它们可以共存。llms.txt更侧重于为AI提供内容摘要和使用指引，而Sitemap是为搜索引擎爬虫提供完整的页面索引。两者功能互补，没有冲突。你甚至可以在llms.txt中提及你的Sitemap地址，作为给AI的额外参考信息。

问题5：如何知道是否有AI爬虫访问了我的llms.txt或.md文件？

解答：最直接的方法是分析你的网站服务器访问日志。你可以通过主机控制面板（如cPanel的文件管理器）、SSH连接到服务器，或使用日志分析工具来查看。
- 查找记录：在访问日志中，搜索包含/llms.txt或.md的请求行。
- 识别爬虫：关注那些User-Agent字段中带有“bot”、“crawler”、“spider”、“GPT”、“Claude”、“AI”等字样的请求。一些知名的AI公司（如Anthropic, OpenAI）的爬虫可能有特定的User-Agent标识（例如ClaudeBot）。不过，目前AI爬虫的User-Agent五花八门，有些甚至会模仿普通浏览器，所以识别起来有一定难度。持续观察日志，你会逐渐发现一些规律性的、来自特定IP段或带有特定请求头（如Accept: text/markdown）的访问，这些很可能就是AI爬虫。

查看全文

http://www.jsqmd.com/news/808973/