llms.txt 帮助大模型理解站点的协议

llms.txt 实际上就类似robots.txt 以及sitemap.xml 可以让大模型更好的理解网站，有助于在agent 开发，站点自动化任务，以及大模型数据爬虫处理

格式

llms.txt 实际上就是一个markdown文件，格式预定如下

包含项目或网站名称的 H1 标签。这是唯一必需的部分。
一段包含项目简要概述的引用块，其中包含理解文件其余部分所需的关键信息。
零个或多个 Markdown 段落（例如段落、列表等），除标题外，可包含任何类型，用于提供有关项目以及如何解读所提供文件的更详细信息。
零个或多个由 H2 标题分隔的 Markdown 段落，包含指向更多详细信息的 URL 的“文件列表”。
每个“文件列表”都是一个 Markdown 列表，包含一个必需的 Markdown 超链接[name](url)，然后可以选择性地:包含有关该文件的注释。

说明

目前不少站点都支持llms.txt 了，可以更好的与大模型协作了，有助于提升ai 应用的质量

参考资料

https://github.com/answerdotai/llms-txt

https://modelcontextprotocol.io/llms-full.txt