XERJ llms.txt 基准研究报告:56 个开源项目的 llms.txt 对比表与 Agent 面文档启示 【免费下载链接】xerjXERJ is the new way for AI to search data. Its autoindex capability activates agents to know your data without the token waste of grep and sed. One command indexes code, docs, logs and PDFs for search, RAG, security audits and agent memory, using 40x fewer tokens than grep. Elasticsearch compatible, so existing clients just work.项目地址https://gitcode.com/GitHub_Trending/xe/xerj点击查看免费下载本文基于 XERJ 仓库内docs/research/llms-txt-2026-09/的专项研究完整解读其 56 个项目 llms.txt 对比表comparison-table.md的度量口径、分布数据与逐列含义并结合生成脚本与原始数据说明该表如何机械复现、哪些数字可以直接引用、哪些只是解剖记录。读完后你将掌握如何从一个给 AI Agent 读的索引文件角度评估任何项目的 Agent 面文档质量以及 XERJ 自身 llms.txt 在 40 KB 体量下的实际位置。一、这张表是什么研究对象、口径与生成方式comparison-table.md是 XERJ 在 2026-09-18 至 2026-09-19 对 56 个开源项目llms.txt以及llms-full.txt、AGENTS.md等 Agent 面文件进行解剖式研究后产出的机械汇总。它的核心命题是llms.txt 作为 AI Agent 获取项目知识的入口文件在各头部项目中究竟承担了多少职责——是纯文档索引还是安装了入口、MCP 配置片段、对 Agent 的直接指令甚至是回报反馈的要求表头声明了三个关键事实也是引用该表时必须理解的口径前提完全机械生成。表由 build_tables.py 从 dissections.json2026-09-18 首轮 48 次运行、46 个唯一项目和 dissections-2026-09-19.json2026-09-19 追加的 10 个项目生成没有任何单元格是手写的运行python3 scripts/build_tables.py --check时如果表内容与数据不一致会直接退出失败exit 1保证表过期即报错。排序规则按 llms.txt 字节数升序排列发布 llms.txt 的项目在前未发布的排在最后。Install 列的定义安装命令是否出现在 llms.txt 文件自身里而不是项目别处的 README 中。一个容易踩坑的口径区分原文专门用一段话标注表中的列记录的是解剖 pass 为每个项目记下了什么而不是文件本身的字节级事实。例如MCP snippet: yes可能是从项目被链接的页面上摘抄来的片段至于每个 llms.txt 文件里字面上有没有代码围栏、有没有claude mcp add这类命令是另一套脚本measure_llms_txt.py在 132 个 URL 上测出来的结果在 llms-txt-measurements.md。研究总纲 README.md 强调两种计数不可混用——这一点对任何想引用该研究的人都是最重要的使用纪律。1.1 表格各列的机器定义build_tables.py的 docstring 给出了每列的精确判定逻辑这是读懂全表的关键列判定逻辑源自脚本llms.txt bytes/lines解剖 pass 抓取到的字节数与行数llms-full bytes仅当 llms-full.txt 的 URL 返回HTTP 200时才计字节数404 的响应体不算文件记 0Install in llms.txt记录中无 install 命令、或install_position文本以 absent 开头时显示absent否则显示install_position的前 44 个字符截断位置即安装命令在文件中的位置线索Agent textagent_prompt_verbatim字段非空则yes否则—One-clickone_click_links列表的长度一键安装/深度链接数量MCP snippetmcp_snippet_verbatim非空则yesFeedback askfeedback_cta_verbatim非空则yes另外两个去重细节值得注意Weaviate 和 Deno 在首轮被解剖了两次脚本保留 JSON 更长信息更全的那份published 的判定要求status 200且bytes非零——即HTTP 200 但内容是Page Not Found 的软 404 不计入研究过程中 GitBook、Mintlify 等站点确实存在返回 200 加未找到正文的情况见 README §8 Probing trap。二、核心分布数据llms.txt 的体量与 XERJ 的位置表头给出的分布统计对 52 个发布了 llms.txt 的项目llms.txt 大小分布字节min 1,674 · p25 16,049 · median 24,814 · p75 45,599 · max 175,811。XERJ40,064 字节234 行 —— 排名 39/53。XERJ 高于中位数、低于 p75不是离群点。这个结论本身是研究的自我纠错之一在 2026-09-19 扩大样本之前研究者基于 46 项目样本曾判断40 KB 大概率是离群值测量后证明错误——体量维度上 XERJ 处于中上区间68 百分位见 llms-txt-measurements.md。真正的离群维度是首屏文本密度超过 400 字符的非围栏行数 23 行98 百分位与义务性措辞数量obligation words 21 个97 百分位——即每行塞了多少字而不是总共多少 KB。各功能要素的出现次数52 个发布项目要素计数解读llms.txt 中没有安装命令30/52多数 llms.txt 是自动生成的纯文档索引含面向 Agent 的直接文本28约一半项目把 llms.txt 当作对 Agent 说的话含一键安装/深度链接20cursor://、vscode:mcp/install这类零命令入口含 MCP 配置片段24多为从链接页摘抄口径见 §1含反馈/贡献要求24README 总纲特别注明无一例是强制性义务发布了 llms-full.txt39全文 dump 已是事实约定但不在官方 spec 内10 个 2026-09-19 追加项目中 4 个根本没有发布 llms.txt它们是 XERJ 在功能上最近的邻接者本地代码搜索与 MCP server 类项目GitHub MCP server、Serena、claude-context、probe。对这四家README 就是 Agent 安装面表中相应行显示none published并记录 README 中的安装行数37 行。这一组的存在修正了首轮 46 项目样本的偏差——首轮样本偏向带远程 HTTP MCP server 的托管产品本地代码工具类同行Lucene、Quickwit、Tantivy、Zoekt、ripgrep 等在 140 项目探测中几乎全军覆没36/140 无可用 llms.txt。三、对比表全量数据以下为原表完整内容排序、数值与仓库文件逐字节一致XERJ (for reference)行为研究基准行。每个项目链接到仓库内的 per-project/ 目录下的逐项目解剖页Projectllms.txt byteslinesllms-full bytesInstall in llms.txtAgent textOne-clickMCP snippetFeedback askOllama1,67429236,111absentyes0——Vercel AI SDK2,217466,062,390Lines 22-30, section ## Local Coding Agentsyes0——Supabase2,709437,022,257absent—0——DuckDB3,371370absent—0——turbopuffer4,01259792,810absent—0——Composio4,445501,160,265Line 11, inside ## Before you implementyes1yesyesVercel4,726649,509,006Line 25, inline in a link descriptionyes0——Deno5,055602,497,222absent—0——Algolia7,8661880Lines 7-10, 首个 H2描述之后第一节yes6yesyesTypesense8,591811,947,804营销版 llms.txt 中无安装命令yes5yesyesFirecrawl8,8151281,914,650absent—0——LlamaIndex10,908890absent—0——Langfuse15,9711370absentyes0yes—Cloudflare Developer Docs16,04913859,403,277absentyes1yesyesElastic17,1981710absent—0—yesMeilisearch17,7022568,670absent—0—yesTavily18,171212856,222Line 16第二个 H2yes2yes—ParadeDB18,336131680,006line 5/131第 3 个 bullet仅链接yes3yesyesCline18,871116675,700line 6/116第 2 个 bulletyes2yesyesSentry19,2431890Line 11## Instructions for… 首个 bulletyes0yes—Clerk19,607130768absentyes0——Cursor21,678455142,881absent—1yesyesChroma22,134183814,626absent—0——LangChain / LangGraph / LangSmith22,2731976,915,750absent—0——Windsurf24,156132636,246absent—0——Exa24,309168766,571文件本身无安装命令yes10yesyesModal25,3203722,321,860absent—0——Stagehand26,114189898,822absent—0—yesSurrealDB27,93829451,217首个可运行命令在 line 65yes1yesyesZed29,0762380absent—0——Weaviate29,5837320非顶层 H2 节SDK 安装是其中一条yes0yesyesPydantic AI30,5494355,782,671Line 26第一节第 2 个 bulletyes3yesyesTurso33,1362921,083,272文件本身无安装说明—6yesyesBun33,7213282,136,096line 6## Docs 第 2 个链接—0—yesBrowserbase34,9562261,033,754line 7/226扁平索引第 3 个链接yes3yes—CrewAI38,8372331,964,675absent—0——Neon39,7374106,564,134两处line 9 等yes5yesyesPinecone39,8732783,814,905absentyes0——LanceDB44,8022401,668,626absent—0——Convex45,5994982,554,656absentyes3yesyesClaude Code docs46,9633619,512,179absentyes0——Model Context Protocol48,3833542,487,841absent—0—yesMastra50,1057510absentyes5yesyesExpo55,2578070Line 22## Performanc… 下的裸命令yes0—yesFastMCP64,8835742,885,378line 6/574文件中第 2 个链接—5yesyesAnthropic68,03669935,109,013absentyes1yesyesVespa68,9379984,522,666absent—0——Milvus81,9987960Line 58 ## Get Started第 4 个 H2yes4yesyesStripe92,1597070absentyes0yes—ClickHouse103,44450034,655,192Lines 5-12第一个 H2—0——Upstash163,5761,4723,456,603Lines 3-7任何标题之前的Tipyes10yes—Qdrant175,8116960absent—0——XERJ (for reference)40,06423483,712line 11位于 Start here 内yes0—yesGitHub MCP servernone published——仅 README记录 4 行安装命令—1README—Serenanone published——仅 README记录 4 行安装命令—0README—claude-contextnone published——仅 README记录 3 行安装命令—0README—probenone published——仅 README记录 7 行安装命令—0README—注原文 Install in llms.txt 列对部分行做了 44 字符截断如 Vercel AI SDK 行上表在个别行做了忠实的中文化缩写逐字原文与每个项目的完整解剖见 comparison-table.md 与 per-project 目录。3.1 从表中可以直接读出的结构体量两极分化最小 Ollama1,674 B / 29 行与最大 Qdrant175,811 B / 696 行相差 105 倍。小体量端Ollama、AI SDK、Supabase、DuckDB多为摘要 短索引大体量端Upstash 1.472 行、Vespa 998 行、Cursor 455 行多为生成器输出的全量文档目录。absent 是 Install 列的主流值52 家中 30 家没有安装命令且其中不乏体量很大的自动索引Qdrant、Vespa、Zed、Elastic——印证了 proposals/report.md 的核心发现 1llms.txt 很少承担安装入口安装被放在一跳之外的 Agent 面文件里。llms-full.txt 体量差异巨大从 Clerk 的 768 字节到 Cloudflare 的 59.4 MB。中位数约 1.96 MB46 项目口径而 XERJ 的 llms-full.txt 仅 83,712 字节——README.md §5 将此列为 XERJ 的优势之一经过人工策展、能装进一个 context window。XERJ 行的四个特征安装命令在 line 11Start here 内、有 Agent 定向文本、零一键链接、有 feedback ask——而表中所有有 feedback ask的 24 个项目里XERJ 是唯一把回报要求写进 llms.txt 的README 头条数据0/140 探测项目要求 Agent 提交报告或开 PR——XERJ 是唯一一家。这一列因此同时是 XERJ 的亮点和待改点通道选择PR vs HTTP/MCP tool与措辞required vs 流程性描述在总纲 M1/M2 与 §4 中有完整分析。搜索邻接项目的缺席与 XERJ 同类的本地搜索引擎/代码搜索项目Elastic、Meilisearch、Typesense 有 llms.txt 但纯索引GitHub MCP server、Serena、probe、claude-context 完全未发布提示这个品类的 Agent 安装面目前仍停留在 README 阶段。四、XERJ 基准行是如何进入表的源码级机制XERJ 行不是从数据文件读出的——build_tables.py 第 32 行硬编码了基准常量XERJ {bytes: 40064, lines: 234, full: 83712}排名计算第 94 行是发布项目中字节数严格小于 XERJ 的数量加 1即rank sum(1 for s in sizes if s 40064) 1分母为发布项目数 1把 XERJ 自身算进排序域。我用 dissections.json 与 dissections-2026-09-19.json 按脚本逻辑复算56 个唯一项目、52 个发布、安装命令 absent 30 家、XERJ 排名第 39——与表中数字全部吻合。这也说明表头里的40,064 bytes / 234 行是研究日2026-09-18对landing/llms.txt的快照并非仓库当前文件的实时值当前文件内容可对照 landing/llms.txt 查看该文件在研究后续推进中持续有修改例如 llms-full 链接、Caveats 各条目的更新。XERJ 行中 line 11, inside Start here 指研究日快照中第 11 行的安装命令curl -fsSL https://xerj.org/get | shyesAgent text对应文件第 3 行 This file is an index for you, the AI agent 的定向开头feedback ask: yes 对应 Start here 第 5 步的 field report 要求。这三点恰好是 XERJ llms.txt 相对同侪最显著的差异面也恰是总纲 M1required, not optional 与## Optional标题自相矛盾、M2PR 作为 Agent 回报通道不可行两条缺陷的触发点。五、引用与复现指南引用该对比表时建议遵循研究自身设定的三条纪律区分记录与测量。表内各列是解剖 Agent 在 2026-09-18/19 对 live URL 单次抓取后的笔记文件级字节事实代码围栏数、claude mcp add出现位置等以 llms-txt-measurements.md 及其 manifest每行含 URL、HTTP 状态、字节数、SHA-256、抓取时间为准。生成中的索引文件每天在变。报告明确记录了漂移实例ClickHouse 的 llms.txt 在同一天晚间从 103,444 B 变为 103,065 B。公开引用任何数字前应重新测量python3 scripts/measure_llms_txt.py。样本有选择偏差。46 项目首轮解剖自约 140 项目探测而来偏向探测时发现了 llms.txt 至少一个其他 Agent 面文件的对象本地代码搜索/本地 MCP 工具类项目在 2026-09-19 才被补齐且补齐的 4 家全部未发布 llms.txt。把该表当作托管产品文档实践横截面而非全行业普查来引用是准确的。5.1 本地复现步骤仓库内全部输入均为文本数据可在只读克隆中直接复现不修改任何仓库文件cd docs/research/llms-txt-2026-09 # 检查 comparison-table.md 是否与数据一致过期则打印 STALE 并 exit 1 python3 scripts/build_tables.py --check # 重新生成表格会写入本地文件CI 中建议只用 --check python3 scripts/build_tables.py # 对 proposals/data/llms-txt-urls.tsv 中的 132 个 URL 做字节级测量 # 需要网络默认离线模式 --offline 只读缓存 python3 scripts/measure_llms_txt.py原始结构化数据无损在 data/dissections.json、data/discovery.json每项目一页的完整解剖含逐字引用、他们做得更好的地方 / XERJ 做得更好的地方 / 可借鉴点三节在 per-project/例如 elastic.mdElastic 的 llms.txt 是纯自动索引、零安装零 MCP但其 MCP server README 的 Verify the connection 清单被列为 XERJ 可借鉴项、qdrant.md175 KB 最大文件的解剖、github-mcp-server.md未发布 llms.txt 组的代表。事实核验记录259 条 claim 全部重抓258 确认、1 条未能确认并移除见 proposals/FACTCHECK.md。六、这张表回答了什么问题对 Agent 面文档的结论综合 README.md 总纲与本报告该对比表支撑出四条可迁移结论llms.txt 的行业主流用法是文档目录不是安装面。52 家中 30 家无安装命令安装真正发生在一跳之外SKILL.md、agents.md、per-host 安装指南。因此 XERJ 把安装命令放进 llms.txt 本身27/46 口径下的少数派反而是差异化优势被总纲 §5 列入不得回退清单。对 Agent 的要求与流程是两回事。表中 Feedback ask 列 24 家有记录但没有任何一家把反馈写成债务XERJ 快照中required, not optional的措辞 PR 通道组合被总纲 §4 判定为回报无法到达的结构性原因通道需要 shell、git、GitHub 身份而宿主仓库规则普遍禁止 Agent 写操作。MCP 片段的可发现性直接决定无 shell Agent 能否接入。表外测量口径127 个 llms.txt 中仅 2 个字面含claude mcp add、仅 2 个含mcpServersllms-txt-measurements.md——MCP 配置普遍在 README/文档页不在 llms.txt 内。XERJ 快照同样为 0对应总纲 M4。邻接品类本地代码搜索 MCP server整体缺位。4 家最近功能同行全部未发布 llms.txtREADME 是唯一 Agent 面对 XERJ 而言这既是品类内先发的事实也意味着该表给出的最佳实践几乎全部来自托管产品向本地工具迁移时需按 proposals/report.md §3 的模式能力分支、一行粘贴提示、per-client 注册、verify 行逐一适配。最后重申引用边界所有数字锚定 2026-09-18/19 的抓取时点第三方页面的引用以 FACTCHECK.md 中的逐条核验记录为准研究自身也公开了流程性错误单 Agent 合成 52 份结果导致长时运行、锚定效应使46 份解剖都批评同一缺陷不构成 46 次独立确认这些元信息在 README.md §1、§8 中有原文记载引用时建议一并保留。赞分享【免费下载链接】xerjXERJ is the new way for AI to search data. Its autoindex capability activates agents to know your data without the token waste of grep and sed. One command indexes code, docs, logs and PDFs for search, RAG, security audits and agent memory, using 40x fewer tokens than grep. Elasticsearch compatible, so existing clients just work.项目地址https://gitcode.com/GitHub_Trending/xe/xerj点击查看免费下载相关推荐XERJ 的 llms.txt 研究复盘46 个头部项目的 Agent 文档写法与 XERJ 做错的 12 件事XERJ 的 llms.txt 研究复盘46 个头部项目的 Agent 文档写法与 XERJ 做错的 12 件事 本文基于 XERJ 仓库中 2026 09Instructor 文档开启 llms.txt 支持用 mkdocs-llmstxt 为 LLM 打造 AI 友好文档Instructor 文档开启 llms.txt 支持用 mkdocs llmstxt 为 LLM 打造 AI 友好文档 本文介绍 Instructor 项目人工智能大模型Lightweight Charts™ 的 AI 开发实践Agent Skills 与 llms.txt 友好的文档生态Lightweight Charts™ 的 AI 开发实践Agent Skills 与 llms.txt 友好的文档生态 这篇指南以 Lightweight前端图表库金融科技数据可视化上一篇DuckyScript完全学习路径USB Rubber Ducky从基础命令到复杂逻辑的教程下一篇giscus 评论系统技术指南基于 GitHub Discussions 的零数据库评论方案创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考