llms.txt 与 AI 搜索可见性
发布一份 llms.txt，让 ChatGPT、Claude 和 Perplexity 正确读取并引用你的站点。用 generate_llms_txt 一次生成 llms.txt 和 llms-full.txt 两个文件，再用 map_site 核实 AI 爬虫实际能够抓到哪些页面。
快速解答
对你的域名运行 generate_llms_txt（5 credits），生成 llms.txt 和 llms-full.txt——一份精心整理的重点页面清单，外加面向 AI 爬虫的使用指引——再用 map_site（2 credits）确认这些爬虫实际能抓到什么。每个站点大约 7 credits，站点有变动时重新跑一次即可。
面临的问题
AI 答案引擎如今已经在带来真实流量，但它们看到的站点和 Google 看到的并不相同。如果没有一份精心整理的重要页面清单和使用条款，爬虫就只能靠猜——于是总结错了页面，或者干脆跳过你。
解决方案
CrawlForge 的 generate_llms_txt 会爬取你的站点，并写出 llms.txt 和更详尽的 llms-full.txt，其中包含你的组织名称、联系方式和自定义指引。随后 map_site 会在你发布之前，先告诉你 AI 爬虫实际能够抓到什么。
代码示例
// Generate llms.txt and llms-full.txt for your site
const llms = await mcp.generate_llms_txt({
url: "https://example.com",
format: "both",
complianceLevel: "standard",
analysisOptions: { maxPages: 200, maxDepth: 3, respectRobots: true },
outputOptions: {
organizationName: "Example Inc",
contactEmail: "ai@example.com",
customGuidelines: ["Cite the canonical URL", "Pricing changes monthly"],
},
});
// Confirm what an AI crawler can actually reach
const map = await mcp.map_site({
url: "https://example.com",
include_sitemap: true,
max_urls: 500,
});
console.log(llms.llmsTxt);
console.log(`Discoverable pages: ${map.urls.length}`);使用的工具
预估费用：每个站点约 7 credits
常见问题
什么是 llms.txt？我需要它吗？
llms.txt 是放在站点根目录下的一个纯文本文件，用来把 AI 爬虫指向你的重要页面，并说明内容可以如何被使用。它目前只是一项提案性标准，并不保证排名，但发布成本很低，而且能用一份精心整理的清单取代爬虫的猜测。
如何为我的站点生成 llms.txt？
对你的域名运行 generate_llms_txt。它最多爬取 500 个页面，遵守 robots 指令，并写出 llms.txt 以及更详尽的 llms-full.txt，其中包含你的组织名称、联系邮箱，以及你传入的任何自定义指引。
llms.txt 和 llms-full.txt 有什么区别？
llms.txt 是简短的索引——只有章节和关键链接。llms-full.txt 则为能够容纳更多内容的模型内联了远为详尽的细节。传入 format "both" 可同时得到两个文件，也可以用 "llms-txt" 或 "llms-full-txt" 只取其一。
如何检查 AI 爬虫实际能看到什么？
带上 include_sitemap 运行 map_site，列出所有可达的 URL，再把结果与 llms.txt 中列出的页面作对照。两者的差异之处，就是爬虫会漏掉内容的地方，或者说明你的站点地图已经过期。