面临的问题
训练和微调 AI 模型需要来自多样网络来源的大规模、干净的数据集。手动采集这些数据并不现实，而原始 HTML 噪声过多，不适合用于模型训练。
应用案例
采集并结构化大规模网页数据集，用于微调和训练 AI 模型。使用 crawl_deep 爬取整站、extract_content 提取干净正文，导出可直接用于 LLM 训练的高质量语料，全程按 credits 计费、成本可预测。
预估费用：每篇文档约 7 credits
01快速解答
用 CrawlForge batch_scrape（5 credits）并行抓取数百个 URL，再用 extract_content（2 credits）返回干净、无样板的文本或 markdown，可直接用于训练流水线。您收集的是结构化内容，而非嘈杂的原始 HTML，从而提升数据集质量并降低预处理成本——每篇文档约 7 credits。
02问题与方案
解决方案
CrawlForge 的 batch_scrape 并行处理数百个 URL 以实现规模化，extract_content 则返回干净、结构化的文本，可直接用于训练管道。从任何网络来源构建数据集。
03代码
代码示例
ai-training-data.js
// Collect training data from documentation sitesconst batch = await mcp.batch_scrape({ urls: [ "https://docs.example.com/guide/intro", "https://docs.example.com/guide/setup", "https://docs.example.com/guide/advanced", // ... hundreds more URLs ], format: "markdown",}); // Extract clean content for each pageconst dataset = await Promise.all( batch.results.map(page => mcp.extract_content({ url: page.url, format: "text", remove_navigation: true, }) )); console.log(`Collected ${dataset.length} documents`);04工具链
使用的工具
7◆ credits
预估费用：每篇文档约 7 credits
- https://…
- 01batch_
scrape 5 credits - 02extract_
content 2 credits - JSON · markdown
05常见问题
常见问题
01如何大规模地从网络上采集干净的训练数据？
使用 CrawlForge 的 batch_scrape 并行抓取数百个 URL，再用 extract_content 返回干净、无样板内容的文本，可直接用于训练管道。你得到的是结构化内容，而不是嘈杂的原始 HTML。
02为什么不直接用原始 HTML 来训练模型？
原始 HTML 充斥着导航、广告和标记，会带来噪声并浪费 tokens。extract_content 通过一次可读性处理，只返回主体内容，形式为干净的文本或 markdown，从而提升数据集质量并降低预处理成本。
03我能从多个来源构建一个大型数据集吗？
可以。batch_scrape 每批 5 credits，可跨数百个 URL 并行抓取，extract_content 每次 2 credits，负责清洗每一个页面。再结合 map_site 先枚举出一个来源，然后对得到的 URL 进行批量处理。
04CrawlForge 在采集数据时会遵守 robots.txt 吗？
CrawlForge 会遵守 robots 指令，而且由你来控制爬取哪些来源。你需要对所采集数据的权利负责，因此请只针对你有权用于训练的网站，并让你的爬取范围保持审慎克制。