Tutorials

教程

在 LangChain 中使用 CrawlForge 的 5 种方式：AI web scraping 教程

CrawlForge Team

工程团队

2026年1月8日

阅读时长 12 分钟

更新于 2026年4月14日

本页内容

LangChain 是构建 LLM 应用的首选框架。CrawlForge MCP 则提供了 LangChain 应用常常需要的网络数据层。两者结合，是 AI 工程师手中的强大组合。

本教程将向你展示 5 种实用的集成模式，并附带可运行的代码示例。

前置条件

Bash

在 crawlforge.dev/signup 获取你的 CrawlForge API key——已包含 1,000 个免费 credits。

1. 网络增强的 RAG 流水线

最常见的使用场景：用新鲜的网络数据增强你的 RAG 系统。

问题所在

静态 RAG 系统无法回答有关以下内容的问题：

时事
更新后的文档
实时价格
最新发布

解决方案

使用 CrawlForge 按需获取并索引网络内容。

Typescript

credits 成本： 每获取一个 URL 收取 2 credits

2. 带工具调用的研究 agent

构建一个能够自主搜索和研究主题的 agent。

Typescript

credits 成本： 每次搜索 5 credits + 每次提取 2 credits

3. 竞争情报流水线

监控竞争对手并提取结构化数据。

Typescript

credits 成本： 每个竞争对手 2 credits

4. 文档处理链

处理来自网络的 PDF 和文档。

Typescript

credits 成本： 每个文档 2 credits

5. 实时监控链

跟踪变化并对更新做出响应。

Typescript

credits 成本： 每次检查 2-5 credits

最佳实践

1. 积极使用缓存

Typescript

2. 尽可能批量处理

Typescript

3. 优雅地处理速率限制

Typescript

开始使用

在 crawlforge.dev/signup 注册
获取你的 API key（1,000 个免费 credits）
安装 LangChain JS 并开始构建

需要帮助？ 查看我们的 API 文档，或在 GitHub 上联系我们。

关于作者

CrawlForge Team

工程团队

我们正在打造功能最全面的 Web 抓取 MCP server。我们开发的工具帮助开发者为 AI 应用提取、分析和转换 Web 数据。

Frequently Asked Questions

如何在 LangChain 中使用 CrawlForge？

安装 LangChain 和 Anthropic SDK，设置你的 CRAWLFORGE_API_KEY 环境变量，然后在 LangChain 的链或 agent 内部调用 CrawlForge 工具（extract_content、deep_research、search_web）。本文介绍了五种集成模式，包括网络增强的 RAG、带工具调用的研究 agent 以及实时监控链。

我可以用 CrawlForge 和 LangChain 构建网络增强的 RAG 流水线吗？

可以。使用 CrawlForge 的 extract_content 工具获取 URL（每个 2 credits），用 LangChain 的 RecursiveCharacterTextSplitter 拆分内容，将文本块嵌入到 MemoryVectorStore 这样的向量存储中，并在查询时检索相关的文本块。这样你的 RAG 系统就能回答有关时事、更新文档和实时价格的问题，而不必依赖陈旧的训练数据。

如何将 CrawlForge 暴露为可供 agent 使用的 LangChain 工具？

将每个 CrawlForge endpoint 封装成一个带 Zod 输入 schema 的 LangChain `DynamicStructuredTool`。agent 会根据用户查询选择合适的工具（search_web、extract_content、deep_research），并通过 CrawlForge 的 API 运行它们。本文给出了一个研究 agent 的完整代码，它将搜索与内容提取串联起来。

在 LangChain 工作流中使用 CrawlForge 的成本是多少？

定价按工具计费：extract_content 为 2 credits，search_web 为 5 credits，deep_research 为 10 credits。免费套餐包含 1,000 个 credits，足够获取约 500 个页面或运行约 100 次搜索加提取的工作流。付费套餐起价为每月 $19，可获得 5,000 个 credits。