AI 与 MCP 术语

MCP 是 CrawlForge 架构的基础。CrawlForge 无需为每个 AI 平台构建自定义集成，而是通过 MCP 标准暴露其 31 个网页抓取工具。任何兼容 MCP 的 AI 客户端——Claude、GPT 或自定义智能体——都能立即发现并使用这些工具。

这意味着你的 AI 智能体只需连接到 CrawlForge MCP server，即可获得网页抓取能力，无需任何自定义代码或 API 封装。该协议会自动处理工具发现、参数校验和响应格式化。

CrawlForge 是一个提供 31 个网页抓取和数据提取工具的 MCP server。当 AI 智能体连接到 CrawlForge 时，服务器会公布其可用工具——fetch_url、extract_content、deep_research 等——以及它们的参数和预期输出。

服务器处理网页抓取的所有复杂性（浏览器渲染、代理管理、速率限制），同时向 AI 客户端呈现一个简洁的工具接口。这种关注点分离让 AI 开发者能够专注于应用逻辑，而非抓取基础设施。

MCP client 包括 Claude 等 AI 助手、Cursor 等开发环境，以及使用 MCP SDK 构建的自定义应用。任何 MCP client 都可以连接到 CrawlForge，并立即获得对全部 31 个网页抓取工具的访问权限，无需额外配置。

客户端-服务器架构意味着你可以在任何兼容 MCP 的环境中使用 CrawlForge。无论你是在构建聊天机器人、自主智能体还是数据流水线，都可以通过同一协议使用同样的工具。

AI 智能体是 CrawlForge 工具的主要使用者。例如，一个负责市场调研的智能体可能会使用 search_web 查找相关来源、使用 extract_content 从每个来源获取干净数据，并使用 deep_research 综合发现——整个过程无需人工干预。

CrawlForge 专为智能体工作流而设计。工具返回智能体可推理的结构化数据，credits 成本可预测便于预算规划，而 MCP 接口意味着智能体可以动态地发现和使用工具。

Claude、GPT 和 Llama 等 LLM 是强大的推理者，但存在一个根本性限制：它们无法访问实时网络。它们的知识在训练时就被冻结，因而对于需要最新信息的任务并不可靠。

CrawlForge 通过 MCP 工具为 LLM 提供实时网页访问能力，弥合了这一差距。当 LLM 需要最新数据——实时价格、近期新闻、更新后的文档——时，它会调用 CrawlForge 工具来获取并提取这些信息，然后对新鲜数据进行推理。

RAG 系统需要高质量的源内容才能良好运作。垃圾进则垃圾出——如果检索到的文档是夹杂导航菜单和广告的杂乱 HTML，生成的答案就会受影响。干净的内容提取是任何 RAG 流水线的关键组成部分。

CrawlForge 的 extract_content 和 extract_text 等工具会返回剥离样板内容的干净结构化内容。这使它们成为构建需要摄入网页内容的 RAG 流水线的理想选择。将它们与 deep_research 搭配，即可实现内置冲突检测的多源检索。

嵌入向量是原始文本与机器理解之间的桥梁。当你将网页内容转换为嵌入向量后，就可以将其与其他文档进行比较，从而查找相似内容、构建推荐系统或驱动语义搜索。

CrawlForge 的 extract_content 提供能产出更高质量嵌入向量的干净文本。夹杂导航、页脚和广告的原始 HTML 会产生降低搜索质量的嘈杂嵌入向量。通过只提取有意义的内容，CrawlForge 提升了下游嵌入向量的表现。

Pinecone、Weaviate 和 pgvector 等向量数据库是 RAG 系统和语义搜索的核心组件。它们存储文档嵌入向量，并在查询到来时根据向量相似度检索最相关的文档。

CrawlForge 作为内容摄入层融入向量数据库工作流。使用 batch_scrape 大规模采集页面，使用 extract_content 获取干净文本，然后将结果嵌入并存入你的向量数据库。这一流水线能让你的知识库始终保持最新的网页数据。

AI 智能体需要结构化数据来做决策。非结构化文本需要额外解析，且容易被误读。结构化输出确保每个数据字段都处于已知的位置和格式，从而实现可靠的自动化处理。

CrawlForge 的 scrape_structured 和 extract_structured 等工具会以符合你指定 schema 的干净 JSON 格式返回数据。这意味着你的智能体和流水线可以直接消费输出，无需后处理或正则提取。

良好的提示词工程决定了 AI 智能体能否有效地使用工具。一个设计精良的提示词会告诉智能体何时使用 CrawlForge 工具、为每项任务选择哪个工具，以及如何解读结果。

在将 CrawlForge 与 AI 智能体配合使用时，提示词工程有助于优化 credits 用量。例如，当无需完整研究时，指示智能体使用 extract_text（1 credit）来进行简单的内容获取，而非使用 deep_research（10 credits），可以显著降低成本。

微调需要大量高质量的领域专属文本数据集。从网络上采集这些数据是大规模网页抓取最常见的用途之一。训练数据的质量直接影响微调后模型的表现。

CrawlForge 的 batch_scrape 和 extract_content 正是为这一工作流而设计。使用 batch_scrape 并行处理数百个 URL，使用 extract_content 获取适合训练的干净结构化文本。这一流水线能够从文档站点、论坛、学术论文或任何网络来源构建数据集。

在将 CrawlForge 与 AI 智能体配合使用时，理解 token 很重要，因为抓取到的内容会占用上下文窗口空间。一个很长的网页可能产生数千个 token，有可能填满智能体的上下文并增加 API 成本。

CrawlForge 的 extract_text 和 summarize_content 等工具有助于管理 token 用量。extract_text 只返回不含样板内容的正文，而 summarize_content 会将长页面浓缩为简明摘要，从而减少发送给 LLM 的 token 占用。

上下文窗口大小决定了 AI 智能体一次能处理多少抓取内容。Claude 的 200K token 上下文窗口大约可容纳 150,000 个单词，而较小的模型可能被限制在 4K-32K token。超出上下文窗口意味着数据会被截断或丢失。

CrawlForge 通过 summarize_content（浓缩长页面）和 extract_text（剥离样板内容）等工具帮助应对上下文窗口约束。对于大规模研究，deep_research 会将多个来源综合为简明摘要，而非将所有原始内容塞入上下文。

函数调用是让 AI 智能体能够使用 CrawlForge 工具的机制。当智能体判断需要网页数据时，它会生成一个带有相应工具名称和参数的函数调用。MCP server 执行该调用并将结果返回给智能体。

CrawlForge 工具的设计便于通过函数调用接口被发现。每个工具都有清晰的参数定义和返回类型，使模型能够轻松选择正确的工具并提供有效的参数。

工具使用将语言模型从被动的文本生成器转变为主动的问题解决者。具备工具使用能力的模型不会凭空编造关于时事的答案，而是可以搜索网络、获取页面并提取数据，从而提供有依据、准确的回答。

CrawlForge 提供 31 个专门的网页抓取工具供 AI 模型使用。每个工具都有特定用途——从简单的 URL 获取到复杂的多源研究——让模型能够细粒度地控制其访问网页数据的方式。

在 Model Context Protocol 中，服务器会发布一份工具列表。每个工具都有名称、供模型判断何时使用的描述，以及描述其参数的 JSON Schema。客户端将该列表传给模型；当模型请求某个工具时，客户端在服务器上运行它，并将结果返回到对话中。

CrawlForge 的 MCP server 暴露 31 个工具，从 fetch_url（1 credit）到 deep_research（10 credits）。每个工具只做一件事、输入清晰，有助于模型挑选适合任务的最便宜工具。对注册工具数量有上限的客户端，可通过 CRAWLFORGE_TOOL_GROUPS 设置只加载其中一部分。

语言模型只知道其训练数据中的内容。搜索 API 为智能体提供了寻找最新来源的途径：它发送查询，取回一份可供推理的排序列表，再获取值得阅读的页面。有些提供商运营自己的搜索索引，另一些则查询现有的搜索引擎。

CrawlForge 的 search_web（每次查询 5 credits）在 Brave Search API 的独立索引上执行实时网页搜索，并以 JSON 返回标题、URL 和摘要，支持站点、文件类型、语言和时效筛选，每次调用最多 10 个查询。CrawlForge 本身不维护索引。对于需要同时完成搜索、阅读与综合的研究，deep_research（10 credits）可在一次调用中完成全部三步。

有些任务不只是阅读页面：登录、填写表单、走完多步流程，或打开只有点击后才出现的菜单。浏览器智能体通过在观察页面与操作页面之间交替来处理这些任务，通常使用在服务器上运行的无头浏览器。

CrawlForge 提供两个层级。scrape_with_actions（5 credits）在单个页面上执行一组固定的点击、输入和等待步骤，然后提取结果。browser_session 在多次调用之间保持同一个浏览器页面打开——打开需 3 credits，之后每步 1 到 2 credits——因此智能体可以截取快照、选择元素、对其操作，并根据所见决定下一步。

原始 HTML 会浪费模型的上下文窗口：菜单、脚本、样式和跟踪代码可能占据页面的大部分字节，却不承载任何含义。将页面转换为 Markdown 可保留标题、列表、表格和链接并丢弃其余部分，因此同样数量的令牌能容纳更多有用内容。结构化 JSON 更进一步，只返回任务所需的字段。

CrawlForge 的 scrape（2 credits）返回已剥离样板内容的 Markdown，extract_content（2 credits）提取页面的正文。对于特定字段，extract_structured（3 credits）可填充 JSON Schema，而 extract_embedded_state（2 credits）则返回许多现代网站已内嵌在 HTML 中的精确 JSON。