CrawlForge
首页Playground应用场景集成价格文档博客
27 个专业 MCP 工具现已可用

将任意网站转化为干净数据,赋能 AI Agent

一个 API 搞定抓取、搜索与提取——27 个 MCP 原生工具,可直接接入 Claude、Cursor、LangChain 或您自己的代码。一次调用即可从任意 URL 获取干净的 markdown 或结构化 JSON。

1,000 免费 credits • 无需信用卡
平均响应时间 <500ms
27
专业工具
1,000
起步免费 credits
开源
npm 与 GitHub 上的 MCP server
几分钟即可上手

工作原理

三步即可让实时网页数据接入您的 AI Agent。

第 1 步

安装

只需一条配置项,即可将 CrawlForge MCP server 添加到您的 AI 客户端。

第 2 步

配置

设置您的 API 密钥,并选择要为工作流启用的工具。

第 3 步

抓取

直接从您的 AI Agent 调用 27 个工具中的任意一个,数据即时返回。

开发者体验

集成简单, 功能强大

将 CrawlForge 添加到您的 MCP 客户端配置中,立即开始调用工具。

mcp-config.json
{
  "mcpServers": {
    "crawlforge": {
      "command": "npx",
      "args": ["-y", "crawlforge-mcp-server"]
    }
  }
}
usage.ts
// Extract clean content from any URL
const content = await mcp.extract_content({
  url: "https://example.com/blog/post",
  format: "markdown",
});

// Search the web and get structured results
const results = await mcp.search_web({
  query: "latest AI infrastructure trends",
  max_results: 10,
});

// Deep research with conflict detection
const research = await mcp.deep_research({
  query: "Compare pricing of top cloud providers",
  sources: 5,
});
应用场景

为真实 生产工作流而打造

从 AI Agent 流水线到竞争情报,看看各团队如何使用 CrawlForge。

AI 智能体数据管道

通过结构化提取与多源研究,为你的 AI 智能体提供实时网页数据。

deep_researchextract_content

电商价格监控

跨数百个电商网站追踪竞争对手价格与产品库存情况。

batch_scrapetrack_changes

SEO 分析与审计

审计你的网站及竞争对手的元数据、失效链接、内容缺口与排名机会。

extract_metadatamap_siteanalyze_content

竞争情报

借助隐身浏览与结构化提取,隐蔽地收集竞争对手数据。

stealth_modescrape_structured

五分钟内开始抓取

立即在 Playground 中测试任意工具,或创建免费账户获取 1,000 credits——无需信用卡。

1,000 免费 credits • 每月补充 • 随时取消

页脚

CrawlForge

面向 AI Agent 的企业级网页抓取。27 个专业 MCP 工具,专为构建智能系统的现代开发者而设计。

产品

  • 功能
  • Playground
  • 价格
  • 应用场景
  • 集成
  • 替代方案
  • 更新日志

资源

  • 快速上手
  • API 参考
  • 模板
  • 指南
  • 博客
  • 术语表
  • 常见问题
  • 网站地图

开发者

  • MCP 协议
  • Claude Desktop
  • Cursor IDE
  • LangChain
  • LlamaIndex

公司

  • 关于我们
  • 联系我们
  • 隐私政策
  • 服务条款
  • 可接受使用政策
  • Cookie

保持更新

获取新工具和新功能的最新动态。

基于 Next.js 和 MCP 协议构建

© 2025-2026 CrawlForge。保留所有权利。

27 个专业工具

网页抓取所需的 一切功能

27 个真实的 MCP 工具,采用透明的按 credits 计费。从简单提取到深度多源研究,应有尽有。

实时抓取

以毫秒级延迟获取最新数据,并具备自动重试机制

AI 优化输出

结构化数据格式,非常适合 LLM 训练和推理

按 credits 计费

只为实际用量付费,成本透明、可预测

1 credits

fetch_url

从任意 URL 获取原始 HTML 或渲染后的内容

1 credits

extract_text

从网页中提取干净的纯文本

1 credits

extract_links

提取并分类页面中的所有链接

1 credits

extract_metadata

提取标题、描述、OG 标签和结构化数据

2 credits

scrape_structured

按自定义 schema 定义提取数据

2 credits

extract_content

获取干净、AI 就绪的 markdown 或文本内容

2 credits

map_site

发现并映射网站上的所有页面

2 credits

process_document

处理 PDF、DOC 及其他文档格式

2 credits

localization

跨语言检测并提取内容

3 credits

track_changes

通过基线、计划任务和告警跟踪页面变更

3 credits

analyze_content

分析可读性、主题和情感倾向

3 credits

extract_structured

由 LLM 驱动的 schema 提取,并支持选择器兜底

4 credits

summarize_content

为网页内容生成简洁摘要

4 credits

crawl_deep

沿内部链接抓取整个网站

5 credits

search_web

搜索 Google 并获取结构化 SERP 结果

5 credits

serp_rank

查看某域名针对某个关键词在 Google 自然搜索结果中的排名

5 credits

batch_scrape

并行处理数百个 URL

5 credits

scrape_with_actions

抓取需要点击、滚动或填表的页面

5 credits

stealth_mode

使用住宅代理绕过反爬保护

5 credits

generate_llms_txt

为 AI 爬虫生成符合标准的 llms.txt

10 credits

deep_research

支持冲突检测的多源研究

3 credits

extract_with_llm

默认使用本地 Ollama 进行 AI 提取——无需单独的 LLM 提供商密钥

免费

list_ollama_models

发现可用于 AI 提取的本地 Ollama 模型。

1 credits

scrape_template

为 GitHub、Amazon、LinkedIn 等 10 个平台提供的预置抓取器。

2 credits

scrape

统一的多格式抓取——一次请求即可获取 markdown、HTML、链接、元数据等

8 credits

agent

根据自然语言提示自主研究——无需提供 URL

1 credits

get_batch_results

检索 batch_scrape 任务的分页结果

准备好将这些工具集成到您的 AI 工作流中了吗?

集成

为现代 AI 工作流而打造

与您的团队已在使用的工具和框架无缝协作。

27 个工具
满足各类抓取需求的专业 MCP 工具
1,000 个免费 credits
免费开始,每月补充,无需信用卡
MCP 原生
一流的 Model Context Protocol 集成
<500ms 响应
快速、可靠的 API 响应

与您喜爱的 AI 工具协作

Claude Desktop
Cursor
LangChain
LlamaIndex
n8n
Vercel AI SDK
OpenAI
Windsurf