跳到正文
开始使用

快速上手 CrawlForge MCP

5 分钟内获取你的第一个 API 响应。CrawlForge MCP 提供 31 个专为 AI 应用设计的网页抓取工具。

什么是 CrawlForge MCP?

CrawlForge MCP 是一个基于 Model Context Protocol (MCP) 构建的强大网页抓取服务器。它提供 31 个专业工具,用于提取、分析和处理网页数据——全部可通过简洁的 REST API 或原生 MCP 集成访问。

无论你是在构建 AI 研究助手、内容聚合器还是数据管道,CrawlForge MCP 都会处理网页抓取的复杂性,让你专注于构建自己的应用。

为什么选择 CrawlForge?

为 AI 而生
与 Claude Desktop 及其他 AI 工具原生 MCP 集成
31 个专业工具
从基础抓取到 AI 驱动研究,尽在一个 API
基于 credits 的定价
按用量付费,每次请求低至 $0.003
开发者优先
简洁的 API、全面的文档,注册即送 1,000 个免费 credits

快速开始

1
注册并获取 API Key
创建一个免费账户,获取 1,000 个 credits,立即开始构建。
创建免费账户
2
通过 NPM 安装(MCP 集成)
通过 Claude Desktop、Cursor IDE 或任何兼容 MCP 的工具原生使用 CrawlForge MCP。更多细节请查看 GitHub 仓库。

a安装软件包

全局安装:

Bash
npm install -g crawlforge-mcp-server

依赖项(包括 crawlforge-extractors)会自动安装。

快速设置向导:

Bash
npx crawlforge-setup

bClaude Desktop 配置

添加到 claude_desktop_config.json:

Json
{
  "mcpServers": {
    "crawlforge": {
      "command": "npx",
      "args": ["-y", "crawlforge-mcp-server"]
    }
  }
}
  • macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
  • Windows: %APPDATA%/Claude/claude_desktop_config.json
  • Linux: ~/.config/Claude/claude_desktop_config.json

cCursor IDE 配置

添加到 ~/.cursor/mcp.json:

Json
{
  "mcpServers": {
    "crawlforge": {
      "type": "stdio",
      "command": "crawlforge-mcp"
    }
  }
}

d环境变量

Bash
export CRAWLFORGE_API_KEY="cf_live_your_api_key_here"
export CRAWLFORGE_API_URL="https://api.crawlforge.dev"

e使用示例

"搜索最新的 AI 新闻"

"提取 example.com 上的所有链接"

"抓取该文档站点并进行总结"

3
发起你的第一次请求
使用 cURL、TypeScript 或 Python 抓取你的第一个页面。TypeScript 和 Python 示例使用官方 SDK(npm 上的 crawlforge-sdk 和 PyPI 上的 crawlforge),而 cURL 直接调用 REST API。

cURL

Bash
curl -X POST https://www.crawlforge.dev/api/v1/tools/fetch_url \
  -H "X-API-Key: cf_test_YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com"}'

TypeScript

Bash
npm install crawlforge-sdk
Typescript
// npm install crawlforge-sdk
import { CrawlForge } from 'crawlforge-sdk';

const client = new CrawlForge({ apiKey: process.env.CRAWLFORGE_API_KEY });

const result = await client.fetchUrl({ url: 'https://example.com' });

// result.data is untyped in crawlforge-sdk 0.1 — its shape is the response shown in the next step.
const { status, content_length } = result.data as { status: number; content_length: number };
console.log('Status:', status);
console.log('Content length:', content_length);
console.log('Credits used:', result.creditsUsed);
console.log('Credits remaining:', result.creditsRemaining);

Python

Bash
pip install crawlforge
Python
# pip install crawlforge
from crawlforge import CrawlForge

client = CrawlForge()  # reads CRAWLFORGE_API_KEY

result = client.fetch_url(url='https://example.com')

# result.data is a plain dict — its shape is the response shown in the next step.
print(f"Status: {result.data['status']}")
print(f"Content length: {result.data['content_length']}")
print(f"Credits used: {result.credits_used}")
print(f"Credits remaining: {result.credits_remaining}")
4
理解响应
所有 API 响应都遵循标准格式,包含成功状态、数据和 credits 信息。
Json
{
  "success": true,
  "data": {
    "url": "https://example.com",
    "status": 200,
    "status_text": "OK",
    "content": "<!DOCTYPE html>...",
    "content_length": 1256,
    "content_type": "text/html; charset=UTF-8"
  },
  "credits_used": 1,
  "credits_remaining": 999,
  "processing_time": 245
}
  • success: 请求是否成功
  • data: 提取的内容和元数据
  • credits_used: 本次请求扣除的 credits
  • credits_remaining: 你剩余的 credits 余额

SDK 返回同样的响应结构,即 result.data、creditsUsed / credits_used 和 creditsRemaining / credits_remaining,并在失败时抛出类型化错误,而不是返回 success: false。

下一步

准备好构建了吗?

立即注册,获取 1,000 个免费 credits——无需信用卡。