常见问题

CrawlForge MCP 是一个全面的网页抓取平台，提供 23 个专业工具用于从网站提取数据。它专为 AI 应用而设计，支持 Model Context Protocol (MCP)，非常适合与 Claude、Cursor 及其他 AI 工具配合使用。

主要功能包括：

• 23 个强大的抓取工具（fetch_url、deep_research、stealth_mode 等）
• 基于 credits 的定价，成本可预测
• 支持 RESTful API 和 MCP 协议
• 免费方案含 1,000 个一次性试用 credits
• 企业级安全与可靠性

上手简单，耗时不到 5 分钟：

1. 注册： 在 crawlforge.dev/signup 创建一个免费账户
2. 获取 API Key： 进入 控制台 → 设置，生成你的 API Key
3. 发起第一次请求： 使用 API Key 调用我们 23 个工具中的任何一个

你将获得 1,000 个免费 credits——无需信用卡！

详细说明请参阅我们的快速上手指南。

免费方案包括：

• 1,000 个一次性试用 credits（不按月重置）
• 可使用全部 23 个工具（功能与付费套餐相同）
• 速率限制： 每秒 2 次请求
• 数据保留： 30 天用量日志
• 支持： 通过 Discord 和文档提供社区支持

非常适合测试、小型项目和原型开发。注册无需信用卡。

查看所有套餐 →

Model Context Protocol (MCP) 是由 Anthropic 创建的开放标准，用于在 AI 应用与外部数据源之间实现无缝通信。它让 Claude 等 AI 模型能够直接访问网页抓取工具，而无需手动进行 API 集成。

MCP 的优势：

• 在 Claude Desktop、Cursor 及其他兼容 MCP 的应用中直接使用 CrawlForge 工具
• 无需编写代码——只需自然语言指令
• 根据你的需求自动选择工具
• 所有 MCP 服务器通用的标准化接口

在我们的 MCP 协议指南中了解更多。

下面是一个使用 fetch_url 工具（1 credit）的简单示例：

或使用 TypeScript：

更多示例请参阅我们的快速上手指南。

要生成 API Key：

1. 登录你的账户
2. 进入 控制台 → 设置
3. 滚动到 "API Keys" 部分
4. 点击 "Generate New API Key"
5. 给密钥起一个描述性名称（例如 "Production"、"Development"）
6. 立即复制密钥——它不会再次显示！

CrawlForge MCP 支持通过 X-API-Key 请求头进行 API Key 身份验证：

API Key 格式：

• cf_test_... - 测试环境（开发）
• cf_live_... - 生产环境

所有请求都必须通过 HTTPS 发起。HTTP 请求将被拒绝。

速率限制因套餐而异：

当你触及速率限制时，会收到 429 Too Many Requests 响应。

CrawlForge MCP 使用标准 HTTP 状态码：

• 200 OK： 请求成功
• 400 Bad Request： 参数无效或缺少必填字段
• 401 Unauthorized： API Key 缺失或无效
• 402 Payment Required： credits 不足
• 429 Too Many Requests： 超出速率限制
• 500 Internal Server Error： 服务器端错误（我们会进行调查）

错误响应示例：

对 429 和 500 错误，请实施带指数退避的重试逻辑。参阅我们的错误处理指南。

可以！CrawlForge MCP 与 Vercel、AWS Lambda、Cloudflare Workers 等平台上的无服务器函数完美配合。

无服务器使用技巧：

• 设置合适的超时时间（大多数工具在 200-500ms 内响应）
• 使用环境变量存储 API Key
• 为高并发应用实施连接池
• 对多个 URL 考虑使用 batch_scrape

Vercel Edge Functions 示例：

credits 是 CrawlForge MCP 中的用量单位。每个工具每次请求消耗特定数量的 credits：

• 1 credit： 基础工具（fetch_url、extract_text、extract_links、extract_metadata）
• 2 credits： 结构化提取（scrape_structured、extract_content、map_site）
• 3-4 credits： 高级处理（analyze_content、track_changes、extract_structured、summarize_content）
• 5 credits： 浏览器自动化（scrape_with_actions、search_web、stealth_mode、batch_scrape、generate_llms_txt）
• 10 credits： 深度研究（多源聚合）

credits 仅在请求成功时扣除。失败的请求不消耗 credits。

完整明细请参阅我们的 Credit 优化指南。

credits 补充取决于你的套餐：

• Free 套餐： 1,000 个一次性试用 credits（不按月补充——升级到付费套餐即可获得每月 credits）
• 付费套餐： credits 在你的计费日（你订阅或升级的当天）补充

示例：如果你在 1 月 15 日升级到 Hobby，那么你将在每月 15 日获得 5,000 credits。

好消息： 未使用的 credits 会顺延到下个月，所以你已付费的 credits 永远不会浪费！

你可以在控制台中查看 credits 余额和下次补充日期。

未使用的 credits 会顺延到下个月！当你获得每月配额时，剩余余额会结转过去。

示例：

• 你使用的是 Hobby 套餐（5,000 credits/月）
• 你本月使用了 3,000 credits，剩余 2,000 未用
• 在补充日，你将拥有 7,000 credits（2,000 + 5,000）

CrawlForge MCP 使用 Stripe 进行安全支付处理：

1. 订阅： 在定价页面点击 "Upgrade"
2. 输入支付信息： Stripe 会安全地处理所有支付信息
3. 自动计费： 系统将在你的订阅日按月扣费
4. 即时激活： 支付成功后 credits 会立即到账

我们接受：

• 信用卡（Visa、Mastercard、American Express）
• 借记卡
• Apple Pay 与 Google Pay
• 银行转账（仅限 Business 套餐）

你可以随时在控制台中取消或更改套餐。

根据用量数据，最热门的 5 个工具是：

1. fetch_url（1 credit）- 基础页面抓取，最快且最便宜
2. extract_text（1 credit）- 不含 HTML 的干净文本提取
3. scrape_structured（2 credits）- 使用 CSS 选择器提取特定数据
4. deep_research（10 credits）- 多源研究与聚合
5. stealth_mode（5 credits）- 绕过反爬虫检测

在 API 参考中查看全部 23 个工具。

在以下情况使用 batch_scrape：

• 你需要一次抓取 3 个以上 URL
• 你想并行化请求以获得更好的性能
• 你愿意用 credits 换取速度（平均快 50%）

在以下情况使用单独请求：

• 你只需要 1-2 个 URL
• 你需要按顺序处理结果
• 你想要更细粒度的错误处理

成本对比：

• 单独：10 个 URL × 1 credit = 10 credits，约 5 秒（顺序执行）
• 批量：10 个 URL × 1 credit = 10 credits，约 1 秒（并行执行）

示例请参阅我们的批量处理指南。

在以下情况使用 scrape_with_actions：

• 内容通过 JavaScript 加载（SPA、React、Vue、Angular 应用）
• 你需要与页面交互（点击按钮、填写表单、滚动）
• 内容需要身份验证（登录流程）
• 页面使用无限滚动或懒加载

不要在以下情况使用：

• 页面提供静态 HTML（用 fetch_url，1 credit 而非 5 credits）
• 有可用的 API 端点（使用 fetch_url）
• 你只需要基础的文本提取

在我们的高级抓取指南中了解更多。

你触及了所在套餐的速率限制。当你过快地发送过多请求时就会发生这种情况。

解决方案：

• 实施重试逻辑： 等待 1-2 秒，然后以指数退避方式重试
• 使用 batch_scrape： 将多个 URL 合并到一个请求中
• 添加延迟： 拉开请求间隔（例如 Free 套餐每次调用之间间隔 500ms）
• 升级套餐： 更高级别的套餐拥有更高的速率限制

重试逻辑示例：

常见连接问题及修复方法：

1. API Key 无效（401 错误）：
   • 确认你的 API Key 正确（检查是否有拼写错误）
   • 确保你使用的是 X-API-Key 请求头（而非 Authorization）
   • 如有需要，重新生成你的 API Key
2. CORS 错误（浏览器）：
   • 不支持从浏览器发起 API 调用（存在安全风险）
   • 请改为从你的后端/无服务器函数发起 API 调用
   • 切勿在客户端代码中暴露 API Key
3. SSL/TLS 错误：
   • 确保你使用的是 https:// 而非 http://
   • 如果使用的是旧环境，请更新你的 SSL 证书
4. 网络超时：
   • 检查你的防火墙/代理设置
   • 增加请求超时时间（大多数工具在 500ms 内响应）

仍有问题？请查看我们的状态页或联系支持。