如何在 5 分钟内为 Claude Desktop 添加 web scraping

如果你曾经希望 Claude 能够从网络获取实时数据、搜索信息或从网站提取内容，那你来对地方了。借助 Model Context Protocol (MCP)，你只需几分钟就能为 Claude Desktop 赋予原生的 web scraping 能力。

为什么 Claude 需要网络访问能力

Claude 在分析、写作和推理方面非常强大，但它的训练数据有一个知识截止日期。在没有网络访问能力的情况下，Claude 无法：

• 研究时事或价格
• 从外部网站获取文档
• 从竞争对手的网站提取数据
• 实时核实信息
• 聚合来自多个来源的内容

这正是 MCP 发挥作用的地方。

什么是 MCP？

Model Context Protocol (MCP) 是 Anthropic 推出的开放标准，用于将 Claude 这样的 AI 助手连接到外部工具和数据源。可以把它理解为 Claude Desktop 的插件系统。

借助 MCP server，Claude 不再受限于其训练数据，而是可以：

• 从 API 和网站获取实时数据
• 执行操作，如 web scraping、数据库查询或文件操作
• 提供工具，让 Claude 能根据你的 prompt 智能地调用它们

CrawlForge MCP 是一个专用的 MCP server，它为 Claude 提供 20 个强大的 web scraping 工具，从基础的 URL 获取到 AI 驱动的研究无所不包。

前置条件

开始之前，请确保你已具备：

• 已安装 Claude Desktop（点此下载）
• 已安装 Node.js 18+（nodejs.org）
• 一个带 1,000 个 credits 的免费 CrawlForge 账户（点此注册）

就这些。无需编写代码。

第 1 步：获取你的 API key

首先，我们需要一个 API key 来对发往 CrawlForge 的请求进行身份验证：

1. 访问 crawlforge.dev 并注册一个免费账户
2. 你将获得 1,000 个免费 credits 作为起步（无需信用卡）
3. 进入 Dashboard → API Keys
4. 点击 "Create API Key"
5. 给它起个名字（例如 "Claude Desktop"）
6. 复制 API key（它以 cf_live_ 开头）

⚠️ 重要： 请将此密钥保存在安全的地方。它只会显示一次。

第 2 步：配置 Claude Desktop

现在我们要把 CrawlForge 添加到 Claude 的 MCP 配置文件中。

找到你的配置文件

其位置取决于你的操作系统：

macOS：

~/Library/Application Support/Claude/claude_desktop_config.json

Windows：

%APPDATA%\Claude\claude_desktop_config.json

Linux：

~/.config/Claude/claude_desktop_config.json

添加 CrawlForge MCP server

在文本编辑器中打开该文件，并添加以下配置：

{
  "mcpServers": {
    "crawlforge": {
      "command": "npx",
      "args": [
        "-y",
        "crawlforge-mcp-server"
      ],
      "env": {
        "CRAWLFORGE_API_KEY": "cf_live_YOUR_API_KEY_HERE"
      }
    }
  }
}

将 cf_live_YOUR_API_KEY_HERE 替换为你在第 1 步中复制的 API key。

如果你已经配置了其他 MCP server，只需将 "crawlforge" 这一项添加到已有的 "mcpServers" 对象中即可。

第 3 步：重启并测试

1. 彻底退出 Claude Desktop（右键点击图标并选择 "Quit"）
2. 重新打开 Claude Desktop
3. 你应该会在输入框中看到一个小工具图标（🔧），表示 MCP tools 已加载

要进行测试，试试这个 prompt：

Claude 会自动使用 fetch_url 工具（1 credit）来抓取页面，然后使用 extract_text（1 credit）来解析内容。你应该会在回复中看到 example.com 的完整文本。

5 个实用示例

现在 CrawlForge 已经连接好了，下面是你可以做的事情：

1. 获取一个网页

Claude 使用 fetch_url（1 credit）来获取原始 HTML。

2. 提取文章内容

Claude 使用 extract_content（2 credits）来识别并仅提取文章正文，去除广告和导航。

3. 获取所有链接

Claude 使用 extract_links（1 credit）来解析所有 <a> 标签并返回这些 URL。

4. 分析页面元数据

Claude 使用 extract_metadata（1 credit）来提取标题标签、meta 描述、Open Graph 数据等。

5. 研究某个主题

Claude 使用 deep_research（10 credits）来：

• 搜索多个来源
• 提取相关内容
• 核实信息
• 综合出一份带引用的摘要

这是处理全面研究任务最强大的工具。

可用工具一览

CrawlForge 让 Claude 可以使用 27 个专用工具，按 credits 成本组织如下：

基础工具（每个 1 credit）

• fetch_url - 从任意 URL 获取原始 HTML
• extract_text - 干净的文本提取
• extract_links - 获取页面上的所有链接
• extract_metadata - SEO 和社交媒体标签

结构化提取（2 credits）

• scrape_structured - 基于 CSS 选择器的提取
• extract_content - 主体内容提取（文章、博客文章）
• map_site - 网站结构映射
• process_document - 从 PDF 和文档中提取文本
• localization - 地理定向 scraping（26 个国家/地区）

高级工具（3-5 credits）

• track_changes（3 credits）- 跟踪网站随时间的变化
• analyze_content（3 credits）- 情感分析、语言检测
• summarize_content（4 credits）- AI 驱动的摘要
• crawl_deep（4 credits）- 可控制深度的多页爬取
• stealth_mode（5 credits）- 反检测浏览
• scrape_with_actions（5 credits）- 浏览器自动化（点击、表单）
• batch_scrape（5 credits）- 并行处理多个 URL
• search_web（5 credits）- 集成 Google Custom Search

AI 研究（10 credits）

• deep_research - 多阶段研究，含来源核实与综合

credits 用量

每次工具调用都会从你的账户中扣除 credits：

• 免费套餐： 1,000 credits（视所用工具不同，大约够 100-500 次操作）
• Hobby： 5,000 credits/月，$19
• Professional： 50,000 credits/月，$99
• Business： 250,000 credits/月，$399

你可以在 dashboard 中监控用量。

高效使用的小贴士

1. 从便宜的开始： 在已知 URL 时，使用 fetch_url（1 credit）而非 search_web（5 credits）
2. 批量请求： 对多个 URL 使用 batch_scrape，而不是分别调用
3. 缓存结果： 如果需要多次使用相同数据，把它保存在你的对话中
4. 选用合适的工具： 不要用 deep_research（10 credits）来做简单的查询

故障排查

"No tools found" 错误：

• 确保你已彻底退出 Claude Desktop（而不只是关闭窗口）
• 检查你的 API key 是否有效（在 crawlforge.dev/dashboard/keys 测试）
• 核对配置文件中的 JSON 语法

"Insufficient credits" 错误：

• 在 crawlforge.dev/dashboard 查看你的余额
• 升级你的套餐或购买额外的 credits

工具调用失败：

• 部分网站会屏蔽 scraping——尝试 stealth_mode（5 credits）以获得更高的成功率
• 查看网站的 robots.txt 是否有限制
• 确认 URL 正确且可访问

接下来呢？

现在你已在 Claude Desktop 中启用了 web scraping，接下来你可以：

• 构建从多个来源聚合数据的研究工作流
• 监控竞争对手网站的变化
• 提取结构化数据以供分析
• 为 AI 训练数据集自动化收集内容

如需更进阶的用法，请查看：

• API 文档 - 以编程方式使用 CrawlForge
• 工具指南 - 每个工具的详细文档
• 集成示例 - LangChain、LlamaIndex 等

准备好升级了吗？查看价格套餐，或联系支持团队了解定制的企业级方案。

立即试用： 在 crawlforge.dev/signup 免费注册，即可获得 1,000 个 credits 开始使用。