CrawlForge
首页应用场景集成价格文档博客
如何安装 CrawlForge MCP 并在 Claude Code 中使用:新手指南
Tutorials
返回博客
教程

如何安装 CrawlForge MCP 并在 Claude Code 中使用:新手指南

C
CrawlForge Team
工程团队
2026年1月10日
阅读时长 10 分钟
更新于 2026年4月14日

本页内容

如果你刚接触 Claude Code(Anthropic 基于终端的 AI 助手),并想赋予它抓取网站、搜索网络和提取内容的能力,那你来对地方了。这份对新手友好的指南将带你走完从安装到第一次成功 web scraping 的全过程。

你将学到什么

读完本指南后,你将能够:

  • 在你的电脑上安装 CrawlForge MCP
  • 设置你的免费 API key(包含 1,000 credits)
  • 配置 Claude Code 以使用 CrawlForge
  • 运行你的第一批 web scraping 命令

所需时间: 大约 5-10 分钟

什么是 CrawlForge MCP?

在开始之前,先了解一下我们要安装的是什么:

  • CrawlForge 是一项专业的 web scraping 服务,提供 20 个不同的工具
  • MCP 是 Model Context Protocol 的缩写——它是像 Claude 这样的 AI 助手连接外部工具的方式
  • Claude Code 是 Anthropic 在终端中运行的命令行 AI 助手

当你把 CrawlForge 连接到 Claude Code 后,你只需让 Claude “获取这个网页”或“搜索关于 X 的信息”,它就会自动使用 CrawlForge 的工具。

前置条件

开始之前,请确保你已具备:

  1. 已安装 Node.js 18 或更高版本

    • 通过运行以下命令检查:node --version
    • 如需安装,请从 nodejs.org 下载
  2. 已安装 Claude Code

    • 如果你还没有,使用以下命令安装:npm install -g @anthropic-ai/claude-code
  3. 打开一个终端/命令提示符

就这些!我们开始吧。

步骤 1:安装 CrawlForge MCP Server

打开你的终端并运行此命令:

Bash

这条命令的作用:

  • 下载 CrawlForge MCP server 软件包
  • 将其全局安装到你的电脑(-g 标志)
  • 使其可在任意目录中使用

你应该会看到类似这样的输出:

added 1 package in 2s

步骤 2:设置你的 API key

现在我们需要获取并配置你的免费 API key。运行:

Bash

这个交互式配置向导将会:

  1. 询问你是否已有 API key

    • 如果有:在提示时输入
    • 如果没有:它会打开你的浏览器去创建一个免费账户
  2. 引导你获取免费 API key

    • 前往 crawlforge.dev/signup
    • 创建你的账户(无需信用卡)
    • 你将立即获得 1,000 个免费 credits
    • 复制你的 API key(以 cf_live_ 开头)
  3. 安全地配置你的凭证

    • 配置会将你的 API key 存储在 ~/.crawlforge/config.json
    • 这能确保它安全且与你的项目相互隔离
  4. 验证一切正常

    • 配置会测试你的连接以确认其已就绪

备选:手动配置

如果你更愿意手动配置,可以:

选项 A:环境变量

Bash

选项 B:配置文件

创建 ~/.crawlforge/config.json:

Json

步骤 3:配置 Claude Code

现在我们需要让 Claude Code 知道 CrawlForge。有两种方法可以做到:

方法 1:添加到 Claude Code 设置(推荐)

运行 Claude Code 并使用 /mcp 命令来添加 server:

Bash

这会自动将 CrawlForge 添加到你的 Claude Code 配置中。

方法 2:编辑配置文件

你也可以手动编辑 Claude Code 的 MCP 设置。配置文件的位置取决于你的操作系统:

macOS:

~/.config/claude/mcp_servers.json

Windows:

%APPDATA%\claude\mcp_servers.json

Linux:

~/.config/claude/mcp_servers.json

添加以下配置:

Json

步骤 4:重启 Claude Code

要让更改生效,请重启 Claude Code:

  1. 如果 Claude Code 正在运行,退出它(输入 exit 或按 Ctrl+C)
  2. 再次启动它:
Bash

你应该会看到 CrawlForge 出现在可用的 MCP 工具列表中。

步骤 5:你的第一次 web scraping!

现在到了有趣的部分——我们来测试一下!启动 Claude Code 并尝试这些命令:

示例 1:获取一个简单网页

Fetch the content from https://example.com

Claude 会使用 fetch_url 工具(1 credit)并向你展示 HTML 内容。

示例 2:提取干净的文本

Extract the main text content from https://news.ycombinator.com

Claude 会使用 extract_text(1 credit)获取不含 HTML 标签的干净、可读文本。

示例 3:获取页面上的所有链接

List all the links on https://crawlforge.dev

Claude 会使用 extract_links(1 credit)查找并列出每一个链接。

示例 4:搜索网络

Search the web for "best practices for web scraping in 2026"

Claude 会使用 search_web(5 credits)查找相关结果。

示例 5:深度研究

Research the latest developments in AI and summarize your findings

Claude 会使用 deep_research(10 credits)搜索多个来源、核实信息,并综合出一个全面的答案。

理解 credits

CrawlForge 采用基于 credits 的系统。每个工具会花费一定数量的 credits:

工具类型Credits示例
基础1fetch_url, extract_text, extract_links, extract_metadata
结构化2scrape_structured, extract_content, map_site, process_document, localization
分析3track_changes, analyze_content
高级4summarize_content, crawl_deep
高阶5-10search_web, batch_scrape, stealth_mode, deep_research

你的免费账户包含 1,000 credits——这足以支持:

  • 1,000 次基础页面获取,或
  • 100 次深度研究查询,或
  • 不同操作的混合使用

专业提示: 学习期间先从 fetch_url 和 extract_text 等基础工具入手,以节省 credits!

全部 20 个可用工具

以下是你用 CrawlForge 能做的事:

基础工具(每个 1 credit)

  • fetch_url —— 获取任意 URL 的原始 HTML
  • extract_text —— 提取不含 HTML 的干净文本
  • extract_links —— 获取页面上的所有链接
  • extract_metadata —— 获取 SEO 元数据、Open Graph 标签等

内容工具(2-3 credits)

  • scrape_structured —— 使用 CSS 选择器提取数据
  • extract_content —— 智能提取文章/主要内容
  • summarize_content —— AI 驱动的摘要
  • analyze_content —— 情感、语言和主题分析

站点工具(2-5 credits)

  • map_site —— 发现网站上的所有页面
  • crawl_deep —— 带深度控制的多页面爬取
  • batch_scrape —— 一次处理多个 URL

研究工具(5-10 credits)

  • search_web —— 通过 Google/DuckDuckGo 进行网络搜索
  • deep_research —— 带核实的多阶段研究

高级工具(3-10 credits)

  • stealth_mode —— 反检测浏览
  • scrape_with_actions —— 浏览器自动化(点击、表单)
  • process_document —— 从 PDF 中提取文本
  • localization —— 地理定向抓取
  • track_changes —— 检测受监控页面的内容变化

故障排查

“Command not found: npx”

确保已安装 Node.js:

Bash

如果没有,请从 nodejs.org 下载。

“API key not found”

再次运行配置:

Bash

或手动检查你位于 ~/.crawlforge/config.json 的配置文件。

“Insufficient credits”

在 crawlforge.dev/dashboard 查看你的余额。你可以:

  • 升级到付费套餐以获得更多 credits
  • 购买额外的 credit 包

Claude Code 看不到 CrawlForge

  1. 确保你在配置后重启了 Claude Code
  2. 检查 MCP server 是否已正确配置
  3. 尝试手动运行 npx crawlforge-mcp-server 以查看是否有报错

接下来做什么?

现在你已经配置好了 CrawlForge,这里有一些点子:

  1. 搭建研究工作流 —— 让 Claude 研究主题并整理报告
  2. 监控竞争对手 —— 跟踪竞争对手网站的变化
  3. 采集数据 —— 提取产品信息、价格或评论
  4. 创作内容 —— 为博客文章或文档收集信息

价格套餐

当你需要更多 credits 时:

套餐Credits/月价格适合
Free1,000$0测试与学习
Hobby5,000$19/mo个人项目
Professional50,000$99/mo生产环境使用
Business250,000$399/mo重度使用

在付费套餐上,credits 永不过期,并可逐月结转!

需要帮助?

  • 文档:crawlforge.dev/docs
  • GitHub Issues:github.com/mysleekdesigns/crawlforge-mcp/issues
  • 邮箱:support@crawlforge.dev
  • Discord:加入我们的社区

准备好开始了吗? 1,000 个免费 credits 正在 crawlforge.dev/signup 等着你。祝你 scraping 愉快!

标签

Claude CodeMCPInstallationBeginnersTutorialnpm

关于作者

C

CrawlForge Team

工程团队

我们正在打造功能最全面的 Web 抓取 MCP server。我们开发的工具帮助开发者为 AI 应用提取、分析和转换 Web 数据。

本页内容

Frequently Asked Questions

如何为 Claude Code 安装 CrawlForge MCP?+

运行 `npm install -g crawlforge-mcp-server` 全局安装该软件包,然后运行 `npx crawlforge-setup` 配置你的 API key。整个安装大约需要 5-10 分钟,并要求 Node.js 18 或更高版本。

在 Claude Code 中试用 CrawlForge 需要信用卡吗?+

不需要。在 crawlforge.dev/signup 注册,你会立即获得 1,000 个免费 credits,无需信用卡。这足以让你运行大约 1,000 次基础获取或 100 次 deep_research 调用,之后再决定是否升级。

CrawlForge 把我的 API key 存在机器上的哪里?+

配置向导会把你的凭证保存到 `~/.crawlforge/config.json`,与你的项目文件分开。如果你更喜欢手动配置,也可以在 shell 配置文件中设置 `CRAWLFORGE_API_KEY` 环境变量。

如果安装后 Claude Code 看不到 CrawlForge,我该怎么办?+

完全重启 Claude Code(不要只是重新加载窗口),然后运行 `/mcp` 确认 crawlforge 已列为已连接。如果它缺失,请重新运行步骤 3 中的 `claude mcp add` 命令,并验证你的配置文件语法是有效的 JSON。

每次 scrape 要花多少 credits?+

像 fetch_url 和 extract_text 这样的基础工具每次调用 1 credit,结构化提取工具为 2 credits,search_web 和 stealth_mode 为 5 credits,而 deep_research 为 10 credits。免费套餐大约可覆盖 1,000 次简单 scrape 或 100 次深度研究查询。

相关文章

如何正确使用 web scraping 模板
Tutorials

如何正确使用 web scraping 模板

面向价格监控、线索增强、SEO 审计等场景的、复制即用的 MCP web scraping 模板——以及如何读懂、改造它们并核算其成本。

C
CrawlForge Team
|
6月5日
|
10 分钟
如何用 Claude Code 抓取网站(2026 指南)
Tutorials

如何用 Claude Code 抓取网站(2026 指南)

用 Claude Code 和 CrawlForge MCP 从你的终端抓取任何网站。抓取页面、提取数据并绕过反爬虫,全程不到 2 分钟。

C
CrawlForge Team
|
4月14日
|
10 分钟
如何在 Cursor IDE 中使用 CrawlForge MCP 抓取网站
Tutorials

如何在 Cursor IDE 中使用 CrawlForge MCP 抓取网站

把 Cursor IDE 变成网页抓取工作站。接入 CrawlForge MCP,无需离开编辑器即可从任意站点提取结构化数据。

C
CrawlForge Team
|
4月14日
|
9 分钟

页脚

CrawlForge

面向 AI Agent 的企业级网页抓取。23 个专业 MCP 工具,专为构建智能系统的现代开发者而设计。

产品

  • 功能
  • 价格
  • 应用场景
  • 集成
  • 替代方案
  • 更新日志

资源

  • 快速上手
  • API 参考
  • 模板
  • 指南
  • 博客
  • 术语表
  • 常见问题
  • 网站地图

开发者

  • MCP 协议
  • Claude Desktop
  • Cursor IDE
  • LangChain
  • LlamaIndex

公司

  • 关于我们
  • 联系我们
  • 隐私政策
  • 服务条款

保持更新

获取新工具和新功能的最新动态。

基于 Next.js 和 MCP 协议构建

© 2025-2026 CrawlForge。保留所有权利。