本页内容
如果你刚接触 Claude Code(Anthropic 基于终端的 AI 助手),并想赋予它抓取网站、搜索网络和提取内容的能力,那你来对地方了。这份对新手友好的指南将带你走完从安装到第一次成功 web scraping 的全过程。
你将学到什么
读完本指南后,你将能够:
- 在你的电脑上安装 CrawlForge MCP
- 设置你的免费 API key(包含 1,000 credits)
- 配置 Claude Code 以使用 CrawlForge
- 运行你的第一批 web scraping 命令
所需时间: 大约 5-10 分钟
什么是 CrawlForge MCP?
在开始之前,先了解一下我们要安装的是什么:
- CrawlForge 是一项专业的 web scraping 服务,提供 20 个不同的工具
- MCP 是 Model Context Protocol 的缩写——它是像 Claude 这样的 AI 助手连接外部工具的方式
- Claude Code 是 Anthropic 在终端中运行的命令行 AI 助手
当你把 CrawlForge 连接到 Claude Code 后,你只需让 Claude “获取这个网页”或“搜索关于 X 的信息”,它就会自动使用 CrawlForge 的工具。
前置条件
开始之前,请确保你已具备:
-
已安装 Node.js 18 或更高版本
- 通过运行以下命令检查:
node --version - 如需安装,请从 nodejs.org 下载
- 通过运行以下命令检查:
-
已安装 Claude Code
- 如果你还没有,使用以下命令安装:
npm install -g @anthropic-ai/claude-code
- 如果你还没有,使用以下命令安装:
-
打开一个终端/命令提示符
就这些!我们开始吧。
步骤 1:安装 CrawlForge MCP Server
打开你的终端并运行此命令:
这条命令的作用:
- 下载 CrawlForge MCP server 软件包
- 将其全局安装到你的电脑(
-g标志) - 使其可在任意目录中使用
你应该会看到类似这样的输出:
added 1 package in 2s
步骤 2:设置你的 API key
现在我们需要获取并配置你的免费 API key。运行:
这个交互式配置向导将会:
-
询问你是否已有 API key
- 如果有:在提示时输入
- 如果没有:它会打开你的浏览器去创建一个免费账户
-
引导你获取免费 API key
- 前往 crawlforge.dev/signup
- 创建你的账户(无需信用卡)
- 你将立即获得 1,000 个免费 credits
- 复制你的 API key(以
cf_live_开头)
-
安全地配置你的凭证
- 配置会将你的 API key 存储在
~/.crawlforge/config.json - 这能确保它安全且与你的项目相互隔离
- 配置会将你的 API key 存储在
-
验证一切正常
- 配置会测试你的连接以确认其已就绪
备选:手动配置
如果你更愿意手动配置,可以:
选项 A:环境变量
选项 B:配置文件
创建 ~/.crawlforge/config.json:
步骤 3:配置 Claude Code
现在我们需要让 Claude Code 知道 CrawlForge。有两种方法可以做到:
方法 1:添加到 Claude Code 设置(推荐)
运行 Claude Code 并使用 /mcp 命令来添加 server:
这会自动将 CrawlForge 添加到你的 Claude Code 配置中。
方法 2:编辑配置文件
你也可以手动编辑 Claude Code 的 MCP 设置。配置文件的位置取决于你的操作系统:
macOS:
~/.config/claude/mcp_servers.json
Windows:
%APPDATA%\claude\mcp_servers.json
Linux:
~/.config/claude/mcp_servers.json
添加以下配置:
步骤 4:重启 Claude Code
要让更改生效,请重启 Claude Code:
- 如果 Claude Code 正在运行,退出它(输入
exit或按 Ctrl+C) - 再次启动它:
你应该会看到 CrawlForge 出现在可用的 MCP 工具列表中。
步骤 5:你的第一次 web scraping!
现在到了有趣的部分——我们来测试一下!启动 Claude Code 并尝试这些命令:
示例 1:获取一个简单网页
Fetch the content from https://example.com
Claude 会使用 fetch_url 工具(1 credit)并向你展示 HTML 内容。
示例 2:提取干净的文本
Extract the main text content from https://news.ycombinator.com
Claude 会使用 extract_text(1 credit)获取不含 HTML 标签的干净、可读文本。
示例 3:获取页面上的所有链接
List all the links on https://crawlforge.dev
Claude 会使用 extract_links(1 credit)查找并列出每一个链接。
示例 4:搜索网络
Search the web for "best practices for web scraping in 2026"
Claude 会使用 search_web(5 credits)查找相关结果。
示例 5:深度研究
Research the latest developments in AI and summarize your findings
Claude 会使用 deep_research(10 credits)搜索多个来源、核实信息,并综合出一个全面的答案。
理解 credits
CrawlForge 采用基于 credits 的系统。每个工具会花费一定数量的 credits:
| 工具类型 | Credits | 示例 |
|---|---|---|
| 基础 | 1 | fetch_url, extract_text, extract_links, extract_metadata |
| 结构化 | 2 | scrape_structured, extract_content, map_site, process_document, localization |
| 分析 | 3 | track_changes, analyze_content |
| 高级 | 4 | summarize_content, crawl_deep |
| 高阶 | 5-10 | search_web, batch_scrape, stealth_mode, deep_research |
你的免费账户包含 1,000 credits——这足以支持:
- 1,000 次基础页面获取,或
- 100 次深度研究查询,或
- 不同操作的混合使用
专业提示: 学习期间先从 fetch_url 和 extract_text 等基础工具入手,以节省 credits!
全部 20 个可用工具
以下是你用 CrawlForge 能做的事:
基础工具(每个 1 credit)
- fetch_url —— 获取任意 URL 的原始 HTML
- extract_text —— 提取不含 HTML 的干净文本
- extract_links —— 获取页面上的所有链接
- extract_metadata —— 获取 SEO 元数据、Open Graph 标签等
内容工具(2-3 credits)
- scrape_structured —— 使用 CSS 选择器提取数据
- extract_content —— 智能提取文章/主要内容
- summarize_content —— AI 驱动的摘要
- analyze_content —— 情感、语言和主题分析
站点工具(2-5 credits)
- map_site —— 发现网站上的所有页面
- crawl_deep —— 带深度控制的多页面爬取
- batch_scrape —— 一次处理多个 URL
研究工具(5-10 credits)
- search_web —— 通过 Google/DuckDuckGo 进行网络搜索
- deep_research —— 带核实的多阶段研究
高级工具(3-10 credits)
- stealth_mode —— 反检测浏览
- scrape_with_actions —— 浏览器自动化(点击、表单)
- process_document —— 从 PDF 中提取文本
- localization —— 地理定向抓取
- track_changes —— 检测受监控页面的内容变化
故障排查
“Command not found: npx”
确保已安装 Node.js:
如果没有,请从 nodejs.org 下载。
“API key not found”
再次运行配置:
或手动检查你位于 ~/.crawlforge/config.json 的配置文件。
“Insufficient credits”
在 crawlforge.dev/dashboard 查看你的余额。你可以:
- 升级到付费套餐以获得更多 credits
- 购买额外的 credit 包
Claude Code 看不到 CrawlForge
- 确保你在配置后重启了 Claude Code
- 检查 MCP server 是否已正确配置
- 尝试手动运行
npx crawlforge-mcp-server以查看是否有报错
接下来做什么?
现在你已经配置好了 CrawlForge,这里有一些点子:
- 搭建研究工作流 —— 让 Claude 研究主题并整理报告
- 监控竞争对手 —— 跟踪竞争对手网站的变化
- 采集数据 —— 提取产品信息、价格或评论
- 创作内容 —— 为博客文章或文档收集信息
价格套餐
当你需要更多 credits 时:
| 套餐 | Credits/月 | 价格 | 适合 |
|---|---|---|---|
| Free | 1,000 | $0 | 测试与学习 |
| Hobby | 5,000 | $19/mo | 个人项目 |
| Professional | 50,000 | $99/mo | 生产环境使用 |
| Business | 250,000 | $399/mo | 重度使用 |
在付费套餐上,credits 永不过期,并可逐月结转!
需要帮助?
- 文档:crawlforge.dev/docs
- GitHub Issues:github.com/mysleekdesigns/crawlforge-mcp/issues
- 邮箱:support@crawlforge.dev
- Discord:加入我们的社区
准备好开始了吗? 1,000 个免费 credits 正在 crawlforge.dev/signup 等着你。祝你 scraping 愉快!