跳到正文

CrawlForge Team工程团队

阅读时长 7 分钟更新于

如何在 Windsurf IDE 中使用 CrawlForge

Windsurf 是 Codeium 打造的新一代 AI 代码编辑器,其核心理念是「Flows」—— 一种能理解整个代码库的多步骤 AI 操作(参见官方 Windsurf 入门文档)。CrawlForge MCP 通过接入 Cascade 的 MCP 支持,将 Windsurf 的能力从本地文件延伸到实时网络,让 AI 可以抓取文档、采集参考实现、研究 API 并提取数据 —— 全程都在编辑器内完成。

本指南将向你展示如何在 Windsurf 中将 CrawlForge 配置为 MCP server,并将其用于真实的开发任务。

目录

前置条件

  • 已安装 Windsurf IDE(windsurf.com)
  • 已安装 Node.js 18+
  • 一个 CrawlForge API key —— 免费注册即获 1,000 credits

为什么在 Windsurf 中使用 CrawlForge

Windsurf 的 Cascade AI agent 已经能够读取你的代码库并进行跨文件编辑。但它无法访问外部资源:

  • 它无法读取你正在使用的某个库的最新 API 文档
  • 它无法查看竞品是如何实现某个特定功能的
  • 它无法拉取真实世界的 HTML 来测试你的解析器
  • 它无法跨多个来源研究最佳实践

CrawlForge 解决了这个问题。配置完成后,Windsurf 的 AI agent 即可访问全部 31 个 CrawlForge 工具,并根据你的需求选择合适的那一个。

步骤 1:安装 CrawlForge MCP server

打开终端,全局安装 CrawlForge MCP server:

Bash
npm install -g crawlforge-mcp-server

验证安装:

Bash
crawlforge-mcp-server --version

步骤 2:配置 Windsurf 的 MCP 设置

Windsurf 从一个 JSON 文件读取 MCP server 配置。打开你的 Windsurf MCP 配置:

macOS / Linux:

Bash
# Open or create the MCP config
code ~/.windsurf/mcp_config.json

Windows:

Bash
code %APPDATA%\Windsurf\mcp_config.json

将 CrawlForge server 添加到 mcpServers 对象中:

Typescript
// ~/.windsurf/mcp_config.json
{
  "mcpServers": {
    "crawlforge": {
      "command": "crawlforge-mcp-server",
      "args": [],
      "env": {
        "CRAWLFORGE_API_KEY": "cf_live_your_api_key_here"
      }
    }
  }
}

将 cf_live_your_api_key_here 替换为你从 CrawlForge 控制台获取的真实 API key。

备选方案:项目级配置

对于团队项目,可在项目根目录创建 .windsurf/mcp_config.json。这样可以让配置纳入版本控制(但记得通过环境变量传入 API key,而不要硬编码):

Typescript
// .windsurf/mcp_config.json
{
  "mcpServers": {
    "crawlforge": {
      "command": "crawlforge-mcp-server",
      "args": [],
      "env": {
        "CRAWLFORGE_API_KEY": "${CRAWLFORGE_API_KEY}"
      }
    }
  }
}

步骤 3:验证连接

重启 Windsurf 以加载新的 MCP 配置。然后打开 Cascade 面板(Cmd+L / Ctrl+L)并输入:

Fetch the homepage of https://crawlforge.dev and tell me what the product does.

Windsurf 应当会自动调用 CrawlForge 的 fetch_url 或 extract_content 工具并返回一段摘要。如果你看到了结果,说明连接正常。

你可以通过以下提问来确认有哪些工具可用:

What CrawlForge tools do you have access to?

Cascade 会列出全部 31 个工具及其说明。

实用场景

编码时抓取文档

让 Cascade 读取任意库的最新文档:

Read the Next.js docs for the App Router metadata API and show me how to add Open Graph tags.

CrawlForge 的 extract_content 工具会抓取文档页面,Cascade 则直接将其应用到你的代码中。成本:2 credits。

研究 API 设计模式

Search for best practices for REST API pagination in 2026 and summarize the top 3 approaches.

Cascade 使用 search_web 查找文章,再用 extract_content 阅读它们。成本:约 11 credits(搜索 5 credits + 3 个页面各 2 credits)。

从真实网站生成测试数据

Scrape 5 product listings from https://books.toscrape.com and generate TypeScript interfaces that match the data structure.

CrawlForge 的 scrape_structured 提取数据,Cascade 则根据返回结果生成带类型的接口。成本:2 credits。

监控竞品的更新日志

Fetch the changelog at https://competitor.com/changelog and list all features released in the last 30 days.

使用 extract_content 读取页面并按日期筛选。成本:2 credits。

credits 成本明细

任务工具Credits
抓取一个文档页面extract_content2
搜索文章search_web5
提取结构化数据scrape_structured2
爬取多页文档站点crawl_deep5
获取页面元数据extract_metadata1
分析内容情感analyze_content3

一次典型的开发会话会消耗 10-30 credits。Free 套餐(一次性 1,000 credits)足以覆盖大多数开发者的初期需求。

故障排查

「找不到 MCP server」:确认全局安装路径已加入系统 PATH。运行 which crawlforge-mcp-server 检查。如果没有任何输出,请用 npm install -g crawlforge-mcp-server 重新安装。

「身份验证失败」:仔细核对 mcp_config.json 中的 API key。生产环境的 key 以 cf_live_ 开头,开发环境则以 cf_test_ 开头。

工具未出现:编辑 MCP 配置后重启 Windsurf。server 会在 IDE 启动时加载。

响应缓慢:需要渲染 JavaScript 的 CrawlForge 工具(scrape_with_actions、stealth_mode)需要 3-8 秒。而像 fetch_url 和 extract_text 这样的静态工具会在 1 秒内响应。

后续步骤

在 Windsurf 中配置好 CrawlForge 后,不妨探索以下工作流:


让你的 AI 编辑器接入实时网络。 免费开始,享 1,000 credits —— 无需信用卡。

亲自试一试——无需注册

在 Playground 中探索全部 31 个 CrawlForge 抓取与提取工具,然后免费开始,获取 1,000 credits。

1,000 免费 credits • 一次性 • 无需信用卡

标签

  • windsurf
  • ide
  • integration
  • web-scraping
  • mcp
  • tutorial
  • ai-engineering

关于作者

CrawlForge Team

工程团队

我们正在打造功能最全面的 Web 抓取 MCP server。我们开发的工具帮助开发者为 AI 应用提取、分析和转换 Web 数据。

邮件订阅

及时获取最新洞察

将教程、产品更新与 Web 抓取技巧直接发送到你的收件箱。

拒绝垃圾邮件,随时可取消订阅。

继续阅读

相关文章

教程

8 分钟

如何在 LangGraph 智能体中使用 CrawlForge

使用 LangGraph 和 CrawlForge 构建有状态的网页爬取智能体。本篇 TypeScript 指南涵盖图节点、状态管理以及条件化的爬取流程,从安装依赖到构建完整研究智能体,含可运行的代码示例。

教程

7 分钟

如何将 CrawlForge 与 Dify 工作流结合使用

在 Dify 中将 CrawlForge 添加为自定义工具,让你的 LLM 应用工作流具备 web scraping 能力。附带工作流示例的无代码与 API 集成指南,从 OpenAPI schema 导入到工作流调用几分钟完成。