如何在 Zed AI 中使用 CrawlForge MCP 进行网页抓取

Zed 很快。Zed AI 很强大。但 Zed AI 看不到网络——除非你接入一个 MCP server。CrawlForge 提供 20 个 scraping 工具，Zed AI 可以直接从 Assistant 面板调用它们。

// ~/.config/zed/settings.json
{
  "context_servers": {
    "crawlforge": {
      "command": { "path": "crawlforge-mcp-server" },
      "settings": { "CRAWLFORGE_API_KEY": "cf_live_your_key" }
    }
  }
}

本指南将带你走完在 Zed AI 中抓取网站的每一步，附带真实代码和完整的故障排查章节。

目录

• 为什么在 Zed AI 中做 web scraping 很重要
• 前置条件
• 步骤 1：安装 CrawlForge MCP
• 步骤 2：配置 Zed 的 Context Server
• 步骤 3：重启 Zed 并验证
• 步骤 4：从 Assistant 发起第一次抓取
• 完整可用示例：抓取一份 API 参考文档
• 进阶：stealth 与结构化提取
• 故障排查
• 常见问题

为什么在 Zed AI 中做 web scraping 很重要

Zed AI 就在编辑器里。当你不离开 Assistant 就能在 Zed AI 中抓取网站时，下面这些模式就变得很廉价：

• 阅读第三方 SDK 的文档，然后按你项目的风格生成一个 wrapper。
• 抓取竞品的博客文章，然后总结其架构决策。
• 拉取一份 sitemap，然后标记出你的 crawler 还没访问过的页面。

Zed 的 MCP 支持（在设置中称为 "Context Servers"）于 2024 年推出，使用与 Claude Desktop 和 Cursor 相同的开放协议。CrawlForge 通过 MCP 暴露 20 个 scraping 工具，因此它们会出现在 Zed 的斜杠命令菜单中，无需任何胶水代码。关于协议背景，请参阅我们的 MCP 协议讲解。

前置条件

• Zed 0.148+ —— 从 zed.dev 下载
• Node.js 18+
• CrawlForge 账户 —— 在 crawlforge.dev/signup 免费注册，含 1,000 credits

步骤 1：安装 CrawlForge MCP

npm install -g crawlforge-mcp-server
crawlforge-mcp-server --version
# crawlforge-mcp-server 4.8.1

步骤 2：配置 Zed 的 Context Server

用 Cmd+,（macOS）或 Ctrl+,（Linux/Windows）打开 Zed 设置。Zed 设置位于 ~/.config/zed/settings.json。添加一个 context_servers 区块：

{
  "context_servers": {
    "crawlforge": {
      "command": {
        "path": "crawlforge-mcp-server",
        "args": [],
        "env": {
          "CRAWLFORGE_API_KEY": "cf_live_your_key_here"
        }
      }
    }
  }
}

把 cf_live_your_key_here 替换为 crawlforge.dev/dashboard/api-keys 中的 key。

步骤 3：重启 Zed 并验证

1. 完全退出 Zed（Cmd+Q）。
2. 重新打开并打开 Assistant 面板（Cmd+?）。
3. 在 Assistant 提示框中输入 /。你应当在建议列表中看到 CrawlForge 工具：/fetch_url、/scrape_structured、/search_web 等等。

步骤 4：从 Assistant 发起第一次抓取

在 Assistant 面板中，试试：

Zed 调用 fetch_url（1 credit），将 HTML 流式返回，然后 Zed AI 提取标题。响应会内联显示在 Assistant 面板中，随时可以粘贴到 buffer 里。

完整可用示例：抓取一份 API 参考文档

假设你正在集成 Stripe API，想要把完整的 PaymentIntent 字段列表生成为 TypeScript。粘贴这个提示：

Zed 在底层发出这个调用：

// What Zed AI sends to CrawlForge
const response = await fetch('https://crawlforge.dev/api/v1/tools/extract_content', {
  method: 'POST',
  headers: {
    'Authorization': `Bearer ${process.env.CRAWLFORGE_API_KEY}`,
    'Content-Type': 'application/json',
  },
  body: JSON.stringify({
    url: 'https://docs.stripe.com/api/payment_intents/object',
    options: { format: 'markdown' },
  }),
});

const { content } = await response.json();
// content is clean markdown of the PaymentIntent object

成本：2 credits。Zed AI 读取这份 markdown 并生成：

// types/stripe-payment-intent.ts
export interface StripePaymentIntent {
  id: string;
  object: 'payment_intent';
  amount: number;
  amount_capturable: number;
  amount_received: number;
  application: string | null;
  application_fee_amount: number | null;
  automatic_payment_methods: {
    enabled: boolean;
    allow_redirects?: 'always' | 'never';
  } | null;
  canceled_at: number | null;
  cancellation_reason: string | null;
  capture_method: 'automatic' | 'automatic_async' | 'manual';
  client_secret: string;
  confirmation_method: 'automatic' | 'manual';
  created: number;
  currency: string;
  customer: string | null;
  // ... remaining fields omitted for brevity
}

把它粘贴到 buffer 里，几秒钟内你就拥有了类型安全的 Stripe 集成。

进阶：stealth 与结构化提取

撞上了 Cloudflare 墙？ 把 fetch_url 换成 stealth_mode：

成本从 1 credit 升至 5 credits，但能绕过大多数反爬虫系统。

想要 CSS 选择器级的精度？ 使用 scrape_structured：

Zed AI 返回一个带类型的数组。每次运行 2 credits。

credits 参考

故障排查

斜杠菜单中缺少工具 —— Context server 配置未加载。检查 ~/.config/zed/logs/Zed.log 中是否有 context_servers 解析错误。JSON 中的尾随逗号会静默地禁用整个区块。

"Failed to spawn crawlforge-mcp-server" —— Zed 找不到二进制文件。把 "path": "crawlforge-mcp-server" 替换为 which crawlforge-mcp-server 给出的绝对路径，例如 "path": "/usr/local/bin/crawlforge-mcp-server"。

每次调用都返回 401 Unauthorized —— API key 错误或未设置。用 curl -H "Authorization: Bearer $CRAWLFORGE_API_KEY" https://crawlforge.dev/api/v1/credits/balance 进行验证。预期的响应会包含你剩余的 credits。

Assistant 选错了工具 —— 显式指定它："Use CrawlForge's scrape_structured..." 而不是 "scrape this page."。当意图不明确时，Zed AI 默认选择最便宜的匹配项。

Zed 在长时间抓取时卡住 —— 深度研究可能运行 60 秒以上。Zed 会显示一个加载图标，但输入仍然有响应；请等待其完成，而不是取消。

后续步骤

• 探索你可以从 Zed 调用的 全部 20 个 CrawlForge 工具
• 阅读 完整的 MCP web scraping 指南 了解架构模式
• 查看 快速上手文档 获取 API 参考
• 如果你正在评估供应商，可与 Firecrawl 替代方案 进行对比

在 crawlforge.dev/signup 免费开始——1,000 credits，无需信用卡。