本页内容
Zed 很快。Zed AI 很强大。但 Zed AI 看不到网络——除非你接入一个 MCP server。CrawlForge 提供 20 个 scraping 工具,Zed AI 可以直接从 Assistant 面板调用它们。
本指南将带你走完在 Zed AI 中抓取网站的每一步,附带真实代码和完整的故障排查章节。
目录
- 为什么在 Zed AI 中做 web scraping 很重要
- 前置条件
- 步骤 1:安装 CrawlForge MCP
- 步骤 2:配置 Zed 的 Context Server
- 步骤 3:重启 Zed 并验证
- 步骤 4:从 Assistant 发起第一次抓取
- 完整可用示例:抓取一份 API 参考文档
- 进阶:stealth 与结构化提取
- 故障排查
- 常见问题
为什么在 Zed AI 中做 web scraping 很重要
Zed AI 就在编辑器里。当你不离开 Assistant 就能在 Zed AI 中抓取网站时,下面这些模式就变得很廉价:
- 阅读第三方 SDK 的文档,然后按你项目的风格生成一个 wrapper。
- 抓取竞品的博客文章,然后总结其架构决策。
- 拉取一份 sitemap,然后标记出你的 crawler 还没访问过的页面。
Zed 的 MCP 支持(在设置中称为 "Context Servers")于 2024 年推出,使用与 Claude Desktop 和 Cursor 相同的开放协议。CrawlForge 通过 MCP 暴露 20 个 scraping 工具,因此它们会出现在 Zed 的斜杠命令菜单中,无需任何胶水代码。关于协议背景,请参阅我们的 MCP 协议讲解。
前置条件
- Zed 0.148+ —— 从 zed.dev 下载
- Node.js 18+
- CrawlForge 账户 —— 在 crawlforge.dev/signup 免费注册,含 1,000 credits
步骤 1:安装 CrawlForge MCP
步骤 2:配置 Zed 的 Context Server
用 Cmd+,(macOS)或 Ctrl+,(Linux/Windows)打开 Zed 设置。Zed 设置位于 ~/.config/zed/settings.json。添加一个 context_servers 区块:
把 cf_live_your_key_here 替换为 crawlforge.dev/dashboard/api-keys 中的 key。
步骤 3:重启 Zed 并验证
- 完全退出 Zed(
Cmd+Q)。 - 重新打开并打开 Assistant 面板(
Cmd+?)。 - 在 Assistant 提示框中输入
/。你应当在建议列表中看到 CrawlForge 工具:/fetch_url、/scrape_structured、/search_web等等。
步骤 4:从 Assistant 发起第一次抓取
在 Assistant 面板中,试试:
Use CrawlForge to fetch https://news.ycombinator.com and return the top 5 story titles.
Zed 调用 fetch_url(1 credit),将 HTML 流式返回,然后 Zed AI 提取标题。响应会内联显示在 Assistant 面板中,随时可以粘贴到 buffer 里。
完整可用示例:抓取一份 API 参考文档
假设你正在集成 Stripe API,想要把完整的 PaymentIntent 字段列表生成为 TypeScript。粘贴这个提示:
Use CrawlForge's extract_content on https://docs.stripe.com/api/payment_intents/object.
Then write a TypeScript interface that matches every documented field.
Zed 在底层发出这个调用:
成本:2 credits。Zed AI 读取这份 markdown 并生成:
把它粘贴到 buffer 里,几秒钟内你就拥有了类型安全的 Stripe 集成。
进阶:stealth 与结构化提取
撞上了 Cloudflare 墙? 把 fetch_url 换成 stealth_mode:
Use CrawlForge's stealth_mode on https://locked-down-site.example.com and return the main article text.
成本从 1 credit 升至 5 credits,但能绕过大多数反爬虫系统。
想要 CSS 选择器级的精度? 使用 scrape_structured:
Use scrape_structured on https://ycombinator.com/companies with:
- name: .company-name
- batch: .batch-tag
- description: .company-description
Zed AI 返回一个带类型的数组。每次运行 2 credits。
credits 参考
| 工具 | Credits | 何时使用 |
|---|---|---|
fetch_url | 1 | 静态 HTML |
extract_content | 2 | 可读的文章 / 文档 |
scrape_structured | 2 | CSS 选择器字段 |
search_web | 5 | URL 未知 |
stealth_mode | 5 | 反爬虫保护 |
scrape_with_actions | 5 | 带交互的 SPA |
deep_research | 10 | 多来源综合 |
故障排查
斜杠菜单中缺少工具 —— Context server 配置未加载。检查 ~/.config/zed/logs/Zed.log 中是否有 context_servers 解析错误。JSON 中的尾随逗号会静默地禁用整个区块。
"Failed to spawn crawlforge-mcp-server" —— Zed 找不到二进制文件。把 "path": "crawlforge-mcp-server" 替换为 which crawlforge-mcp-server 给出的绝对路径,例如 "path": "/usr/local/bin/crawlforge-mcp-server"。
每次调用都返回 401 Unauthorized —— API key 错误或未设置。用 curl -H "Authorization: Bearer $CRAWLFORGE_API_KEY" https://crawlforge.dev/api/v1/credits/balance 进行验证。预期的响应会包含你剩余的 credits。
Assistant 选错了工具 —— 显式指定它:"Use CrawlForge's scrape_structured..." 而不是 "scrape this page."。当意图不明确时,Zed AI 默认选择最便宜的匹配项。
Zed 在长时间抓取时卡住 —— 深度研究可能运行 60 秒以上。Zed 会显示一个加载图标,但输入仍然有响应;请等待其完成,而不是取消。
后续步骤
- 探索你可以从 Zed 调用的 全部 20 个 CrawlForge 工具
- 阅读 完整的 MCP web scraping 指南 了解架构模式
- 查看 快速上手文档 获取 API 参考
- 如果你正在评估供应商,可与 Firecrawl 替代方案 进行对比
在 crawlforge.dev/signup 免费开始——1,000 credits,无需信用卡。