本页内容
Vercel AI SDK 为你提供一个统一接口，可从任意框架——Next.js、SvelteKit、Nuxt 或纯 Node——调用 LLM。CrawlForge 则通过 20 个专用 scraping 工具让你的 LLM 获得实时网页数据访问能力。两者结合，你便能构建可以实时搜索、抓取、提取和分析网页内容的 AI 应用。
本教程向你展示如何用 Vercel AI SDK 的 tool() API 注册 CrawlForge 工具，让你的 AI 能像生成文本一样自然地抓取网络。
目录
- 前置条件
- 工作原理：Vercel AI SDK 中的工具
- 步骤 1：创建 CrawlForge 工具 wrapper
- 步骤 2：用 generateText 注册工具
- 步骤 3：构建带网页访问的流式聊天
- 进阶：多工具研究 agent
- credits 成本明细
- 最佳实践
- 后续步骤
前置条件
在 crawlforge.dev/signup 获取你的 CrawlForge API key——含 1,000 个免费 credits。
工作原理：Vercel AI SDK 中的工具
Vercel AI SDK 让你定义 工具，LLM 可在对话过程中调用它们。每个工具都有名称、描述、参数 schema（使用 Zod）以及一个 execute 函数。LLM 读取工具描述，决定何时调用它们，并将结果整合进自己的回复中。
CrawlForge 的 REST API 完美契合这一模式：20 个工具 中的每一个都成为一个带类型参数的可调用函数。
步骤 1：创建 CrawlForge 工具 wrapper
首先，构建一个可复用的 helper，用于调用任意 CrawlForge endpoint：
步骤 2：用 generateText 注册工具
现在用 Vercel AI SDK 的 tool() 函数注册 CrawlForge 工具：
当 LLM 遇到需要网页数据的问题时，它会自动调用合适的 CrawlForge 工具，接收结果，并将其整合进回复。无需手动编排。
步骤 3：构建带网页访问的流式聊天
要获得实时聊天体验，使用 streamText 而非 generateText：
maxSteps: 5 参数允许 LLM 串联多次工具调用；例如，先在网络上搜索，然后从排名靠前的结果中提取内容。
前端组件
进阶：多工具研究 agent
组合多个 CrawlForge 工具，实现更深入的研究工作流：
这个 agent 会执行以下操作：
- 在 Google 上搜索相关文章（5 credits）
- 从排名靠前的结果中提取内容（每个 2 credits）
- 分析内容以提取主题（每个 3 credits）
一次 3 来源研究的总成本：约 20 credits。
credits 成本明细
| 工具 | Credits | 最适合 |
|---|---|---|
| fetch_url | 1 | 抓取原始 HTML |
| extract_text | 1 | 提取干净文本 |
| extract_links | 1 | 发现链接 |
| extract_metadata | 1 | 页面元数据（标题、OG 标签） |
| extract_content | 2 | 提取可读内容 |
| scrape_structured | 2 | 基于 CSS 选择器的数据提取 |
| summarize_content | 2 | 文本摘要 |
| analyze_content | 3 | 主题与情感分析 |
| search_web | 5 | Google 搜索结果 |
| deep_research | 10 | 带引用的多来源研究 |
查看 完整定价明细 了解全部 20 个工具。
最佳实践
尽量减少 credits 使用。 当你只需要一个页面时，用 extract_content（2 credits）而非 deep_research（10 credits）。工具描述会引导 LLM 选择能满足查询的最便宜选项。
谨慎设置 maxSteps。 更高的 maxSteps 值允许每次回复进行更多工具调用，但会消耗更多 credits。从 3-5 开始，只有在 LLM 持续需要更多时才调高。
缓存频繁访问的页面。 如果你的应用反复抓取同一个 URL，把 CrawlForge 的响应缓存到 Redis 或数据库中，而不是每次都重新抓取。
使用 Zod 描述。 Zod 参数中的 .describe() 字符串能帮助 LLM 理解应当传入什么值。要具体："完整的 URL，包含 https://" 比 "URL" 更好。
后续步骤
现在你已经拥有一个带实时网页访问的 Vercel AI SDK 应用。从这里继续扩展：
- 按需添加其余的 20 个 CrawlForge 工具
- 为带反爬虫保护的网站实现 stealth 模式
- 构建一个 深度研究 agent 用于自动化市场分析
- 查看 CrawlForge 快速上手指南 配置 MCP 客户端
构建能看见网络的 AI 应用。 用 1,000 credits 免费开始，无需信用卡。
