本页内容
Make 和 Zapier 无需编码即可把成千上万个应用连接在一起。CrawlForge 的 REST API 通过它们的 HTTP/webhook 模块原生对接这两个平台,让你构建按计划、按事件或按需触发的自动化抓取工作流。
本指南覆盖这两个平台,并针对最常见的自动化模式给出分步示例。
目录
- 为什么要自动化网页抓取?
- 前置条件
- 在 Make 中设置 CrawlForge
- 在 Zapier 中设置 CrawlForge
- 自动化 1:每日竞争对手价格监控
- 自动化 2:新内容告警流水线
- 自动化 3:线索增强工作流
- credits 成本参考
- Make 与 Zapier 用于 CrawlForge 的对比
- 后续步骤
为什么要自动化网页抓取?
手动抓取适合一次性任务。但反复出现的需求——监控竞争对手价格、追踪内容变化、增强线索数据——则需要自动化。Make 和 Zapier 让你定时调度 CrawlForge 的工具调用,把结果路由到电子表格、Slack、邮件或数据库,并让一切自动运行。
一个典型的配置:CrawlForge 每天抓取一个定价页面(2 credits),一个 Make 场景把结果与昨天的数据对比,如果价格发生变化,就用一条 Slack 消息提醒团队。总成本:每天 2 credits,每月约 60 credits。
前置条件
- 一个 Make 或 Zapier 账号(均有免费层)
- 一个带 API key 的 CrawlForge 账号(赠送 1,000 免费 credits)
- 对可视化自动化构建器有基本了解
在 Make 中设置 CrawlForge
Make 使用 HTTP 模块来调用任意 REST API。以下是配置一次 CrawlForge 工具调用的方法:
- 在 Make 中创建一个新的 Scenario
- 添加一个 HTTP > Make a request 模块
- 配置该模块:
在 Make 的可视化编辑器中:
- URL:
https://crawlforge.dev/api/v1/tools/extract_content - Method:POST
- Headers:添加
Authorization: Bearer cf_live_your_key_here - Body:包含工具参数的 JSON
把它保存为可复用的模块模板供其他 CrawlForge 工具使用——不同工具之间只需更改 URL 路径和请求体。
在 Zapier 中设置 CrawlForge
Zapier 使用 Webhooks by Zapier 动作(付费计划可用)或 Code by Zapier 来调用 API:
- 创建一个新的 Zap
- 设置你的触发器(Schedule、Gmail、Slack 等)
- 添加动作:Webhooks by Zapier > Custom Request
- 配置:
或者,使用 Code by Zapier(JavaScript)以获得更精细的控制:
自动化 1:每日竞争对手价格监控
目标:每天追踪竞争对手的定价页面,把结果存入 Google Sheets,并在发生变化时告警。
Make Scenario
Zapier Zap
自动化 2:新内容告警流水线
目标:每天搜索关于你所在行业的新文章,并获得一份摘要。
自动化 3:线索增强工作流
目标:当一个新线索进入你的 CRM 时,抓取其公司网站以获取背景信息。
credits 成本参考
| Credits | 工具 | 最佳自动化用例 |
|---|---|---|
| 1 | fetch_url, extract_text, extract_links, extract_metadata | 轻量触发器、线索增强 |
| 2 | scrape_structured, extract_content, map_site, process_document, localization | 价格监控、内容提取、站点审计 |
| 3 | track_changes, analyze_content | 变化追踪、内容分析 |
| 4 | summarize_content, crawl_deep | 摘要、多页抓取 |
| 5 | search_web, batch_scrape, scrape_with_actions, stealth_mode | 研究流水线、批量抓取 |
| 10 | deep_research | 全面市场调研 |
常见自动化的每月 credit 预估:
- 每日价格监控(1 个竞争对手):约 60 credits/月
- 每日内容摘要:约 330 credits/月
- 线索增强(每月 50 个线索):约 150 credits/月
Make 与 Zapier 用于 CrawlForge 的对比
| 特性 | Make | Zapier |
|---|---|---|
| HTTP 模块 | 免费计划即含 | 需付费计划(Webhooks) |
| 迭代/循环 | 原生 iterator 模块 | 需 Looping 附加组件 |
| 错误处理 | 内置错误路由 | 仅基础重试 |
| 定价 | 1 万次操作起 $9/月 | 750 个任务起 $19.99/月 |
| 最适合 | 复杂的多步抓取工作流 | 简单的触发-动作自动化 |
| 数据转换 | 原生 JSON/数组处理 | 需 Code 步骤 |
建议:对于涉及循环、错误处理或复杂数据转换的 CrawlForge 自动化,使用 Make。对于以易于配置为重的简单触发-动作模式,使用 Zapier。
后续步骤
- Make HTTP 模块文档 —— 详细的 Make 配置指南
- Zapier Webhooks 文档 —— Zapier 自定义请求指南
- CrawlForge API 参考 —— 全部 20 个工具端点及参数
- CrawlForge 定价 —— 面向自动化负载的 credit 计划
今天就开始自动化你的网页抓取。 获取免费 API key,赠送 1,000 credits,把 CrawlForge 接入 Make 或 Zapier,几分钟内构建你的第一个自动化抓取工作流。