跳到正文

CrawlForge Team工程团队

阅读时长 4 分钟

面向代理公司的市场调研 API:一套配置,服务所有客户

代理公司的调研难题,很少是一个难回答的问题。它是同样那几个问题,每个客户、每个月都要问一遍;再加上每次新业务团队要在周四前交比稿方案时,都得重新摸一遍市场。

一个面向代理公司的市场调研 API,就得为这种重复而设计:一套配置跑完整个客户名单,成本能按客户拆分,还能在拿下客户之前,对潜在客户先做一轮快速调研。CrawlForge 就是做这件事的网页数据层。它读取你指定的公开网页和搜索结果,并返回上面写了什么。它不是市场规模数据库,也不是联系人数据库。

每月的客户报告需要什么?

对大多数代理公司来说,每个客户需要两样东西:客户在关键搜索词上相对竞争对手的排名,以及这些竞争对手在自己网站上改了什么。两者都是公开信息,每个月都在变,而且都不在任何可以按行购买授权的数据集里。

两个调用就能覆盖:

  • serp_rank(5 个 credits)返回某个域名在某个关键词下的 Google 自然排名,按你为每个客户设置的 location_name、language_code 和 device 查询。响应包含 found、rank、排名所在的 url 和 checked_at。
  • 带 question 格式的 scrape(3 个 credits)原文返回竞争对手页面上最能回答你问题的五个句子,每句都带偏移量。面向 RevOps 的那篇文章讲了这个格式的行为;在这里,它只是模板里的一行。

怎样用一套模板跑完所有客户?

把每个客户特有的东西都放进数据,而不是代码。每个客户就是一份小配置:域名、市场、关键词、竞争对手,以及你要向对方页面提出的问题。

Json
{
  "client": "Northwind",
  "domain": "northwind.co.uk",
  "location_name": "United Kingdom",
  "device": "mobile",
  "keywords": ["office cleaning contracts", "commercial cleaning manchester"],
  "competitors": ["rival-a.co.uk", "rival-b.co.uk", "rival-c.co.uk"],
  "pages": ["https://rival-a.co.uk/pricing", "https://rival-b.co.uk/services"],
  "questions": ["What is the minimum contract length?"]
}

然后用一个工作流遍历整个客户名单。每个关键词,为客户调用一次 serp_rank,再为每个竞争对手各调用一次,因为一次调用只定位一个域名。每个竞争对手页面,每个问题运行一次 scrape。

Bash
curl -X POST https://crawlforge.dev/api/v1/tools/serp_rank \
  -H "X-API-Key: cf_live_NORTHWIND_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "keyword": "office cleaning contracts",
    "target": "northwind.co.uk",
    "location_name": "United Kingdom",
    "device": "mobile"
  }'

在 n8n 里,这个循环就是一个读取配置的节点,后面接两个 HTTP Request 节点(n8n 的配置方法见文档);写成脚本就是两层嵌套循环。第十三个客户只是一份新的配置文件,而不是一个新的工作流。

给每个客户单独建一个命名的 API 密钥,请求日志就会按客户拆分当月的花费,面向顾问的那篇文章有详细步骤。一个账户最多十个密钥,所以客户超过十个时,就按服务费档位分组。

比稿之前,怎样调研潜在客户?

先跑一次 deep_research,10 个 credits。告诉它潜在客户的品类和市场,它会搜索、抓取最多十个来源,原文返回最匹配的段落,并附上 sources 网址列表。然后再对潜在客户最明显的三个关键词跑 serp_rank,多花 15 个 credits。

每个潜在客户 25 个 credits,按额度包价格算不到 0.1 美元,而方案里就多了一页“你今天排在哪里”。这一页往往是对话的开场;比稿没拿下,它也几乎没花什么钱。

一个客户名单每月花多少钱?

十二个客户,每个客户五个关键词、三个竞争对手、六个竞争对手页面,每个页面两个问题:

项目调用次数Credits
排名查询:5 个关键词 × 4 个域名 × 12 个客户2401,200
竞品页面:6 个页面 × 2 个问题 × 12 个客户144432
四个比稿潜在客户16100
每月合计1,732

按一次性 5,000 credits 额度包($14)的价格算,大约每月 $5,不按席位收费,也没有每月最低消费。排名查询是最贵的一项,因为它是关键词数乘以域名数,所以先从排名循环里减竞争对手,再考虑减关键词。

它不会做什么?

  • 不做市场规模测算。 没有 TAM、样本组或问卷数据。如果方案需要市场规模数字,请从行业报告里找。
  • 没有联系人或企业属性(firmographic)数据。 它读取的是网页和搜索结果,不是企业数据库。
  • 没有客户门户。 没有白标仪表盘;报告就是你用这些数据行搭出来的东西。
  • 默认遵守 robots.txt,适用于你抓取的页面。被禁止的页面会在抓取之前被拒绝,不收费。

如果客户希望竞争对手页面一变就收到通知,而不是等到月底在报告里读到,那需要的是每个客户一个监控,而不是更频繁地跑这套流程。

免费开始,送 1,000 个 credits。足够让这套模板为七个客户跑一个月,再接入整个客户名单。

亲自试一试——无需注册

在 Playground 中探索全部 31 个 CrawlForge 抓取与提取工具,然后免费开始,获取 1,000 credits。

1,000 免费 credits • 一次性 • 无需信用卡

标签

  • agencies
  • market research
  • serp_rank
  • scrape
  • deep_research
  • b2b

关于作者

CrawlForge Team

工程团队

我们正在打造功能最全面的 Web 抓取 MCP server。我们开发的工具帮助开发者为 AI 应用提取、分析和转换 Web 数据。

邮件订阅

及时获取最新洞察

将教程、产品更新与 Web 抓取技巧直接发送到你的收件箱。

拒绝垃圾邮件,随时可取消订阅。

FAQ

常见问题

01CrawlForge 是面向代理公司的市场调研数据提供商吗?

不是。它不包含市场规模估算、样本组、问卷数据、企业属性(firmographic)数据或联系人记录。它读取你指定的公开网页和 Google 搜索结果,返回上面写的内容,并附上网址和时间戳。对代理公司来说,它是填充客户报告中排名和竞品这些固定板块的数据层,可以和你已经购买授权的第三方数据一起使用。

02serp_rank 能查客户在本国、在移动端的排名吗?

可以。每次调用传入一个关键词和一个目标域名,再加上 location_name(例如 'United Kingdom' 或 'London,England,United Kingdom')或数字 location_code、language_code,以及取值为 desktop 或 mobile 的 device。它扫描 10 到 200 条结果(默认 100),返回 found、rank、排名所在的 URL、该域名占据的所有位置以及 checked_at。上游查询失败不收费。

03怎样把每个客户的花费分开?

为每个客户建一个命名的 API 密钥,这个客户的所有调用都用它。每次调用都会在请求日志里写一行,记录密钥、工具、目标网址和扣除的 credits;日志可以按密钥筛选并导出为 CSV。一个账户最多十个密钥,所以客户更多的代理公司可以按服务费档位分组,其余的按目标域名筛选。

04可以在 n8n 或 Make 里跑这套模板吗?

可以。每个工具都是一个普通的 POST 接口,用 X-API-Key 请求头认证,所以 n8n 的 HTTP Request 节点,或者 Make、Zapier 里对应的模块,都可以在遍历客户配置的循环里调用它。走 REST 这条路不需要自己部署任何东西。

05为客户跑这套流程需要订阅月度套餐吗?

不需要。免费额度是一次性的 1,000 个 credits,足够让本文的模板为大约七个客户跑一个月。之后,一次性额度包 1,000 credits 为 $3,5,000 credits 为 $14,所以每月花 1,700 credits 的客户名单可以按需充值。如果代理公司更想要每月固定额度,也有付费套餐。

继续阅读

相关文章