面临的问题
电商团队每天需要监控数百个产品页面上的竞争对手定价。人工核查难以规模化,而传统抓取程序在网站更新布局后便会失效。
应用案例
01快速解答
用 CrawlForge batch_scrape(5 credits)并行抓取数百个竞争对手产品 URL 的价格与库存,再用 track_changes(3 credits)自动标记每一次价格或库存变动。竞争对手一有动作您就会收到提醒,而无需手动逐页复查——每日一次的扫描在 Hobby 或 Professional 套餐内即可轻松完成。
02问题与方案
电商团队每天需要监控数百个产品页面上的竞争对手定价。人工核查难以规模化,而传统抓取程序在网站更新布局后便会失效。
CrawlForge 的 batch_scrape 可并行处理数百个 URL,track_changes 则会自动检测价格与库存变化。当竞争对手调整定价时,你将收到提醒。
03代码
1// Monitor competitor prices across product pages2const products = await mcp.batch_scrape({3 urls: [4 "https://competitor-a.com/product/widget-pro",5 "https://competitor-b.com/products/widget-pro",6 "https://competitor-c.com/shop/widget-pro",7 ],8 selectors: {9 price: ".product-price",10 availability: ".stock-status",11 title: "h1.product-title",12 },13});14 15// Track changes since last check16const changes = await mcp.track_changes({17 url: "https://competitor-a.com/product/widget-pro",18 selectors: [".product-price", ".stock-status"],19});20 21console.log(changes.diff);04工具链
05常见问题
04
使用 CrawlForge 的 batch_scrape 并行抓取数百个 URL,再用 track_changes 监控每个页面并自动标记价格或库存的变动。你会在发生变化时收到提醒,而不必手动逐一复查页面。
比脆弱的 CSS 爬虫失效的几率要低得多。scrape_structured 针对稳定的选择器进行抓取,extract_content 则回退到可读性提取,因此细微的布局改动不会悄无声息地破坏你的数据源。即便某个选择器确实发生了偏移,也只需更新那一个模板。
batch_scrape 每次调用 5 credits,track_changes 为 3 credits。每天对几百个商品做一次扫描,通常都能舒适地控制在 Hobby 或 Professional 套餐的每月 credit 额度之内。
可以。track_changes 会为每个页面保存一个基线,并按计划报告差异,因此只有当价格或库存状态确实发生变化时你才会收到通知——而不是每次抓取都提醒。