面临的问题
竞争对手网站会通过验证码、限速和机器人检测主动屏蔽抓取程序。从受保护的网站获取可靠、结构化的数据，需要昂贵的代理基础设施和持续的维护。
应用案例
借助隐身浏览与结构化提取，低调收集竞争对手数据。持续观察其定价、宣传口径与新品发布，不触发反爬机制。
预估费用：每个受保护页面约 7 credits
01快速解答
用 CrawlForge stealth_mode（5 credits）在指纹随机化的真实浏览器中渲染，通过速率限制和机器人检测，再用 scrape_structured（2 credits）将选择器映射为带类型的 JSON——产品名称、价格、规格。您可以按计划监控受保护的竞争对手页面，而无需自行运营浏览器基础设施。
02问题与方案
解决方案
CrawlForge 的 stealth_mode 在带指纹轮换的真实浏览器中渲染，以通过常见的反爬系统。再搭配 scrape_structured，即可实现干净、基于 schema 的数据提取。
03代码
代码示例
competitive-intelligence.js
// Gather competitor data through anti-bot protectionsconst page = await mcp.stealth_mode({ url: "https://competitor.com/pricing", stealthConfig: { level: "advanced", randomizeFingerprint: true },}); // Extract structured pricing dataconst pricing = await mcp.scrape_structured({ url: "https://competitor.com/pricing", schema: { plans: [{ name: "string", price: "string", features: ["string"], }], },}); console.log(pricing.plans);04工具链
使用的工具
7◆ credits
预估费用：每个受保护页面约 7 credits
- https://…
- 01stealth_
mode 5 credits - 02scrape_
structured 2 credits - JSON · markdown
05常见问题
常见问题
01如何爬取那些屏蔽机器人的竞争对手网站？
使用 CrawlForge 的 stealth_mode，它会在真实浏览器中渲染并随机化指纹，从而通过速率限制和机器人检测。将它与 scrape_structured 结合，即可从这些受保护的页面中返回干净的、基于 schema 的数据。
02隐身爬取的可靠性足以支撑持续监控吗？
足够。stealth_mode 会替你处理浏览器和指纹伪装，并在你自备的代理之间轮换，因此你可以按计划监控受保护的竞争对手页面，而无需自行搭建浏览器基础设施。再搭配 track_changes，就能盯住产品发布或价格调整。
03stealth_mode 每次请求的成本是多少？
stealth_mode 每次请求为 5 credits，因为它会运行一个完整的浏览器并轮换代理和指纹。请把它留给那些确实会屏蔽标准抓取的网站，对于开放页面则使用更便宜的工具，比如 1 credit 的 fetch_url。
04我能从竞争对手的页面提取结构化数据吗？
可以。scrape_structured 为 2 credits，它将 CSS 选择器映射到字段，让你得到带类型的 JSON——产品名称、价格、规格——而不是原始的 HTML。若想在不使用选择器的情况下进行 AI 驱动的提取，可使用 3 credits 的 extract_structured。