跳到正文

CrawlForge Team工程团队

阅读时长 9 分钟更新于

用 AI agent 实现实时竞争情报

你的竞争对手上周二改了定价页面。他们周四发布了一个新功能。他们的 CEO 周五发了一篇博客文章,把矛头对准你的产品。而这一切你直到下周一才知道——还是从一位正在评估替代方案的客户那里听说的。

实时竞争情报消除了这个盲点。借助 CrawlForge 和 Claude,你可以构建一个 AI agent,持续监控竞争对手的动态、提取结构化洞察,并在竞争对手的变化影响你的销售管道之前交付可付诸行动的情报。

目录

什么是竞争情报自动化

竞争情报(CI)自动化是指使用软件系统化地收集、分析和报告竞争对手的活动,而无需人工干预。与依赖分析师调研的传统竞争情报不同,自动化竞争情报持续运行,并在变化发生的当下就捕捉到它们。

一个构建良好的竞争情报系统会追踪五类竞争对手活动:

类别追踪什么为什么重要
定价套餐变更、新层级、折扣直接影响营收
产品功能发布、changelog 更新竞争定位
内容博客文章、案例研究、白皮书信息传达与策略
招聘按部门划分的招聘启事投资优先级
合作集成页面、新闻稿生态扩张

CrawlForge 最适合做竞争情报,因为它在单个 MCP server 中结合了深度爬取、变化追踪和 AI 驱动的分析——无需把 5 个不同的工具拼凑起来。

架构概览

这个竞争情报系统使用六个 CrawlForge 工具:

组件工具Credits作用
站点映射map_site3发现竞争对手的所有页面
变化检测track_changes3监控页面的修改
内容提取extract_content2获取文章的干净文本
内容分析analyze_content3情感与主题提取
深度研究deep_research10多来源情报收集
报告生成summarize_content2创建执行摘要

步骤 1:定义你的情报目标

为你想监控的竞争对手和页面创建一个结构化配置。

Typescript
import { Client } from '@modelcontextprotocol/sdk/client/index.js';

const client = new Client({
  name: 'competitive-intel',
  version: '1.0.0',
});

interface CompetitorTarget {
  name: string;
  domain: string;
  pages: {
    pricing: string;
    changelog: string;
    blog: string;
    careers: string;
    integrations: string;
  };
  keywords: string[]; // Track mentions of these terms
}

const competitors: CompetitorTarget[] = [
  {
    name: 'Firecrawl',
    domain: 'firecrawl.dev',
    pages: {
      pricing: 'https://www.firecrawl.dev/pricing',
      changelog: 'https://www.firecrawl.dev/changelog',
      blog: 'https://www.firecrawl.dev/blog',
      careers: 'https://www.firecrawl.dev/careers',
      integrations: 'https://www.firecrawl.dev/integrations',
    },
    keywords: ['mcp', 'claude', 'scraping', 'api'],
  },
  {
    name: 'Apify',
    domain: 'apify.com',
    pages: {
      pricing: 'https://apify.com/pricing',
      changelog: 'https://apify.com/change-log',
      blog: 'https://blog.apify.com',
      careers: 'https://apify.com/jobs',
      integrations: 'https://apify.com/integrations',
    },
    keywords: ['web scraping', 'automation', 'ai', 'mcp'],
  },
];

步骤 2:监控网站变化

用 track_changes 设置持续监控,以检测竞争对手关键页面上的任何修改。

Typescript
interface ChangeAlert {
  competitor: string;
  page: string;
  significance: string;
  changes: string[];
  detectedAt: string;
}

async function monitorCompetitorPages(
  competitor: CompetitorTarget
): Promise<ChangeAlert[]> {
  const alerts: ChangeAlert[] = [];

  for (const [pageType, url] of Object.entries(competitor.pages)) {
    const result = await client.callTool({
      name: 'track_changes',
      arguments: {
        url,
        operation: 'compare',
        trackingOptions: {
          trackText: true,
          trackLinks: true,
          trackStructure: true,
          granularity: 'section',
          significanceThresholds: {
            minor: 0.1,
            moderate: 0.3,
            major: 0.5,
          },
        },
        storageOptions: {
          retainHistory: true,
          maxHistoryEntries: 100,
        },
      },
    });

    const changes = JSON.parse(result.content[0].text);

    if (changes.hasChanges && changes.significance !== 'minor') {
      alerts.push({
        competitor: competitor.name,
        page: pageType,
        significance: changes.significance,
        changes: changes.differences.map(
          (d: { type: string; summary: string }) => `${d.type}: ${d.summary}`
        ),
        detectedAt: new Date().toISOString(),
      });
    }
  }

  return alerts;
}

步骤 3:提取并分析内容

当检测到变化时,提取更新后的内容并对其进行分析,以获取战略洞察。

Typescript
interface ContentInsight {
  url: string;
  topics: string[];
  sentiment: string;
  keyPhrases: string[];
  competitiveAngle: string;
}

async function analyzeCompetitorContent(
  url: string
): Promise<ContentInsight> {
  // Extract clean content
  const extracted = await client.callTool({
    name: 'extract_content',
    arguments: { url },
  });

  const content = JSON.parse(extracted.content[0].text);

  // Analyze for topics, sentiment, and key phrases
  const analysis = await client.callTool({
    name: 'analyze_content',
    arguments: {
      text: content.content,
    },
  });

  const result = JSON.parse(analysis.content[0].text);

  return {
    url,
    topics: result.topics || [],
    sentiment: result.sentiment || 'neutral',
    keyPhrases: result.keyPhrases || [],
    competitiveAngle: result.summary || '',
  };
}

步骤 4:研究竞争对手定位

使用 deep_research 进行超越单一页面的全面情报收集,从新闻文章、社交媒体提及、评测网站等处获取数据。

Typescript
async function researchCompetitor(competitorName: string) {
  const research = await client.callTool({
    name: 'deep_research',
    arguments: {
      topic: `${competitorName} product updates pricing changes 2026`,
      maxDepth: 5,
      maxUrls: 30,
      enableSourceVerification: true,
      enableConflictDetection: true,
      researchApproach: 'focused',
      credibilityThreshold: 0.5,
      sourceTypes: ['news', 'commercial', 'blog'],
    },
  });

  return JSON.parse(research.content[0].text);
}

deep_research 每次调用 10 credits,是最昂贵的工具,但它通过自动查询多个来源、验证可信度并检测矛盾信息,替代了数小时的人工调研。把它用于每周的战略情报,而非日常监控。

步骤 5:生成情报报告

把所有发现汇总成一份简明的执行摘要。

Typescript
async function generateWeeklyReport(
  alerts: ChangeAlert[],
  insights: ContentInsight[],
  research: Record<string, unknown>
) {
  const reportData = {
    period: 'Weekly CI Report',
    date: new Date().toISOString(),
    alerts,
    insights,
    research,
  };

  const summary = await client.callTool({
    name: 'summarize_content',
    arguments: {
      text: JSON.stringify(reportData, null, 2),
    },
  });

  return JSON.parse(summary.content[0].text);
}

// Run the complete CI pipeline
async function runWeeklyIntelligence() {
  const allAlerts: ChangeAlert[] = [];
  const allInsights: ContentInsight[] = [];

  for (const competitor of competitors) {
    // Check for changes
    const alerts = await monitorCompetitorPages(competitor);
    allAlerts.push(...alerts);

    // Analyze changed pages
    for (const alert of alerts) {
      const pageUrl = competitor.pages[
        alert.page as keyof typeof competitor.pages
      ];
      const insight = await analyzeCompetitorContent(pageUrl);
      allInsights.push(insight);
    }

    // Deep research on each competitor
    const research = await researchCompetitor(competitor.name);

    // Generate report
    const report = await generateWeeklyReport(
      allAlerts,
      allInsights,
      research
    );

    console.log(`\n=== ${competitor.name} Intelligence Report ===\n`);
    console.log(report.summary);
  }
}

credits 成本分析

每周监控 3 个竞争对手,各追踪 5 个页面:

操作工具Credits数量每周成本
变化监控track_changes315 个页面45
内容提取extract_content25 个有变化的10
内容分析analyze_content35 次分析15
深度研究deep_research103 份报告30
报告摘要summarize_content23 份报告6
每周合计106 credits
每月合计约 424 credits

对于最多 2 个竞争对手的初步试用,这可纳入 Free 套餐(1,000 个一次性 credits)。Hobby 套餐($19/月,5,000 credits)可从容应对 10 个以上的竞争对手。

成果与收益

一个自动化的竞争情报系统能带来:

  • 检测速度:在 24 小时内而非数周内发现竞争对手的变化
  • 覆盖广度:监控多家公司的 50 多个竞争对手页面
  • 分析深度:AI 驱动的分析提取的是战略洞察,而不仅仅是原始变化
  • 成本效率:用每月不到 $100 的 credits 替代每月 $5,000 到 $10,000 的分析师工时

使用自动化竞争情报的团队反映,他们能更快地做出战略决策,并且对自己的竞争格局了解得更加充分。

常见问题

这与 Google Alerts 有什么不同?

Google Alerts 只能检测公开索引内容的提及,并且有显著的延迟。CrawlForge 实时监控竞争对手的真实页面,检测结构性变化(而不仅仅是新内容),并分析变化的含义,而不仅仅是变化是否存在。

我能追踪登录墙背后的竞争对手吗?

可以。使用 scrape_with_actions 在监控之前自动化登录流程。CrawlForge 会在动作链中保持会话状态,因此你可以访问需要认证的内容。

道德与法律方面的考量呢?

CrawlForge 默认尊重 robots.txt。所有监控目标都是可公开访问的页面。对于竞争情报,请聚焦于竞争对手已选择公开发布的信息:定价页面、博客文章、招聘启事和新闻稿。


今天就开始监控你的竞争对手。 获取 1,000 个免费 credits——足够对 3 个竞争对手进行 2 周的竞争情报。无需信用卡。

相关资源:

亲自试一试——无需注册

在 Playground 中探索全部 31 个 CrawlForge 抓取与提取工具,然后免费开始,获取 1,000 credits。

1,000 免费 credits • 一次性 • 无需信用卡

标签

  • competitive-intelligence
  • ai-agents
  • web-scraping
  • monitoring
  • automation
  • deep-research
  • mcp

关于作者

CrawlForge Team

工程团队

我们正在打造功能最全面的 Web 抓取 MCP server。我们开发的工具帮助开发者为 AI 应用提取、分析和转换 Web 数据。

邮件订阅

及时获取最新洞察

将教程、产品更新与 Web 抓取技巧直接发送到你的收件箱。

拒绝垃圾邮件,随时可取消订阅。

FAQ

常见问题

01什么是用 AI agent 实现的竞争情报自动化?

这是一种工作流:一个 AI agent 持续监控竞争对手的网站、定价页面、博客文章和产品公告,然后提取结构化洞察并浮现可付诸行动的情报,无需人工逐一查看每个来源。CrawlForge 的 track_changes、extract_content 和 deep_research 工具提供网页数据层;像 Claude 这样的 LLM 把原始信号转化为报告。

02监控竞争对手用到哪些 CrawlForge 工具?

核心基础是 track_changes(检测竞争对手页面何时更新)、extract_content(从变化的页面获取干净文本)和 deep_research(在竞争对手网站上进行带冲突检测的多来源分析)。把它们组合进一个定时任务中,即可自动检测、提取并分析竞争对手的动作。

03竞争情报自动化在 CrawlForge credits 上的成本是多少?

一次典型的监控运行检查 10 个竞争对手页面,变化检测约 10 credits,对变化的页面进行内容提取约 20 credits,用 deep_research 做一次综合约 10 credits——每次运行约 40 credits。对 10 个竞争对手进行每日监控可从容纳入 $19/月的 Starter 套餐(5,000 credits)。

04我能用 Claude 和 CrawlForge 自动化竞争对手调研吗?

可以。在 Claude Desktop 或 Claude Code 中把 CrawlForge 配置为 MCP server,然后让 Claude 监控一份竞争对手 URL 列表、总结发生了哪些变化,并提取定价或功能更新。该 agent 通过 MCP 直接调用 CrawlForge 工具——无需胶水代码。

05AI agent 应该多久检查一次竞争对手的网站?

对大多数 B2B 公司而言,每日是最佳节奏:足够频繁,能在 24 小时内捕捉到价格变动和产品发布;又足够间隔,能让 credits 使用保持可预测。高波动市场(加密货币、电商闪购)可能需要每小时检查;节奏缓慢的企业级市场可以每周运行。

继续阅读

相关文章

应用场景

9 分钟

构建一个 AI 驱动的价格监控系统

使用 CrawlForge 和 Claude 自动跟踪竞争对手的价格。在成千上万个产品页面上提取、对比价格并对变动发出告警。本教程含完整架构设计、可运行的代码示例、告警规则设置与 credits 成本核算。

应用场景

10 分钟

用 CrawlForge 构建 lead enrichment 引擎

自动为销售线索补充公司数据、技术栈和联系方式。抓取公开的商业数据来甄别线索并优先安排触达。本指南用 CrawlForge 与 Claude 构建完整的线索增强管道,含完整的代码示例与 credits 成本分析。