本页内容
你的竞争对手上周二改了定价页面。他们周四发布了一个新功能。他们的 CEO 周五发了一篇博客文章,把矛头对准你的产品。而这一切你直到下周一才知道——还是从一位正在评估替代方案的客户那里听说的。
实时竞争情报消除了这个盲点。借助 CrawlForge 和 Claude,你可以构建一个 AI agent,持续监控竞争对手的动态、提取结构化洞察,并在竞争对手的变化影响你的销售管道之前交付可付诸行动的情报。
目录
- 什么是竞争情报自动化
- 架构概览
- 步骤 1:定义你的情报目标
- 步骤 2:监控网站变化
- 步骤 3:提取并分析内容
- 步骤 4:研究竞争对手定位
- 步骤 5:生成情报报告
- credits 成本分析
- 成果与收益
- 常见问题
什么是竞争情报自动化
竞争情报(CI)自动化是指使用软件系统化地收集、分析和报告竞争对手的活动,而无需人工干预。与依赖分析师调研的传统竞争情报不同,自动化竞争情报持续运行,并在变化发生的当下就捕捉到它们。
一个构建良好的竞争情报系统会追踪五类竞争对手活动:
| 类别 | 追踪什么 | 为什么重要 |
|---|---|---|
| 定价 | 套餐变更、新层级、折扣 | 直接影响营收 |
| 产品 | 功能发布、changelog 更新 | 竞争定位 |
| 内容 | 博客文章、案例研究、白皮书 | 信息传达与策略 |
| 招聘 | 按部门划分的招聘启事 | 投资优先级 |
| 合作 | 集成页面、新闻稿 | 生态扩张 |
CrawlForge 最适合做竞争情报,因为它在单个 MCP server 中结合了深度爬取、变化追踪和 AI 驱动的分析——无需把 5 个不同的工具拼凑起来。
架构概览
这个竞争情报系统使用六个 CrawlForge 工具:
| 组件 | 工具 | Credits | 作用 |
|---|---|---|---|
| 站点映射 | map_site | 3 | 发现竞争对手的所有页面 |
| 变化检测 | track_changes | 3 | 监控页面的修改 |
| 内容提取 | extract_content | 2 | 获取文章的干净文本 |
| 内容分析 | analyze_content | 3 | 情感与主题提取 |
| 深度研究 | deep_research | 10 | 多来源情报收集 |
| 报告生成 | summarize_content | 2 | 创建执行摘要 |
步骤 1:定义你的情报目标
为你想监控的竞争对手和页面创建一个结构化配置。
import { Client } from '@modelcontextprotocol/sdk/client/index.js';
const client = new Client({
name: 'competitive-intel',
version: '1.0.0',
});
interface CompetitorTarget {
name: string;
domain: string;
pages: {
pricing: string;
changelog: string;
blog: string;
careers: string;
integrations: string;
};
keywords: string[]; // Track mentions of these terms
}
const competitors: CompetitorTarget[] = [
{
name: 'Firecrawl',
domain: 'firecrawl.dev',
pages: {
pricing: 'https://www.firecrawl.dev/pricing',
changelog: 'https://www.firecrawl.dev/changelog',
blog: 'https://www.firecrawl.dev/blog',
careers: 'https://www.firecrawl.dev/careers',
integrations: 'https://www.firecrawl.dev/integrations',
},
keywords: ['mcp', 'claude', 'scraping', 'api'],
},
{
name: 'Apify',
domain: 'apify.com',
pages: {
pricing: 'https://apify.com/pricing',
changelog: 'https://apify.com/change-log',
blog: 'https://blog.apify.com',
careers: 'https://apify.com/jobs',
integrations: 'https://apify.com/integrations',
},
keywords: ['web scraping', 'automation', 'ai', 'mcp'],
},
];步骤 2:监控网站变化
用 track_changes 设置持续监控,以检测竞争对手关键页面上的任何修改。
interface ChangeAlert {
competitor: string;
page: string;
significance: string;
changes: string[];
detectedAt: string;
}
async function monitorCompetitorPages(
competitor: CompetitorTarget
): Promise<ChangeAlert[]> {
const alerts: ChangeAlert[] = [];
for (const [pageType, url] of Object.entries(competitor.pages)) {
const result = await client.callTool({
name: 'track_changes',
arguments: {
url,
operation: 'compare',
trackingOptions: {
trackText: true,
trackLinks: true,
trackStructure: true,
granularity: 'section',
significanceThresholds: {
minor: 0.1,
moderate: 0.3,
major: 0.5,
},
},
storageOptions: {
retainHistory: true,
maxHistoryEntries: 100,
},
},
});
const changes = JSON.parse(result.content[0].text);
if (changes.hasChanges && changes.significance !== 'minor') {
alerts.push({
competitor: competitor.name,
page: pageType,
significance: changes.significance,
changes: changes.differences.map(
(d: { type: string; summary: string }) => `${d.type}: ${d.summary}`
),
detectedAt: new Date().toISOString(),
});
}
}
return alerts;
}步骤 3:提取并分析内容
当检测到变化时,提取更新后的内容并对其进行分析,以获取战略洞察。
interface ContentInsight {
url: string;
topics: string[];
sentiment: string;
keyPhrases: string[];
competitiveAngle: string;
}
async function analyzeCompetitorContent(
url: string
): Promise<ContentInsight> {
// Extract clean content
const extracted = await client.callTool({
name: 'extract_content',
arguments: { url },
});
const content = JSON.parse(extracted.content[0].text);
// Analyze for topics, sentiment, and key phrases
const analysis = await client.callTool({
name: 'analyze_content',
arguments: {
text: content.content,
},
});
const result = JSON.parse(analysis.content[0].text);
return {
url,
topics: result.topics || [],
sentiment: result.sentiment || 'neutral',
keyPhrases: result.keyPhrases || [],
competitiveAngle: result.summary || '',
};
}步骤 4:研究竞争对手定位
使用 deep_research 进行超越单一页面的全面情报收集,从新闻文章、社交媒体提及、评测网站等处获取数据。
async function researchCompetitor(competitorName: string) {
const research = await client.callTool({
name: 'deep_research',
arguments: {
topic: `${competitorName} product updates pricing changes 2026`,
maxDepth: 5,
maxUrls: 30,
enableSourceVerification: true,
enableConflictDetection: true,
researchApproach: 'focused',
credibilityThreshold: 0.5,
sourceTypes: ['news', 'commercial', 'blog'],
},
});
return JSON.parse(research.content[0].text);
}deep_research 每次调用 10 credits,是最昂贵的工具,但它通过自动查询多个来源、验证可信度并检测矛盾信息,替代了数小时的人工调研。把它用于每周的战略情报,而非日常监控。
步骤 5:生成情报报告
把所有发现汇总成一份简明的执行摘要。
async function generateWeeklyReport(
alerts: ChangeAlert[],
insights: ContentInsight[],
research: Record<string, unknown>
) {
const reportData = {
period: 'Weekly CI Report',
date: new Date().toISOString(),
alerts,
insights,
research,
};
const summary = await client.callTool({
name: 'summarize_content',
arguments: {
text: JSON.stringify(reportData, null, 2),
},
});
return JSON.parse(summary.content[0].text);
}
// Run the complete CI pipeline
async function runWeeklyIntelligence() {
const allAlerts: ChangeAlert[] = [];
const allInsights: ContentInsight[] = [];
for (const competitor of competitors) {
// Check for changes
const alerts = await monitorCompetitorPages(competitor);
allAlerts.push(...alerts);
// Analyze changed pages
for (const alert of alerts) {
const pageUrl = competitor.pages[
alert.page as keyof typeof competitor.pages
];
const insight = await analyzeCompetitorContent(pageUrl);
allInsights.push(insight);
}
// Deep research on each competitor
const research = await researchCompetitor(competitor.name);
// Generate report
const report = await generateWeeklyReport(
allAlerts,
allInsights,
research
);
console.log(`\n=== ${competitor.name} Intelligence Report ===\n`);
console.log(report.summary);
}
}credits 成本分析
每周监控 3 个竞争对手,各追踪 5 个页面:
| 操作 | 工具 | Credits | 数量 | 每周成本 |
|---|---|---|---|---|
| 变化监控 | track_changes | 3 | 15 个页面 | 45 |
| 内容提取 | extract_content | 2 | 5 个有变化的 | 10 |
| 内容分析 | analyze_content | 3 | 5 次分析 | 15 |
| 深度研究 | deep_research | 10 | 3 份报告 | 30 |
| 报告摘要 | summarize_content | 2 | 3 份报告 | 6 |
| 每周合计 | 106 credits | |||
| 每月合计 | 约 424 credits |
对于最多 2 个竞争对手的初步试用,这可纳入 Free 套餐(1,000 个一次性 credits)。Hobby 套餐($19/月,5,000 credits)可从容应对 10 个以上的竞争对手。
成果与收益
一个自动化的竞争情报系统能带来:
- 检测速度:在 24 小时内而非数周内发现竞争对手的变化
- 覆盖广度:监控多家公司的 50 多个竞争对手页面
- 分析深度:AI 驱动的分析提取的是战略洞察,而不仅仅是原始变化
- 成本效率:用每月不到 $100 的 credits 替代每月 $5,000 到 $10,000 的分析师工时
使用自动化竞争情报的团队反映,他们能更快地做出战略决策,并且对自己的竞争格局了解得更加充分。
常见问题
这与 Google Alerts 有什么不同?
Google Alerts 只能检测公开索引内容的提及,并且有显著的延迟。CrawlForge 实时监控竞争对手的真实页面,检测结构性变化(而不仅仅是新内容),并分析变化的含义,而不仅仅是变化是否存在。
我能追踪登录墙背后的竞争对手吗?
可以。使用 scrape_with_actions 在监控之前自动化登录流程。CrawlForge 会在动作链中保持会话状态,因此你可以访问需要认证的内容。
道德与法律方面的考量呢?
CrawlForge 默认尊重 robots.txt。所有监控目标都是可公开访问的页面。对于竞争情报,请聚焦于竞争对手已选择公开发布的信息:定价页面、博客文章、招聘启事和新闻稿。
今天就开始监控你的竞争对手。 获取 1,000 个免费 credits——足够对 3 个竞争对手进行 2 周的竞争情报。无需信用卡。
相关资源:
亲自试一试——无需注册
在 Playground 中运行 CrawlForge 的 27 个抓取与提取工具中的任意一个,然后免费开始,获取 1,000 credits。
1,000 免费 credits • 每月补充 • 无需信用卡
标签
及时获取最新洞察
将教程、产品更新与 Web 抓取技巧直接发送到你的收件箱。
拒绝垃圾邮件,随时可取消订阅。