本页内容
对 AI 应用而言，网页抓取从未像今天这般关键。无论你是在构建 RAG 系统、训练模型还是创建智能体，都需要可靠地获取网络数据。CrawlForge MCP 在单个软件包中提供 20 个专用工具，专为使用 Claude 及其他 LLM 进行构建的开发者设计。
为什么一个 MCP server 能改变一切
传统抓取方案迫使你拼凑多个工具：
- 一个用于简单获取的基础 HTTP 客户端
- 一个面向重度 JavaScript 站点的浏览器自动化框架
- 一个独立的搜索服务
- 另一个用于内容提取的工具
- 再来一个用于监控变更的工具
有了 CrawlForge，你将获得一套统一的 API，拥有一致的认证、定价和响应格式。Claude 可以智能地为每个任务挑选合适的工具。
完整工具参考
基础工具（每个 1 credit）
这些基础工具能高效处理最常见的抓取任务：
fetch_url
最简单的工具 —— 从任意 URL 获取原始 HTML，并自动处理重定向。
**最适合：**初始页面加载、API 端点、静态内容
extract_text
剥离 HTML，返回干净、可读的文本内容。
**最适合：**内容分析、LLM 上下文、文本处理
extract_links
解析所有锚点标签，返回结构化的链接数据。
**最适合：**站点映射、爬虫种子、SEO 分析
extract_metadata
提取 SEO 元数据、Open Graph 标签、Twitter cards 和 Schema.org 数据。
**最适合：**内容预览、SEO 审计、社交分享分析
结构化提取工具（每个 2 credits）
当你需要的不只是原始内容时：
scrape_structured
使用 CSS 选择器将特定元素提取为结构化 JSON。
**最适合：**电商数据、列表、结构化页面
extract_content
智能主体内容提取 —— 去除导航、广告和样板内容。
**最适合：**文章、博客文章、文档页面
map_site
发现并映射网站结构，找出所有可访问的 URL。
**最适合：**抓取前规划、文档索引、站点地图生成
process_document
通过 URL 从 PDF 及其他文档格式中提取文本。
**最适合：**PDF 抓取、文档处理、学术论文
localization
地理定向抓取，提供 26+ 个国家/地区代理、时区伪装和区域设置请求头。
**最适合：**价格对比、本地化内容、有地域限制的站点
高级工具（3-5 credits）
面向复杂的抓取场景：
analyze_content（3 credits）
AI 驱动的内容分析，包括情感、语言检测和主题提取。
**最适合：**情感分析、内容分类、语言检测
stealth_mode（5 credits）
反检测浏览，配备指纹随机化和人类行为模拟 —— 与 Playwright 在底层使用的技术相同，并应用了隐身补丁。
**最适合：**带机器人检测的站点、受 Cloudflare 保护的页面
summarize_content（4 credits）
由 AI 生成的摘要，长度和侧重点可配置。
**最适合：**内容摘要、调研综述、快速概览
crawl_deep（4 credits）
多页爬取，支持深度控制、模式匹配和内容提取。无论爬取多少页面，每次调用固定 4 credits。
**最适合：**博客归档、文档站点、全站索引
scrape_with_actions（5 credits）
浏览器自动化，具备点击、输入、滚动和截图能力。
**最适合：**需登录的内容、交互式表单、SPA 导航
batch_scrape（5 credits）
以统一的响应格式并行处理多个 URL。无论 URL 数量多少，每次调用固定 5 credits。
**最适合：**批量数据采集、对比抓取、效率
search_web（5 credits）
集成 Google Custom Search 以发现相关 URL。
**最适合：**调研起点、主题发现、竞争分析
track_changes（3 credits）
以可配置的灵敏度监控网站内容变更。每次调用固定 3 credits。
**最适合：**竞争对手监控、价格跟踪、新闻提醒
AI 调研工具（10 credits）
deep_research
最强大的工具 —— 带来源验证与综合的多阶段调研。
返回：
- 综合后的摘要
- 带置信度评分的关键发现
- 带相关性排序的已验证来源
- 来源之间的冲突检测
**最适合：**竞争情报、市场调研、技术调研、事实核查
credits 优化技巧
- 从便宜的开始：在尝试昂贵工具之前先用
fetch_url（1 credit） - 能批处理就批处理：
batch_scrape比单独调用更高效 - 了解你的 URL：已有 URL 时不要用
search_web（5 credits） - 缓存结果：相同 URL = 相同内容，不要不必要地重复抓取
- 用对工具：
extract_content（2 credits）胜过手动解析
定价对比
| Plan | Credits/月 | 价格 | 每 credit 成本 |
|---|---|---|---|
| Free | 1,000 | $0 | - |
| Hobby | 5,000 | $19 | $0.0038 |
| Professional | 50,000 | $99 | $0.00198 |
| Business | 250,000 | $399 | $0.00160 |
开始使用
- 在 crawlforge.dev/signup 免费注册
- 即刻获得 1,000 credits（无需信用卡）
- 5 分钟内接入 Claude Desktop（指南）
**准备好开始了吗？**在 crawlforge.dev 创建你的免费账户，今天就解锁全部 20 个工具。
