CLI

CrawlForge CLI

crawlforge 命令随 crawlforge-mcp-server 软件包一同提供，因此一次全局安装即可同时获得 MCP server 和一个独立 CLI，用于一次性命令和脚本——无需 MCP 客户端。设置好 API 密钥，几秒内即可开始抓取。

安装与身份验证

全局安装 crawlforge-mcp-server——crawlforge 命令已包含在内。推荐的身份验证方式是 crawlforge login，它在浏览器中批准一个新密钥并将其存储在 ~/.crawlforge/config.json 中，供 CLI 自动读取；npx crawlforge-setup 则用你粘贴的密钥完成同样的事。从你的 API Keys 控制台获取密钥。

Bash

npm install -g crawlforge-mcp-server
crawlforge login            # browser sign-in (recommended)
npx crawlforge-setup        # or paste a key by hand
crawlforge --help

依赖项（包括 crawlforge-extractors）会自动安装。

使用 crawlforge login 登录

crawlforge login 会打印一个批准 URL。在浏览器中打开它，登录 CrawlForge 并批准请求；CLI 会等待批准，验证新密钥并将其保存到 ~/.crawlforge/config.json（仅你可读）。如果无人批准，10 分钟后会放弃；--wait <seconds> 可更改该时限。

Bash

crawlforge login                 # prints an approval URL, then waits for you to approve it
crawlforge login --name ci-box   # label the key as it will appear in the dashboard
crawlforge login --wait 120      # stop waiting after 120 s (default 600)
crawlforge login --json          # machine-readable URL and result for scripts

--name 设置密钥在 API Keys 控制台中的标签；--json 以 JSON 形式打印 URL 和结果，便于脚本使用。login 只保存密钥——之后运行 crawlforge init --client <name> 将 MCP server 注册到 Claude Code、Claude Desktop 或 Cursor，其他客户端请使用 MCP 配置生成器。

其他身份验证方式： 在你的 ~/.zshrc / ~/.bashrc 中 export CRAWLFORGE_API_KEY=cf_live_...，或在任意命令上传入 --api-key cf_live_...。优先级：--api-key > 环境变量 > 存储的配置。

命令

下面 16 个工具命令涵盖 31 个 CrawlForge 工具中的 28 个（部分命令通过标志暴露多个工具；reddit_search、extract_embedded_state 和 read_result 仅通过 MCP 和 REST API 提供）。运行 crawlforge <command> --help 可查看任意命令的标志和选项。

一次 crawlforge browser 调用就是一整个会话，而会话无法跨越两个 CLI 进程：该命令会打开页面、拍摄快照、执行 --steps 中的步骤，按需读取，然后关闭。当会话需要比打开它的那次调用活得更久时，请改用 browser_session MCP 工具或 REST API。

命令	用途
`scrape`	抓取一个 URL（fetch_url）；加 --extract 可获取清洗后的文本/markdown
`search`	网络搜索（--provider crawlforge 或 searxng）
`crawl`	深度多页爬取，支持深度/页数/并发控制
`map`	生成站点地图（--format json 或 xml）
`extract`	通过 --schema（CSS）或 --prompt（LLM）进行结构化提取
`track`	跟踪内容变更（--selector、--threshold）
`analyze`	情感、实体和可读性分析
`research`	带来源验证的多来源深度研究
`stealth`	反爬虫浏览器模式（--engine playwright 或 camoufox）
`batch`	从换行分隔的文件中抓取多个 URL
`actions`	从 JSON 动作脚本运行浏览器自动化（--script）
`browser`	端到端运行一次浏览器会话：打开、快照、在返回的 ref 上执行动作、读取、关闭（--steps、--read）
`localize`	区域/地理感知抓取（--locale、--country、--currency）
`llmstxt`	生成 llms.txt 和 llms-full.txt（--include-full）
`template`	运行预置站点模板（--list 显示全部 10 个）
`monitor`	定时变更监控（--interval、--webhook）

Skills 安装器

两个辅助命令会将 CrawlForge skill 文件复制到你的 AI 编码工具中，让它知道如何使用每个 CrawlForge 命令。

命令	用途
`install-skills`	将 CrawlForge skills 安装到 Claude Code、Cursor 或 VS Code 中（--target、--dry-run）
`uninstall-skills`	移除已安装的 CrawlForge skill 文件（--target）

手动运行 MCP server： 同一二进制文件也可以通过 crawlforge mcp（别名 crawlforge serve）以 stdio 方式启动服务器。MCP 客户端通常会为你启动它——请参阅 Claude Desktop 和 Cursor 指南。

示例

1. 将页面抓取为干净的 markdown

Bash

crawlforge scrape https://example.com --extract --format markdown

不带 --extract 时，命令运行 fetch_url（原始请求头 + 主体）；带上它时，extract_content 会返回清洗后的文本或 markdown。加 --pretty 可打印缩进的 JSON。

2. 运行带多个来源的深度研究

Bash

crawlforge research "AI agent frameworks 2026" --depth deep --max-urls 10

分析至多 10 个来源，验证引用，并输出结构化研究报告。深度可为 basic、standard 或 deep。花费 10 credits。

3. 使用预置站点模板

Bash

crawlforge template github-repo https://github.com/anthropics/claude-code --pretty
crawlforge template --list   # show all 10 templates

模板可为热门站点（GitHub 仓库、Amazon 商品、YouTube 视频等）提取已知 schema，无需你自己编写选择器。目标 URL 是一个位置参数。

4. 将 JSON 管道传给其他工具

Bash

crawlforge search "nodejs MCP server" --json | jq '.results[].url'

--json 输出单行 JSON，适用于 shell 管道和 CI；--quiet 仅返回退出码。

全局标志

这些标志适用于任意命令，用于控制输出的呈现方式。

标志	说明
`--json`	输出紧凑 JSON（便于管道处理）
`--pretty`	输出美化打印的 JSON
`--quiet`	抑制所有 stdout 输出（仅退出码）
`--api-key <key>`	覆盖 CRAWLFORGE_API_KEY 环境变量
`--timeout <ms>`	全局请求超时，单位毫秒（默认：30000）

后续步骤

API 参考

全部 31 个工具、参数及 credit 费用。

MCP 协议

从任何兼容 MCP 的客户端使用同一后端。

快速开始

新账户的 5 分钟快速上手。

准备好从终端进行抓取了吗？

免费注册获取 credits，几分钟内即可开始运行命令。

获取免费 credits 管理 API 密钥

crawlforge login # prints an approval URL, then waits for you to approve it crawlforge login --name ci-box # label the key as it will appear in the dashboard crawlforge login --wait 120 # stop waiting after 120 s (default 600) crawlforge login --json # machine-readable URL and result for scripts

命令

用途

scrape

抓取一个 URL（fetch_url）；加 --extract 可获取清洗后的文本/markdown

search

网络搜索（--provider crawlforge 或 searxng）

crawl

深度多页爬取，支持深度/页数/并发控制

map

生成站点地图（--format json 或 xml）

extract

通过 --schema（CSS）或 --prompt（LLM）进行结构化提取

track

跟踪内容变更（--selector、--threshold）

analyze

情感、实体和可读性分析

research

带来源验证的多来源深度研究

stealth

反爬虫浏览器模式（--engine playwright 或 camoufox）

batch

从换行分隔的文件中抓取多个 URL

actions

从 JSON 动作脚本运行浏览器自动化（--script）

browser

端到端运行一次浏览器会话：打开、快照、在返回的 ref 上执行动作、读取、关闭（--steps、--read）

localize

区域/地理感知抓取（--locale、--country、--currency）

llmstxt

生成 llms.txt 和 llms-full.txt（--include-full）

template

运行预置站点模板（--list 显示全部 10 个）

monitor

定时变更监控（--interval、--webhook）

命令

用途

install-skills

将 CrawlForge skills 安装到 Claude Code、Cursor 或 VS Code 中（--target、--dry-run）

uninstall-skills

移除已安装的 CrawlForge skill 文件（--target）

标志

说明

--json

输出紧凑 JSON（便于管道处理）

--pretty

输出美化打印的 JSON

--quiet

抑制所有 stdout 输出（仅退出码）

--api-key <key>

覆盖 CRAWLFORGE_API_KEY 环境变量

--timeout <ms>

全局请求超时，单位毫秒（默认：30000）