CLI

CrawlForge CLI

El comando crawlforge se incluye con el paquete crawlforge-mcp-server, por lo que una sola instalación global le ofrece tanto el servidor MCP como un CLI independiente para comandos puntuales y scripting, sin necesidad de un cliente MCP. Establezca una API key y estará scrapeando en segundos.

Instalar y autenticar

Instale crawlforge-mcp-server globalmente: el comando crawlforge se incluye. La forma recomendada de autenticarse es crawlforge login, que aprueba una clave nueva en su navegador y la guarda en ~/.crawlforge/config.json para que el CLI la lea automáticamente; npx crawlforge-setup hace lo mismo con una clave que usted pega. Obtenga una clave desde su panel de API Keys.

Bash

npm install -g crawlforge-mcp-server
crawlforge login            # browser sign-in (recommended)
npx crawlforge-setup        # or paste a key by hand
crawlforge --help

Las dependencias, incluida crawlforge-extractors, se instalan automáticamente.

Iniciar sesión con crawlforge login

crawlforge login imprime una URL de aprobación. Ábrala en un navegador, inicie sesión en CrawlForge y apruebe la solicitud; el CLI espera la aprobación, valida la nueva clave y la guarda en ~/.crawlforge/config.json (legible solo por usted). Se rinde a los 10 minutos si nadie la aprueba; --wait <seconds> cambia ese límite.

Bash

crawlforge login                 # prints an approval URL, then waits for you to approve it
crawlforge login --name ci-box   # label the key as it will appear in the dashboard
crawlforge login --wait 120      # stop waiting after 120 s (default 600)
crawlforge login --json          # machine-readable URL and result for scripts

--name define la etiqueta de la clave en el panel de API Keys; --json imprime la URL y el resultado como JSON para scripts. login solo guarda la clave: ejecute después crawlforge init --client <name> para registrar el servidor MCP en Claude Code, Claude Desktop o Cursor, o use el configurador MCP para otros clientes.

Otras formas de autenticarse: exporte CRAWLFORGE_API_KEY=cf_live_... en su ~/.zshrc / ~/.bashrc, o pase --api-key cf_live_... en cualquier comando. Prioridad: --api-key > variable de entorno > configuración guardada.

Comandos

Los 16 comandos de herramientas a continuación cubren 28 de las 31 herramientas de CrawlForge (algunos comandos exponen varias herramientas mediante flags; reddit_search, extract_embedded_state y read_result solo están disponibles mediante MCP y la API REST). Ejecute crawlforge <command> --help para ver los flags y las opciones de cualquier comando.

Una invocación de crawlforge browser es una sesión completa, y una sesión no puede abarcar dos procesos del CLI: el comando abre la página, toma una instantánea, ejecuta los pasos de --steps, opcionalmente lee y después cierra. Use la herramienta MCP browser_session o la API REST cuando una sesión deba sobrevivir a la llamada que la abrió.

Comando	Propósito
`scrape`	Obtiene una URL (fetch_url); agregue --extract para texto/markdown limpio
`search`	Búsqueda web (--provider crawlforge o searxng)
`crawl`	Rastreo profundo de varias páginas con controles de profundidad/páginas/concurrencia
`map`	Genera un mapa de sitio (--format json o xml)
`extract`	Extracción estructurada mediante --schema (CSS) o --prompt (LLM)
`track`	Rastrea cambios de contenido (--selector, --threshold)
`analyze`	Análisis de sentimiento, entidades y legibilidad
`research`	Investigación profunda de múltiples fuentes con verificación de fuentes
`stealth`	Modo de navegador antibot (--engine playwright o camoufox)
`batch`	Scrapea muchas URLs desde un archivo delimitado por saltos de línea
`actions`	Automatización del navegador a partir de un script de acciones JSON (--script)
`browser`	Sesión de navegador ejecutada de principio a fin: abrir, tomar una instantánea, actuar sobre las refs que devuelve, leer y cerrar (--steps, --read)
`localize`	Obtención según configuración regional/geográfica (--locale, --country, --currency)
`llmstxt`	Genera llms.txt y llms-full.txt (--include-full)
`template`	Ejecuta una plantilla de sitio prediseñada (--list muestra las 10)
`monitor`	Monitoreo programado de cambios (--interval, --webhook)

Instaladores de skills

Dos comandos auxiliares copian los archivos de skills de CrawlForge en su herramienta de codificación con IA para que sepa cómo usar cada comando de CrawlForge.

Comando	Propósito
`install-skills`	Instala las skills de CrawlForge en Claude Code, Cursor o VS Code (--target, --dry-run)
`uninstall-skills`	Elimina los archivos de skills de CrawlForge instalados (--target)

Ejecutar el servidor MCP manualmente: el mismo binario también inicia el servidor por stdio con crawlforge mcp (alias crawlforge serve). Los clientes MCP normalmente lo inician por usted; consulte las guías de Claude Desktop y Cursor.

Ejemplos

1. Scrapear una página como markdown limpio

Bash

crawlforge scrape https://example.com --extract --format markdown

Sin --extract, el comando ejecuta fetch_url (encabezados + cuerpo sin procesar); con él, extract_content devuelve texto o markdown limpio. Agregue --pretty para imprimir JSON con sangría.

2. Ejecutar investigación profunda con varias fuentes

Bash

crawlforge research "AI agent frameworks 2026" --depth deep --max-urls 10

Analiza hasta 10 fuentes, verifica las citas y emite un informe de investigación estructurado. La profundidad es basic, standard o deep. Cuesta 10 credits.

3. Usar una plantilla de sitio prediseñada

Bash

crawlforge template github-repo https://github.com/anthropics/claude-code --pretty
crawlforge template --list   # show all 10 templates

Las plantillas extraen un esquema conocido para sitios populares (repositorios de GitHub, productos de Amazon, videos de YouTube y más) sin que usted escriba selectores. La URL objetivo es un argumento posicional.

4. Canalizar JSON hacia otras herramientas

Bash

crawlforge search "nodejs MCP server" --json | jq '.results[].url'

--json emite JSON en una sola línea para pipelines de shell y CI; --quiet devuelve solo un código de salida.

Flags globales

Estos flags funcionan con cualquier comando y determinan cómo se entrega la salida.

Flag	Descripción
`--json`	Genera JSON compacto (apto para canalización)
`--pretty`	Genera JSON con formato legible
`--quiet`	Suprime toda la salida estándar (solo código de salida)
`--api-key <key>`	Anula la variable de entorno CRAWLFORGE_API_KEY
`--timeout <ms>`	Tiempo de espera global de la solicitud en ms (predeterminado: 30000)

Próximos pasos

Referencia de la API

Las 31 herramientas, sus parámetros y costos en credits.

Protocolo MCP

Use el mismo backend desde cualquier cliente compatible con MCP.

Primeros pasos

Inicio rápido de 5 minutos para cuentas nuevas.

¿Listo para scrapear desde la terminal?

Regístrese para obtener credits gratis y empiece a ejecutar comandos en minutos.

Obtener credits gratis Gestionar API Keys

crawlforge login # prints an approval URL, then waits for you to approve it crawlforge login --name ci-box # label the key as it will appear in the dashboard crawlforge login --wait 120 # stop waiting after 120 s (default 600) crawlforge login --json # machine-readable URL and result for scripts

Comando

Propósito

scrape

Obtiene una URL (fetch_url); agregue --extract para texto/markdown limpio

search

Búsqueda web (--provider crawlforge o searxng)

crawl

Rastreo profundo de varias páginas con controles de profundidad/páginas/concurrencia

map

Genera un mapa de sitio (--format json o xml)

extract

Extracción estructurada mediante --schema (CSS) o --prompt (LLM)

track

Rastrea cambios de contenido (--selector, --threshold)

analyze

Análisis de sentimiento, entidades y legibilidad

research

Investigación profunda de múltiples fuentes con verificación de fuentes

stealth

Modo de navegador antibot (--engine playwright o camoufox)

batch

Scrapea muchas URLs desde un archivo delimitado por saltos de línea

actions

Automatización del navegador a partir de un script de acciones JSON (--script)

browser

Sesión de navegador ejecutada de principio a fin: abrir, tomar una instantánea, actuar sobre las refs que devuelve, leer y cerrar (--steps, --read)

localize

Obtención según configuración regional/geográfica (--locale, --country, --currency)

llmstxt

Genera llms.txt y llms-full.txt (--include-full)

template

Ejecuta una plantilla de sitio prediseñada (--list muestra las 10)

monitor

Monitoreo programado de cambios (--interval, --webhook)

Comando

Propósito

install-skills

Instala las skills de CrawlForge en Claude Code, Cursor o VS Code (--target, --dry-run)

uninstall-skills

Elimina los archivos de skills de CrawlForge instalados (--target)

Flag

Descripción

--json

Genera JSON compacto (apto para canalización)

--pretty

Genera JSON con formato legible

--quiet

Suprime toda la salida estándar (solo código de salida)

--api-key <key>

Anula la variable de entorno CRAWLFORGE_API_KEY

--timeout <ms>

Tiempo de espera global de la solicitud en ms (predeterminado: 30000)