Web scraping desde la CLI: la guía de la CLI de CrawlForge

A la mayoría de las herramientas de IA les encanta ser agentes. La CLI de CrawlForge está construida para lo contrario: scriptable, pensada para la terminal, predecible. La instalas, configuras una variable de entorno y 17 de las 31 herramientas de CrawlForge se convierten en comandos de shell. JSON de entrada, JSON de salida. Canalízalo a jq, prográmalo con cron, ejecútalo en CI: funciona igual en todas partes.

Tabla de contenidos

• ¿Qué es la CLI de CrawlForge?
• Instálala en 30 segundos
• Los 16 comandos de un vistazo
• Tu primer scrape
• Canalizar la salida JSON a jq
• Programar con Cron
• CLI vs MCP vs API directa: cuándo usar cada una
• Tres flujos de trabajo del mundo real
• Referencia de flags globales
• Cuánto cuesta

¿Qué es la CLI de CrawlForge?

La CLI de CrawlForge se incluye dentro del paquete crawlforge-mcp-server como el comando crawlforge y expone 17 de las 31 herramientas de CrawlForge como comandos de terminal. Una sola instalación global te da tanto el MCP server como la CLI. No necesita un proceso de larga duración ni un cliente MCP: escribes crawlforge scrape <url>, hace una llamada HTTPS a la API de CrawlForge e imprime JSON en stdout. Esa es toda la historia.

Existe porque la mitad del trabajo de scraping que hace la gente no tiene forma de agente. Cron jobs, pasos de CI, investigación puntual, extracciones ad-hoc desde un shell: esos quieren comandos de toda la vida, no un handshake de JSON-RPC.

Instálala en 30 segundos

npm install -g crawlforge-mcp-server
export CRAWLFORGE_API_KEY="cf_live_your_key_here"
crawlforge --help

Eso es todo. Sin archivo de configuración, sin flujo de autenticación, sin servicio que iniciar. Si aún no tienes una API key, consigue una en crawlforge.dev/signup: obtienes 1.000 credits gratis al registrarte.

Para hacer la variable de entorno permanente en macOS o Linux:

echo 'export CRAWLFORGE_API_KEY="cf_live_..."' >> ~/.zshrc
source ~/.zshrc

En Windows (PowerShell):

[Environment]::SetEnvironmentVariable("CRAWLFORGE_API_KEY", "cf_live_...", "User")

Los 16 comandos de un vistazo

Cada comando se asigna a una o más herramientas de CrawlForge:

Tu primer scrape

La llamada más simple posible:

crawlforge scrape https://news.ycombinator.com

Lo que devuelve es el contenido principal de la página en formato JSON:

{
  "url": "https://news.ycombinator.com",
  "title": "Hacker News",
  "content": "Hacker News new | past | comments | ask...",
  "links": ["https://news.ycombinator.com/from?site=...", "..."],
  "fetched_at": "2026-05-21T10:14:33Z",
  "credits_used": 1
}

¿Solo quieres las URLs? Canalízalo a jq:

crawlforge scrape https://news.ycombinator.com --json | jq '.links[]'

¿Lo quieres en un archivo? Redirige stdout:

crawlforge scrape https://news.ycombinator.com --pretty > hn.json

Canalizar la salida JSON a jq

Este es el flujo de trabajo que hace que valga la pena instalar la CLI. Todo produce JSON, y el JSON se canaliza a cualquier cosa.

Obtén los títulos de las historias de la portada de HN:

crawlforge template hacker-news-front-page https://news.ycombinator.com --json \
  | jq -r '.stories[] | .title'

Busca en la web y extrae las URLs:

crawlforge search "best web scraping libraries 2026" --json \
  | jq '.results[] | .url'

Haz scraping de una página y cuenta las palabras:

crawlforge scrape https://example.com --json \
  | jq -r '.content' \
  | wc -w

Haz scraping por lotes y luego filtra las respuestas con error:

crawlforge batch urls.txt --json \
  | jq '.results[] | select(.status_code >= 400)'

El patrón: --json te da salida legible por máquina, y luego jq la corta y la procesa.

Programar con Cron

Una comprobación diaria de la página de precios de un competidor:

# crontab -e
0 9 * * * /usr/local/bin/crawlforge track https://competitor.com/pricing --json > /var/log/pricing.json

Una ejecución de investigación nocturna:

0 2 * * * /usr/local/bin/crawlforge research "AI tooling news" --depth standard --pretty > /var/log/research.json

Una regeneración semanal de llms.txt para tu propio sitio:

0 3 * * 0 /usr/local/bin/crawlforge llmstxt https://yoursite.com --include-full > /var/www/yoursite.com/llms.txt

¿En CI? Usa los mismos comandos en tu YAML de GitHub Actions. La CLI comprueba primero CRAWLFORGE_API_KEY, así que solo configúralo como un secreto del repositorio.

# .github/workflows/daily-research.yml
- name: Run weekly research
  env:
    CRAWLFORGE_API_KEY: ${{ secrets.CRAWLFORGE_API_KEY }}
  run: |
    npm install -g crawlforge-mcp-server
    crawlforge research "industry news" --depth standard --pretty > report.json

CLI vs MCP vs API directa: cuándo usar cada una

Regla general: si un humano está escribiendo el comando, usa la CLI. Si un LLM está seleccionando la herramienta, usa MCP. Si un servidor la está llamando en un bucle, usa la API directa.

Tres flujos de trabajo del mundo real

1. Monitor de precios de la competencia

Un script de shell que se ejecuta a diario, hace scraping de tres páginas de precios de competidores, las compara con la instantánea de ayer y publica en Slack si algo cambió.

#!/bin/bash
for url in $(cat competitors.txt); do
  crawlforge track "$url" --json \
    > "snapshots/$(date +%F)-$(basename $url).json"
done

# Diff against yesterday's snapshot
diff "snapshots/$(date -v-1d +%F)-pricing.json" \
     "snapshots/$(date +%F)-pricing.json" \
  || curl -X POST $SLACK_WEBHOOK -d '{"text": "Pricing changed"}'

Costo: ~9 credits por día (3 competidores × 3 credits por track).

2. Enriquecimiento de leads desde un CSV

Lee un CSV de dominios de empresas, haz scraping de la página de inicio de cada una en busca de información de contacto y escribe los datos enriquecidos de vuelta.

while IFS=, read -r company domain; do
  data=$(crawlforge scrape "https://$domain" --json)
  email=$(echo "$data" | jq -r '.metadata.contact_email // empty')
  echo "$company,$domain,$email" >> enriched.csv
done < companies.csv

Costo: 1 credit por empresa.

3. Pipeline de informe de investigación

Un cron de los domingos por semana que ejecuta una consulta research y envía por correo el resumen sintetizado al equipo.

crawlforge research "AI agent frameworks news this week" --depth deep --pretty > report.json
jq -r '.summary' report.json \
  | mail -s "Weekly AI report" team@example.com

Costo: 10 credits por ejecución (research incluye el resumen sintetizado).

Referencia de flags globales

Estos funcionan en cada comando:

• --json -- JSON compacto y legible por máquina (apto para canalizar)
• --pretty -- JSON con formato legible
• --quiet -- suprime toda la salida de stdout (solo código de salida)
• --api-key <key> -- anula la variable de entorno CRAWLFORGE_API_KEY
• --timeout <ms> -- anula el timeout predeterminado de 30s

Para escribir los resultados en un archivo, redirige stdout: crawlforge scrape <url> --pretty > out.json.

Cuánto cuesta

La CLI en sí es gratis. Solo pagas por las llamadas a las herramientas subyacentes, facturadas contra tu saldo de credits existente. Sin suscripción extra, sin tarifa por invocación. Un cron diario que ejecuta track contra tres URLs y research una vez por semana cuesta aproximadamente 100 credits al mes: meses de margen incluso con el plan gratuito de 1.000 credits por única vez.

La lista completa de comandos, las opciones globales y los métodos de inicio de sesión están en la documentación de CrawlForge CLI.

¿Listo para instalarla? Consigue tu API key gratis en crawlforge.dev/signup y ejecuta npm install -g crawlforge-mcp-server. ¿Nuevo por aquí? Lee el anuncio de lanzamiento de la v4.2.2 para conocer todo lo nuevo, o el quickstart original de MCP para la versión MCP en su lugar.