CrawlForge v4.2.2: nueva CLI + 3 herramientas para scraping con IA local

Hoy lanzamos CrawlForge v4.2.2, nuestra mayor versión desde el lanzamiento. Trae tres herramientas nuevas, una interfaz de línea de comandos independiente y un cambio silencioso en cómo pensamos sobre el web scraping para IA: la mayor parte debería ejecutarse localmente, en tu propia máquina, sin API keys.

Este artículo es el paraguas de todo lo que hay en 4.2.2. En los próximos nueve días le siguen tres guías en profundidad.

Tabla de contenidos

• Qué incluye esta versión
• La nueva CLI de CrawlForge
• Extract With LLM: extracción con IA local
• Scrape Template: diez sitios, una llamada
• list_ollama_models: descubrimiento de modelos
• Flujo antiguo vs flujo de v4.2.2
• Costes de credits
• Cómo actualizar
• Qué viene a continuación

Qué incluye esta versión

v4.2.2 añade cuatro cosas:

1. La CLI crawlforge -- una herramienta de línea de comandos independiente, incluida en el paquete crawlforge-mcp-server, que expone las 26 herramientas de CrawlForge a tu terminal. No requiere cliente MCP.
2. extract_with_llm -- extracción estructurada con LLM que por defecto usa Ollama local. No necesita ninguna API key externa.
3. scrape_template -- scrapers preconstruidos para Amazon, LinkedIn, GitHub, YouTube, Reddit, Hacker News, Stack Overflow, npm, Product Hunt y Twitter/X.
4. list_ollama_models -- una herramienta de descubrimiento que lista los modelos de tu instancia local de Ollama.

El número de herramientas pasa de 20 a 23. La CLI es completamente nueva -- no es una herramienta, es un canal de distribución.

La nueva CLI de CrawlForge

La CLI es el camino más corto desde la intención hasta los datos extraídos. La instalas una vez, defines una variable de entorno y cada herramienta de CrawlForge se convierte en un comando:

npm install -g crawlforge-mcp-server
export CRAWLFORGE_API_KEY="cf_live_your_key_here"

crawlforge scrape https://example.com
crawlforge search "best MCP servers 2026"
crawlforge research "AI agent frameworks" --depth deep

¿Por qué importa esto? Porque MCP es excelente para agentes de IA, pero mucho del trabajo de scraping no es una tarea de un agente de IA. Es un cron job. Un paso de CI. Una extracción puntual desde tu terminal. Para eso quieres JSON en stdout que se canalice hacia jq, no un handshake de JSON-RPC.

Lee la guía completa de la CLI de CrawlForge para la referencia completa de comandos y flujos de trabajo del mundo real.

Extract With LLM: extracción con IA local

extract_with_llm es extracción estructurada impulsada por un modelo de lenguaje. Le pasas una URL y un esquema, y te devuelve JSON. La novedad es que por defecto usa Ollama local en lugar de llamar a OpenAI o Anthropic.

// Pull structured data with a local model. No API key needed.
{
  "url": "https://news.ycombinator.com/item?id=123456",
  "schema": {
    "type": "object",
    "properties": {
      "title": { "type": "string" },
      "points": { "type": "number" },
      "comments": { "type": "number" }
    }
  },
  "provider": "ollama",
  "model": "llama3.1:8b"
}

Del valor por defecto local-first se derivan tres cosas:

• Sin costes de API de terceros. El LLM es gratis. Solo pagas 3 credits de CrawlForge por extracción.
• Sin datos que salgan de tu máquina. El contenido extraído se queda en localhost.
• Sin ninguna API key nueva que gestionar. Si Ollama está instalado, ya está.

OpenAI y Anthropic siguen siendo compatibles vía provider: "openai" o provider: "anthropic" para casos en los que quieras un modelo de frontera. Guía detallada: extrae datos con LLM locales.

Scrape Template: diez sitios, una llamada

scrape_template es para la larga cola de solicitudes de scraping que se parecen todas: "consígueme datos de productos de Amazon", "consígueme los metadatos de un repo de GitHub", "consígueme las publicaciones más populares de Hacker News de hoy". No deberías tener que escribir selectores CSS para esto. Lo hicimos una vez, lo mantenemos, tú lo llamas.

crawlforge template amazon-product "https://www.amazon.com/dp/B0CHX1W1XY"
crawlforge template github-repo "https://github.com/anthropics/anthropic-sdk-python"
crawlforge template hacker-news-front-page "https://news.ycombinator.com"

Diez plantillas se incluyen en esta versión:

Recorrido completo con código: haz scraping de Amazon, LinkedIn y GitHub con una sola herramienta.

list_ollama_models: descubrimiento de modelos

Es más útil como comprobación rápida antes de ejecutar extract_with_llm. Lista cada modelo de tu instancia local de Ollama con nombre, tamaño y fecha de modificación.

crawlforge extract --list-ollama-models

Cuesta 1 credit. No hace scraping, ni llama a ningún LLM -- solo consulta la API local de Ollama en 127.0.0.1:11434 y devuelve el resultado. Si alguna vez te has preguntado qué modelo tienes realmente instalado, esta es la respuesta.

Flujo antiguo vs flujo de v4.2.2

Costes de credits

Las tres herramientas nuevas siguen nuestro modelo de coste de credits existente. Sin sorpresas:

La CLI en sí es gratis. Usa tu API key existente y factura contra tu saldo de credits habitual.

Cómo actualizar

Los usuarios existentes no tienen que hacer nada. Las nuevas herramientas están disponibles en todos los planes -- Free, Hobby, Professional y Business -- y aparecen automáticamente en tu cliente MCP.

Si quieres la CLI:

npm install -g crawlforge-mcp-server
export CRAWLFORGE_API_KEY="cf_live_..."
crawlforge --help

Si quieres probar la extracción con Ollama:

# 1. Install Ollama (one-time)
curl -fsSL https://ollama.com/install.sh | sh

# 2. Pull a model (llama3.1:8b is a good start)
ollama pull llama3.1:8b

# 3. Run extraction through CrawlForge
crawlforge extract https://example.com --provider ollama --model llama3.1:8b

Qué viene a continuación

Estamos trabajando en tres cosas para la 4.3:

• Más plantillas -- Etsy, eBay, TikTok, Instagram, Google Maps. Envíanos tus peticiones en Discord.
• Entrega por webhook para batch_scrape -- recibe los resultados enviados a tu endpoint cuando terminen los trabajos de larga duración.
• Modo watch en la CLI -- crawlforge track --watch para diffs en vivo de las páginas monitorizadas.

¿Listo para probar las nuevas herramientas? Empieza gratis con 1.000 credits -- sin tarjeta de crédito. O ve directo a las guías en profundidad: la guía de la CLI, extracción con LLM local y las diez plantillas de scraping.