En esta página
Claude Code puede editar archivos, ejecutar comandos de shell y escribir tests, pero no puede obtener páginas web en vivo por sí solo. Conéctalo a CrawlForge MCP y gana 20 herramientas de scraping que se ejecutan directamente desde tu terminal.
Esta guía te muestra cómo hacer scraping de sitios web con Claude Code usando CrawlForge MCP, desde la instalación hasta el bypass en modo sigiloso. Cada bloque de código de abajo es ejecutable.
Tabla de contenidos
- El problema: Claude Code no puede obtener URL
- Requisitos previos
- Paso 1: instala CrawlForge MCP
- Paso 2: obtén tu API key
- Paso 3: registra el MCP server en Claude Code
- Paso 4: verifica la conexión
- Paso 5: tu primer scrape
- Ejemplo completo funcional: scraping de una página de precios
- Avanzado: scraping de sitios renderizados con JavaScript
- Solución de problemas
- Preguntas frecuentes
El problema: Claude Code no puede obtener URL
Por defecto, Claude Code no tiene acceso a la red. Pídele que "lea esta entrada de blog" y te dirá que no puede abrir URL. El asistente integrado WebFetch existe en Claude Desktop, pero es limitado, tiene un tope de velocidad y a menudo lo bloquean Cloudflare, Akamai y otras protecciones de borde.
CrawlForge MCP resuelve esto exponiendo 20 herramientas de scraping -- fetch_url, extract_content, scrape_structured, stealth_mode, deep_research y más -- como herramientas del Model Context Protocol que Claude Code puede llamar como cualquier otra función. Para más contexto sobre el protocolo en sí, consulta nuestra guía completa de web scraping con MCP.
Requisitos previos
- Node.js 18+ -- compruébalo con
node --version - Claude Code -- instálalo con
npm install -g @anthropic-ai/claude-code - Una cuenta de CrawlForge -- gratis en crawlforge.dev/signup (1,000 credits incluidos, sin tarjeta de crédito)
Paso 1: instala CrawlForge MCP
Verifica la instalación:
Paso 2: obtén tu API key
- Ve a crawlforge.dev/signup y crea una cuenta.
- Abre el dashboard en crawlforge.dev/dashboard/api-keys.
- Copia la key: empieza por
cf_live_.
Paso 3: registra el MCP server en Claude Code
La vía más rápida es el asistente de configuración:
Escribe la entrada correcta en ~/.config/claude-code/mcp.json (Linux/macOS) o %APPDATA%\claude-code\mcp.json (Windows).
Si prefieres la configuración manual, añade esto a tu config de MCP de Claude Code:
Reinicia Claude Code para que detecte el nuevo servidor.
Paso 4: verifica la conexión
Abre Claude Code y ejecuta:
/mcp
Deberías ver crawlforge en la lista como conectado con 20 herramientas disponibles. Si no, ve a Solución de problemas.
Paso 5: tu primer scrape
Pega este prompt en Claude Code:
Fetch https://news.ycombinator.com using CrawlForge and give me the top 5 story titles with their URLs as a JSON array.
Claude Code llamará a fetch_url (1 credit), parseará el HTML y devolverá algo como:
Eso es todo. Ya estás haciendo scraping.
Ejemplo completo funcional: scraping de una página de precios
Aquí tienes una tarea realista: extraer los niveles de precios de un sitio SaaS. Pega este prompt:
Use scrape_structured to extract pricing from https://crawlforge.dev/pricing.
Return an array of { plan, price, credits, features[] }.
Entre bastidores, Claude Code construye una petición como esta:
Costo: 2 credits. Compáralo con ejecutar un navegador headless localmente: cero infraestructura, sin depurar Puppeteer, sin la ruleta de Cloudflare.
Avanzado: scraping de sitios renderizados con JavaScript
Algunos sitios renderizan los precios o los datos de producto mediante React del lado del cliente. fetch_url devuelve el esqueleto HTML previo a la hidratación y se pierde los datos. Cambia a scrape_with_actions (5 credits):
Para sitios protegidos por Cloudflare y Akamai, usa stealth_mode (también 5 credits). Cubrimos las concesiones de la rotación de huellas en nuestro análisis profundo del modo sigiloso.
Referencia rápida de herramientas
| Herramienta | Credits | Cuándo usarla |
|---|---|---|
fetch_url | 1 | HTML estático, lo parsearás tú mismo |
extract_text | 1 | Texto limpio y legible de páginas de artículos |
extract_content | 2 | Extracción del contenido principal estilo legibilidad |
scrape_structured | 2 | Selectores CSS a campos tipados |
search_web | 5 | Aún no conoces la URL |
scrape_with_actions | 5 | La SPA requiere clics, esperas, scroll |
stealth_mode | 5 | Sistemas anti-bot (Cloudflare, DataDome) |
deep_research | 10 | Investigación multifuente con citas |
Lista completa en nuestro resumen de 20 herramientas.
Solución de problemas
"MCP server failed to start" -- Confirma que crawlforge-mcp-server está en tu PATH. Ejecuta which crawlforge-mcp-server. Si está vacío, reinstálalo globalmente: npm install -g crawlforge-mcp-server.
"Unauthorized" o errores 401 -- Tu API key falta o tiene un formato incorrecto. Debe empezar por cf_live_. Vuelve a exportarla en tu shell: export CRAWLFORGE_API_KEY="cf_live_..." y reinicia Claude Code.
"Insufficient credits" -- Comprueba el uso en crawlforge.dev/dashboard/usage. El nivel Free = 1,000 credits/mes. Mejora a Hobby ($19/mes) para 25,000.
La lista de herramientas está vacía en /mcp -- La config de MCP no se está leyendo. En macOS el archivo está en ~/Library/Application Support/claude-code/mcp.json. En Linux: ~/.config/claude-code/mcp.json. En Windows: %APPDATA%\claude-code\mcp.json.
Cloudflare 403 en cada fetch -- Cambia fetch_url por stealth_mode. Si te siguen bloqueando, el destino usa fingerprinting JA3/JA4 del lado del servidor; abre una incidencia en GitHub con la URL.
Preguntas frecuentes
Consulta la sección de preguntas frecuentes de abajo para respuestas rápidas a las preguntas más comunes.
Próximos pasos
- Lee el inicio rápido de CrawlForge para cinco ejemplos de copiar y pegar
- Explora la documentación de primeros pasos para la referencia completa de la API
- Compara clientes MCP en Claude Desktop vs Claude Code
- Evalúa alternativas en alternativa a Firecrawl
Empieza gratis con 1,000 credits en crawlforge.dev/signup. Sin tarjeta de crédito.
