Cómo hacer scraping de sitios web en Zed AI con CrawlForge MCP

Zed es rápido. Zed AI es potente. Pero Zed AI no puede ver la web -- hasta que conectas un MCP server. CrawlForge añade 31 herramientas de scraping que Zed AI puede invocar directamente desde el panel del Assistant.

// ~/.config/zed/settings.json
{
  "context_servers": {
    "crawlforge": {
      "command": { "path": "crawlforge-mcp-server" },
      "settings": { "CRAWLFORGE_API_KEY": "cf_live_your_key" }
    }
  }
}

Esta guía te lleva por cada paso para hacer scraping de sitios web en Zed AI, con código real y una sección completa de solución de problemas.

Tabla de contenidos

• Por qué importa el web scraping en Zed AI
• Requisitos previos
• Paso 1: instala CrawlForge MCP
• Paso 2: configura el Context Server de Zed
• Paso 3: reinicia Zed y verifica
• Paso 4: primer scrape desde el Assistant
• Ejemplo completo funcional: hacer scraping de una referencia de API
• Avanzado: stealth y extracción estructurada
• Solución de problemas
• Preguntas frecuentes

Por qué importa el web scraping en Zed AI

Zed AI vive en el editor. Cuando puedes hacer scraping de sitios web en Zed AI sin salir del Assistant, patrones como estos se vuelven baratos:

• Leer la documentación de un SDK de terceros y luego generar un wrapper con el estilo de tu proyecto.
• Obtener la publicación de blog de un competidor y luego resumir las decisiones de arquitectura.
• Extraer un sitemap y luego señalar las páginas que tu crawler no ha visitado.

El soporte de MCP de Zed (llamado "Context Servers" en la configuración) se lanzó en 2024 y usa el mismo protocolo abierto que Claude Desktop y Cursor. CrawlForge expone 31 herramientas de scraping sobre MCP, por lo que aparecen en el menú de slash-commands de Zed sin código de pegamento. Para conocer el trasfondo del protocolo, consulta nuestra explicación del protocolo MCP.

Requisitos previos

• Zed 0.148+ -- descárgalo desde zed.dev
• Node.js 18+
• Cuenta de CrawlForge -- gratis en crawlforge.dev/signup, 1.000 credits incluidos

Paso 1: instala CrawlForge MCP

npm install -g crawlforge-mcp-server
crawlforge-mcp-server --version
# crawlforge-mcp-server 4.8.1

Paso 2: configura el Context Server de Zed

Abre la configuración de Zed con Cmd+, (macOS) o Ctrl+, (Linux/Windows). La configuración de Zed está en ~/.config/zed/settings.json. Añade un bloque context_servers:

{
  "context_servers": {
    "crawlforge": {
      "command": {
        "path": "crawlforge-mcp-server",
        "args": [],
        "env": {
          "CRAWLFORGE_API_KEY": "cf_live_your_key_here"
        }
      }
    }
  }
}

Reemplaza cf_live_your_key_here con la key de crawlforge.dev/dashboard/keys.

Paso 3: reinicia Zed y verifica

1. Cierra Zed por completo (Cmd+Q).
2. Reábrelo y abre el panel del Assistant (Cmd+?).
3. Escribe / en el prompt del Assistant. Deberías ver las herramientas de CrawlForge en la lista de sugerencias: /fetch_url, /scrape_structured, /search_web y otras.

Paso 4: primer scrape desde el Assistant

En el panel del Assistant, prueba:

Zed llama a fetch_url (1 credit), devuelve el HTML en streaming y luego Zed AI extrae los títulos. La respuesta aparece en línea en el panel del Assistant, lista para pegar en un buffer.

Ejemplo completo funcional: hacer scraping de una referencia de API

Supón que estás integrando con la Stripe API y quieres la lista completa de campos de PaymentIntent en TypeScript. Pega este prompt:

Zed emite esta llamada por debajo:

// What Zed AI sends to CrawlForge
const response = await fetch('https://crawlforge.dev/api/v1/tools/extract_content', {
  method: 'POST',
  headers: {
    'Authorization': `Bearer ${process.env.CRAWLFORGE_API_KEY}`,
    'Content-Type': 'application/json',
  },
  body: JSON.stringify({
    url: 'https://docs.stripe.com/api/payment_intents/object',
    options: { format: 'markdown' },
  }),
});

const { content } = await response.json();
// content is clean markdown of the PaymentIntent object

Coste: 2 credits. Zed AI lee el markdown y produce:

// types/stripe-payment-intent.ts
export interface StripePaymentIntent {
  id: string;
  object: 'payment_intent';
  amount: number;
  amount_capturable: number;
  amount_received: number;
  application: string | null;
  application_fee_amount: number | null;
  automatic_payment_methods: {
    enabled: boolean;
    allow_redirects?: 'always' | 'never';
  } | null;
  canceled_at: number | null;
  cancellation_reason: string | null;
  capture_method: 'automatic' | 'automatic_async' | 'manual';
  client_secret: string;
  confirmation_method: 'automatic' | 'manual';
  created: number;
  currency: string;
  customer: string | null;
  // ... remaining fields omitted for brevity
}

Pégalo en un buffer y tendrás una integración de Stripe con tipos seguros en segundos.

Avanzado: stealth y extracción estructurada

¿Topas con un muro de Cloudflare? Cambia fetch_url por stealth_mode:

El coste sube de 1 a 5 credits pero esquiva la mayoría de los sistemas anti-bot.

¿Quieres precisión con selectores CSS? Usa scrape_structured:

Zed AI devuelve un array tipado. 2 credits por ejecución.

Referencia de credits

Solución de problemas

Las herramientas no aparecen en el menu de slash -- La configuración del context server no se cargó. Revisa ~/.config/zed/logs/Zed.log en busca de errores de parseo de context_servers. Una coma final en el JSON desactiva silenciosamente todo el bloque.

"Failed to spawn crawlforge-mcp-server" -- Zed no encuentra el binario. Reemplaza "path": "crawlforge-mcp-server" con la ruta absoluta de which crawlforge-mcp-server, por ejemplo "path": "/usr/local/bin/crawlforge-mcp-server".

401 Unauthorized en cada llamada -- La API key es incorrecta o no está definida. Verifícala con curl -H "Authorization: Bearer $CRAWLFORGE_API_KEY" https://crawlforge.dev/api/v1/credits/balance. La respuesta esperada incluye tus credits restantes.

El Assistant elige la herramienta equivocada -- Nómbrala explícitamente: "Use CrawlForge's scrape_structured..." en lugar de "scrape this page." Zed AI elige por defecto la coincidencia más barata cuando la intención es ambigua.

Zed se congela en scrapes largos -- La investigación profunda puede ejecutarse durante 60+ segundos. Zed muestra un spinner pero la entrada sigue respondiendo; espera a que termine en lugar de cancelar.

Próximos pasos

• Referencia completa de configuración: Integración con Zed en la documentación de CrawlForge
• Explora las 31 herramientas de CrawlForge que puedes llamar desde Zed
• Lee la guía completa de web scraping con MCP para conocer patrones de arquitectura
• Consulta los docs de primeros pasos para la referencia de la API
• Compáralo con la alternativa a Firecrawl si estás evaluando proveedores

Empieza gratis en crawlforge.dev/signup -- 1.000 credits, sin tarjeta de crédito.