En esta página
El Vercel AI SDK te ofrece una interfaz unificada para llamar a LLMs desde cualquier framework: Next.js, SvelteKit, Nuxt o Node puro. CrawlForge le da a tu LLM acceso a datos web en vivo mediante 20 herramientas de scraping especializadas. Juntos, te permiten construir aplicaciones de IA que pueden buscar, obtener, extraer y analizar contenido web en tiempo real.
Este tutorial te muestra cómo registrar las herramientas de CrawlForge con la API tool() del Vercel AI SDK, para que tu IA pueda hacer scraping de la web con la misma naturalidad con la que genera texto.
Tabla de contenidos
- Requisitos previos
- Cómo funciona: herramientas en el Vercel AI SDK
- Paso 1: crear el wrapper de herramientas de CrawlForge
- Paso 2: registrar herramientas con generateText
- Paso 3: construir un chat en streaming con acceso web
- Avanzado: agente de investigación con múltiples herramientas
- Desglose de costos en credits
- Mejores prácticas
- Próximos pasos
Requisitos previos
Obtén tu API key de CrawlForge en crawlforge.dev/signup: 1.000 credits gratis incluidos.
Cómo funciona: herramientas en el Vercel AI SDK
El Vercel AI SDK te permite definir herramientas que el LLM puede invocar durante una conversación. Cada herramienta tiene un nombre, una descripción, un esquema de parámetros (usando Zod) y una función execute. El LLM lee las descripciones de las herramientas, decide cuándo llamarlas e incorpora los resultados en su respuesta.
La API REST de CrawlForge encaja perfectamente con este patrón: cada una de las 20 herramientas se convierte en una función invocable con parámetros tipados.
Paso 1: crear el wrapper de herramientas de CrawlForge
Primero, construye un helper reutilizable que llame a cualquier endpoint de CrawlForge:
Paso 2: registrar herramientas con generateText
Ahora registra las herramientas de CrawlForge usando la función tool() del Vercel AI SDK:
Cuando el LLM se encuentra con una pregunta que requiere datos web, invoca automáticamente la herramienta de CrawlForge adecuada, recibe los resultados y los integra en su respuesta. No se necesita orquestación manual.
Paso 3: construir un chat en streaming con acceso web
Para una experiencia de chat en tiempo real, usa streamText en lugar de generateText:
El parámetro maxSteps: 5 permite que el LLM encadene varias llamadas a herramientas; por ejemplo, primero buscar en la web y luego extraer contenido del resultado principal.
Componente de frontend
Avanzado: agente de investigación con múltiples herramientas
Combina varias herramientas de CrawlForge para flujos de trabajo de investigación más profundos:
Este agente hará lo siguiente:
- Buscar en Google artículos relevantes (5 credits)
- Extraer contenido de los resultados principales (2 credits cada uno)
- Analizar el contenido en busca de temas (3 credits cada uno)
Costo total para una investigación de 3 fuentes: ~20 credits.
Desglose de costos en credits
| Herramienta | Credits | Mejor para |
|---|---|---|
| fetch_url | 1 | Obtención de HTML en bruto |
| extract_text | 1 | Extracción de texto limpio |
| extract_links | 1 | Descubrimiento de enlaces |
| extract_metadata | 1 | Metadatos de página (título, etiquetas OG) |
| extract_content | 2 | Extracción de contenido legible |
| scrape_structured | 2 | Extracción de datos basada en selectores CSS |
| summarize_content | 2 | Resumen de texto |
| analyze_content | 3 | Análisis de temas y sentimiento |
| search_web | 5 | Resultados de búsqueda de Google |
| deep_research | 10 | Investigación de múltiples fuentes con citas |
Consulta el desglose completo de precios para las 20 herramientas.
Mejores prácticas
Minimiza el uso de credits. Usa extract_content (2 credits) en lugar de deep_research (10 credits) cuando solo necesitas una página. Las descripciones de las herramientas guían al LLM hacia la opción más barata que satisface la consulta.
Configura maxSteps con cuidado. Un valor de maxSteps más alto permite más llamadas a herramientas por respuesta, pero consume más credits. Empieza con 3-5 y auméntalo solo si el LLM necesita más de forma constante.
Cachea las páginas a las que accedes con frecuencia. Si tu app obtiene repetidamente la misma URL, cachea la respuesta de CrawlForge en Redis o una base de datos en lugar de volver a obtenerla cada vez.
Usa descripciones de Zod. Las cadenas .describe() en tus parámetros de Zod ayudan al LLM a entender qué valores pasar. Sé específico: "La URL completa incluyendo https://" es mejor que "URL".
Próximos pasos
Ahora tienes una aplicación con el Vercel AI SDK con acceso web en vivo. Amplía desde aquí:
- Añade las 20 herramientas de CrawlForge restantes según las necesites
- Implementa el modo stealth para sitios con protección anti-bot
- Construye un agente de investigación profunda para análisis de mercado automatizado
- Consulta la guía de inicio rápido de CrawlForge para configurar el cliente MCP
Construye apps de IA que ven la web. Empieza gratis con 1.000 credits, sin tarjeta de crédito.
