CrawlForge
LlamaIndex

Integración con LlamaIndex

Integre CrawlForge MCP con LlamaIndex para crear conectores de datos, índices y motores de consulta con capacidades de web scraping. Perfecto para aplicaciones de RAG y bases de conocimiento.

Casos de uso

Conectores de datos web
Cree conectores de datos que obtienen e indexan contenido web automáticamente
Bases de conocimiento
Cree bases de conocimiento consultables a partir de páginas web y documentos
Motores de consulta
Cree motores de consulta con recuperación de datos web en tiempo real
Procesamiento de documentos
Extraiga y procese documentos desde URLs para indexarlos

Instalación

Instale LlamaIndex y el adaptador de CrawlForge MCP.

Bash
También necesitará una API key de CrawlForge desde el panel.

Conector de datos web

Use CrawlForge como conector de datos para obtener y cargar documentos web.

Typescript
Consejo: Use extract_content para una extracción limpia de artículos o extract_text para el texto completo de la página.

Índice de almacén vectorial

Cree un índice de almacén vectorial a partir de documentos web para búsqueda semántica.

Typescript

Motor de consulta con herramientas

Cree un motor de consulta que pueda obtener datos web en tiempo real bajo demanda.

Typescript
Consejos para agentes: El agente elegirá automáticamente qué herramientas usar según la consulta. Establezca verbose=true para ver la selección de herramientas.

Recuperador web personalizado

Cree un recuperador personalizado que obtenga datos web según las consultas.

Typescript

Procesamiento por lotes con async

Procese múltiples URLs de forma eficiente con operaciones por lotes asíncronas.

Typescript
Consejo de rendimiento: Use batch_scrape para procesar múltiples URLs: está optimizado para la ejecución en paralelo y cuesta solo 1 credit por URL.

Buenas prácticas

  • Elija herramientas eficientes — Use batch_scrape para múltiples URLs, extract_content para texto limpio
  • Implemente caché — Almacene en caché los documentos indexados para evitar obtenciones redundantes y ahorrar credits
  • Use operaciones asíncronas — Aproveche async/await para el procesamiento en paralelo y acelerar las operaciones masivas
  • Monitoree los credits — Rastree el uso de credits en los metadatos de los documentos y configure alertas en su panel
¿Listo para crear con LlamaIndex?
Explore las 23 herramientas de CrawlForge o consulte otras integraciones.
Ver todas las herramientasIntegración con LangChain