Casos de uso
01Respuesta rápida
Usa batch_scrape (5 credits) de CrawlForge para obtener cientos de URLs en paralelo, y luego extract_content (2 credits) para devolver texto o markdown limpio y sin plantillas repetitivas, listo para un pipeline de entrenamiento. Recopilas contenido estructurado en lugar de HTML sin procesar y ruidoso, lo que mejora la calidad del conjunto de datos y reduce el costo de preprocesamiento -- unos 7 credits por documento.
02El planteamiento
Entrenar y ajustar modelos de IA requiere conjuntos de datos grandes y limpios provenientes de diversas fuentes web. Recopilar estos datos manualmente es poco práctico, y el HTML sin procesar es demasiado ruidoso para el entrenamiento de modelos.
batch_scrape de CrawlForge procesa cientos de URL en paralelo para escalar, mientras que extract_content devuelve texto limpio y estructurado listo para los pipelines de entrenamiento. Crea conjuntos de datos a partir de cualquier fuente web.
03En código
1// Collect training data from documentation sites2const batch = await mcp.batch_scrape({3 urls: [4 "https://docs.example.com/guide/intro",5 "https://docs.example.com/guide/setup",6 "https://docs.example.com/guide/advanced",7 // ... hundreds more URLs8 ],9 format: "markdown",10});11 12// Extract clean content for each page13const dataset = await Promise.all(14 batch.results.map(page =>15 mcp.extract_content({16 url: page.url,17 format: "text",18 remove_navigation: true,19 })20 )21);22 23console.log(`Collected ${dataset.length} documents`);04El pipeline
05Preguntas
04
Usa batch_scrape de CrawlForge para obtener cientos de URLs en paralelo y luego extract_content para devolver texto limpio y sin texto repetitivo, listo para un pipeline de entrenamiento. Obtienes contenido estructurado en lugar de HTML sin procesar y ruidoso.
El HTML sin procesar está lleno de navegación, anuncios y marcado que añaden ruido y desperdician tokens. extract_content usa una pasada de legibilidad para devolver solo el contenido principal como texto limpio o markdown, lo que mejora la calidad del conjunto de datos y reduce el costo de preprocesamiento.
Sí. batch_scrape, a 5 credits por lote, paraleliza la obtención en cientos de URLs, y extract_content, a 2 credits, limpia cada una. Combínalo con map_site para enumerar primero una fuente y luego procesar por lotes las URLs resultantes.
CrawlForge respeta las directivas de robots y tú controlas qué fuentes rastreas. Eres responsable de los derechos sobre los datos que recopilas, así que apunta a sitios que tengas permiso para usar en el entrenamiento y mantén deliberado el alcance de tu crawl.
06Sigue explorando
Alimenta tus agentes de IA con datos web en vivo mediante extracción estructurada e investigación multifuente, con MCP tools de fetch_url a deep_research.
Extrae y reestructura contenido de sitios heredados para migrarlo a plataformas modernas. Mantiene intactos el formato, los medios y los enlaces internos en Markdown.
Empieza a forjar
Cada cuenta nueva recibe 1,000 credits gratis. No se requiere tarjeta de crédito.