Casos de uso
01Respuesta rápida
Usa map_site (2 credits) para enumerar un sitio de documentación, scrape (2 credits) para devolver markdown sin navegación ni anuncios, y summarize_content (4 credits) para añadir un resumen corto a cada fragmento. Son unos 6 credits por documento, y el markdown pasa directamente a tu fragmentador y a tu modelo de embeddings.
02El planteamiento
Un sistema RAG es tan bueno como el texto que le das. El HTML sin procesar arrastra navegación, anuncios y marcado que inflan el número de tokens y contaminan los embeddings, y cada sitio de documentación está maquetado de forma distinta, así que ningún parser único sirve para todos.
scrape de CrawlForge devuelve markdown, metadatos y enlaces en una sola llamada, con el texto repetitivo eliminado por Readability, y summarize_content condensa las páginas largas en resúmenes cortos que puedes guardar como metadatos de cada fragmento para mejorar la recuperación.
03En código
1// Turn a documentation site into RAG-ready markdown2const pages = await mcp.map_site({3 url: "https://docs.example.com",4 include_sitemap: true,5 max_urls: 200,6});7 8// One call returns markdown, metadata, and links per page9const doc = await mcp.scrape({10 url: pages.urls[0],11 formats: ["markdown", "metadata", "links"],12 onlyMainContent: true,13});14 15// Condense long pages into chunk-level summaries16const digest = await mcp.summarize_content({17 text: doc.markdown,18 options: { summaryLength: "short", summaryType: "abstractive" },19});20 21console.log(doc.markdown); // chunk + embed this22console.log(digest.summary); // store as chunk metadata04El pipeline
05Preguntas
04
Usa map_site para listar todas las URLs, scrape para devolver cada página como markdown sin navegación ni anuncios, y summarize_content para adjuntar un resumen corto a cada fragmento. El markdown pasa directamente a tu fragmentador y a tu modelo de embeddings.
El HTML sin procesar gasta tokens en marcado, menús y anuncios, y ese ruido acaba en tus embeddings. scrape ejecuta primero Readability y devuelve solo el contenido principal, así que los fragmentos se mantienen semánticamente limpios y cuesta menos generar sus embeddings.
Sí. Vuelve a ejecutar map_site y scrape de forma programada, y combínalos con track_changes para detectar las páginas que realmente cambiaron, de modo que solo regeneres los embeddings de esas en lugar de reconstruir todo el índice.
Unos 6 credits por documento —2 de scrape y 4 de summarize_content— más 2 de una llamada a map_site por sitio. Un sitio de documentación de 200 páginas son aproximadamente 1,200 credits, y omitir los resúmenes reduce esa cifra a la mitad.
06Sigue explorando
Alimenta tus agentes de IA con datos web en vivo mediante extracción estructurada e investigación multifuente, con MCP tools de fetch_url a deep_research.
Recopila y estructura datos web a gran escala para el ajuste fino y entrenamiento de modelos de IA. Rastrea sitios y exporta texto limpio listo para entrenar.
Empieza a forjar
Cada cuenta nueva recibe 1,000 credits gratis. No se requiere tarjeta de crédito.