Casos de uso
01Respuesta rápida
Ejecuta generate_llms_txt (5 credits) sobre tu dominio para producir llms.txt y llms-full.txt -- un mapa curado de tus páginas clave más las directrices de uso para los crawlers de IA -- y luego map_site (2 credits) para confirmar hasta dónde llegan esos crawlers. Unos 7 credits por sitio, y lo vuelves a ejecutar cada vez que el sitio cambia.
02El planteamiento
Los motores de respuesta con IA ya envían tráfico real, pero ven un sitio distinto al que ve Google. Sin un mapa curado de tus páginas importantes y de tus condiciones de uso, los crawlers adivinan -- y resumen las páginas equivocadas, o te ignoran por completo.
generate_llms_txt de CrawlForge rastrea tu sitio y escribe tanto llms.txt como el más extenso llms-full.txt, con el nombre de tu organización, tu contacto y tus directrices personalizadas. Después, map_site muestra hasta dónde puede llegar realmente un crawler de IA antes de que publiques.
03En código
1// Generate llms.txt and llms-full.txt for your site2const llms = await mcp.generate_llms_txt({3 url: "https://example.com",4 format: "both",5 complianceLevel: "standard",6 analysisOptions: { maxPages: 200, maxDepth: 3, respectRobots: true },7 outputOptions: {8 organizationName: "Example Inc",9 contactEmail: "ai@example.com",10 customGuidelines: ["Cite the canonical URL", "Pricing changes monthly"],11 },12});13 14// Confirm what an AI crawler can actually reach15const map = await mcp.map_site({16 url: "https://example.com",17 include_sitemap: true,18 max_urls: 500,19});20 21console.log(llms.llmsTxt);22console.log(`Discoverable pages: ${map.urls.length}`);04El pipeline
05Preguntas
04
llms.txt es un archivo de texto plano en la raíz de tu sitio que dirige a los crawlers de IA hacia tus páginas importantes e indica cómo puede usarse el contenido. Es un estándar propuesto más que una garantía de posicionamiento, pero es barato de publicar y sustituye las conjeturas por un mapa curado.
Ejecuta generate_llms_txt sobre tu dominio. Rastrea hasta 500 páginas, respeta las directivas de robots y escribe llms.txt junto con el más extenso llms-full.txt, incluyendo el nombre de tu organización, el email de contacto y cualquier directriz personalizada que le pases.
llms.txt es el índice corto: secciones y enlaces clave. llms-full.txt incorpora mucho más detalle para los modelos que pueden asumirlo. Pasa format "both" para obtener ambos, o elige uno con "llms-txt" o "llms-full-txt".
Ejecuta map_site con include_sitemap para listar todas las URLs alcanzables y compara esa lista con las páginas que aparecen en tu llms.txt. Los huecos muestran dónde un crawler se perderá contenido, o dónde tu sitemap se ha quedado obsoleto.
06Sigue explorando
Audita tu sitio y el de la competencia en busca de metadatos, enlaces rotos, brechas de contenido y oportunidades de posicionamiento. Devuelve un informe estructurado de cada página rastreada.
Convierte sitios de documentación en markdown limpio y listo para fragmentar en RAG. Rastrea, elimina el texto repetitivo y resume antes de generar embeddings.
Empieza a forjar
Cada cuenta nueva recibe 1,000 credits gratis. No se requiere tarjeta de crédito.