llms.txt y visibilidad en búsqueda con IA
Publica un llms.txt para que ChatGPT, Claude y Perplexity lean y citen tu sitio correctamente. Genera ambos archivos y verifica qué alcanza un crawler de IA.
Respuesta rápida
Ejecuta generate_llms_txt (5 credits) sobre tu dominio para producir llms.txt y llms-full.txt -- un mapa curado de tus páginas clave más las directrices de uso para los crawlers de IA -- y luego map_site (2 credits) para confirmar hasta dónde llegan esos crawlers. Unos 7 credits por sitio, y lo vuelves a ejecutar cada vez que el sitio cambia.
El problema
Los motores de respuesta con IA ya envían tráfico real, pero ven un sitio distinto al que ve Google. Sin un mapa curado de tus páginas importantes y de tus condiciones de uso, los crawlers adivinan -- y resumen las páginas equivocadas, o te ignoran por completo.
La solución
generate_llms_txt de CrawlForge rastrea tu sitio y escribe tanto llms.txt como el más extenso llms-full.txt, con el nombre de tu organización, tu contacto y tus directrices personalizadas. Después, map_site muestra hasta dónde puede llegar realmente un crawler de IA antes de que publiques.
Ejemplo de código
// Generate llms.txt and llms-full.txt for your site
const llms = await mcp.generate_llms_txt({
url: "https://example.com",
format: "both",
complianceLevel: "standard",
analysisOptions: { maxPages: 200, maxDepth: 3, respectRobots: true },
outputOptions: {
organizationName: "Example Inc",
contactEmail: "ai@example.com",
customGuidelines: ["Cite the canonical URL", "Pricing changes monthly"],
},
});
// Confirm what an AI crawler can actually reach
const map = await mcp.map_site({
url: "https://example.com",
include_sitemap: true,
max_urls: 500,
});
console.log(llms.llmsTxt);
console.log(`Discoverable pages: ${map.urls.length}`);Herramientas utilizadas
Costo estimado: ~7 credits por sitio
Preguntas frecuentes
¿Qué es llms.txt y necesito uno?
llms.txt es un archivo de texto plano en la raíz de tu sitio que dirige a los crawlers de IA hacia tus páginas importantes e indica cómo puede usarse el contenido. Es un estándar propuesto más que una garantía de posicionamiento, pero es barato de publicar y sustituye las conjeturas por un mapa curado.
¿Cómo genero un llms.txt para mi sitio?
Ejecuta generate_llms_txt sobre tu dominio. Rastrea hasta 500 páginas, respeta las directivas de robots y escribe llms.txt junto con el más extenso llms-full.txt, incluyendo el nombre de tu organización, el email de contacto y cualquier directriz personalizada que le pases.
¿Cuál es la diferencia entre llms.txt y llms-full.txt?
llms.txt es el índice corto: secciones y enlaces clave. llms-full.txt incorpora mucho más detalle para los modelos que pueden asumirlo. Pasa format "both" para obtener ambos, o elige uno con "llms-txt" o "llms-full-txt".
¿Cómo compruebo qué ven realmente los crawlers de IA?
Ejecuta map_site con include_sitemap para listar todas las URLs alcanzables y compara esa lista con las páginas que aparecen en tu llms.txt. Los huecos muestran dónde un crawler se perderá contenido, o dónde tu sitemap se ha quedado obsoleto.
¿Listo para comenzar?
Cada cuenta nueva recibe 1,000 credits gratis. No se requiere tarjeta de crédito.
Comienza gratis con 1,000 credits