llms.txt & Keterlihatan Carian AI
Terbitkan llms.txt supaya ChatGPT, Claude dan Perplexity memetik tapak anda dengan betul. Jana kedua-dua fail, kemudian sahkan apa yang dicapai perangkak AI.
Jawapan Pantas
Jalankan generate_llms_txt (5 credits) pada domain anda untuk menghasilkan llms.txt dan llms-full.txt -- peta terkurasi halaman utama anda berserta garis panduan penggunaan untuk perangkak AI -- kemudian map_site (2 credits) untuk mengesahkan apa yang boleh dicapai perangkak itu. Lebih kurang 7 credits setiap tapak, dan anda menjalankannya semula setiap kali tapak berubah.
Masalahnya
Enjin jawapan AI kini menghantar trafik sebenar, tetapi mereka melihat tapak yang berbeza daripada yang dilihat Google. Tanpa peta terkurasi bagi halaman penting dan terma penggunaan anda, perangkak hanya meneka -- lalu meringkaskan halaman yang salah, atau melangkau anda sepenuhnya.
Penyelesaiannya
generate_llms_txt CrawlForge merangkak tapak anda dan menulis kedua-dua llms.txt dan llms-full.txt yang lebih panjang, bersama nama organisasi, kenalan, dan garis panduan tersuai anda. map_site kemudian menunjukkan apa yang benar-benar boleh dicapai oleh perangkak AI sebelum anda menerbitkannya.
Contoh Kod
// Generate llms.txt and llms-full.txt for your site
const llms = await mcp.generate_llms_txt({
url: "https://example.com",
format: "both",
complianceLevel: "standard",
analysisOptions: { maxPages: 200, maxDepth: 3, respectRobots: true },
outputOptions: {
organizationName: "Example Inc",
contactEmail: "ai@example.com",
customGuidelines: ["Cite the canonical URL", "Pricing changes monthly"],
},
});
// Confirm what an AI crawler can actually reach
const map = await mcp.map_site({
url: "https://example.com",
include_sitemap: true,
max_urls: 500,
});
console.log(llms.llmsTxt);
console.log(`Discoverable pages: ${map.urls.length}`);Alat Digunakan
Anggaran kos: ~7 credits setiap tapak
Soalan Lazim
Apakah itu llms.txt dan adakah saya memerlukannya?
llms.txt ialah fail teks biasa di akar tapak anda yang menunjukkan halaman penting anda kepada perangkak AI dan menyatakan cara kandungan itu boleh digunakan. Ia satu piawaian yang dicadangkan, bukan jaminan kedudukan, tetapi murah untuk diterbitkan dan menggantikan tekaan dengan peta terkurasi.
Bagaimana saya boleh menjana llms.txt untuk tapak saya?
Jalankan generate_llms_txt pada domain anda. Ia merangkak sehingga 500 halaman, menghormati arahan robots, dan menulis llms.txt serta llms-full.txt yang lebih panjang, termasuk nama organisasi, e-mel kenalan, dan sebarang garis panduan tersuai yang anda hantar.
Apakah perbezaan antara llms.txt dan llms-full.txt?
llms.txt ialah indeks pendek — bahagian dan pautan utama. llms-full.txt memuatkan jauh lebih banyak perincian untuk model yang mampu menerimanya. Hantar format "both" untuk mendapatkan kedua-duanya, atau pilih satu dengan "llms-txt" atau "llms-full-txt".
Bagaimana saya boleh menyemak apa yang benar-benar dilihat perangkak AI?
Jalankan map_site dengan include_sitemap untuk menyenaraikan setiap URL yang boleh dicapai, kemudian bandingkannya dengan halaman yang disenaraikan dalam llms.txt anda. Jurang menunjukkan tempat perangkak akan terlepas kandungan, atau tempat peta tapak anda sudah lapuk.
Sedia untuk Bermula?
Setiap akaun baharu mendapat 1,000 credits percuma. Tiada kad kredit diperlukan.
Mula Percuma dengan 1,000 Credits