Kes Penggunaan
01Jawapan Pantas
Jalankan generate_llms_txt (5 credits) pada domain anda untuk menghasilkan llms.txt dan llms-full.txt -- peta terkurasi halaman utama anda berserta garis panduan penggunaan untuk perangkak AI -- kemudian map_site (2 credits) untuk mengesahkan apa yang boleh dicapai perangkak itu. Lebih kurang 7 credits setiap tapak, dan anda menjalankannya semula setiap kali tapak berubah.
02Ringkasan
Enjin jawapan AI kini menghantar trafik sebenar, tetapi mereka melihat tapak yang berbeza daripada yang dilihat Google. Tanpa peta terkurasi bagi halaman penting dan terma penggunaan anda, perangkak hanya meneka -- lalu meringkaskan halaman yang salah, atau melangkau anda sepenuhnya.
generate_llms_txt CrawlForge merangkak tapak anda dan menulis kedua-dua llms.txt dan llms-full.txt yang lebih panjang, bersama nama organisasi, kenalan, dan garis panduan tersuai anda. map_site kemudian menunjukkan apa yang benar-benar boleh dicapai oleh perangkak AI sebelum anda menerbitkannya.
03Dalam kod
1// Generate llms.txt and llms-full.txt for your site2const llms = await mcp.generate_llms_txt({3 url: "https://example.com",4 format: "both",5 complianceLevel: "standard",6 analysisOptions: { maxPages: 200, maxDepth: 3, respectRobots: true },7 outputOptions: {8 organizationName: "Example Inc",9 contactEmail: "ai@example.com",10 customGuidelines: ["Cite the canonical URL", "Pricing changes monthly"],11 },12});13 14// Confirm what an AI crawler can actually reach15const map = await mcp.map_site({16 url: "https://example.com",17 include_sitemap: true,18 max_urls: 500,19});20 21console.log(llms.llmsTxt);22console.log(`Discoverable pages: ${map.urls.length}`);04Saluran paip
05Soalan
04
llms.txt ialah fail teks biasa di akar tapak anda yang menunjukkan halaman penting anda kepada perangkak AI dan menyatakan cara kandungan itu boleh digunakan. Ia satu piawaian yang dicadangkan, bukan jaminan kedudukan, tetapi murah untuk diterbitkan dan menggantikan tekaan dengan peta terkurasi.
Jalankan generate_llms_txt pada domain anda. Ia merangkak sehingga 500 halaman, menghormati arahan robots, dan menulis llms.txt serta llms-full.txt yang lebih panjang, termasuk nama organisasi, e-mel kenalan, dan sebarang garis panduan tersuai yang anda hantar.
llms.txt ialah indeks pendek — bahagian dan pautan utama. llms-full.txt memuatkan jauh lebih banyak perincian untuk model yang mampu menerimanya. Hantar format "both" untuk mendapatkan kedua-duanya, atau pilih satu dengan "llms-txt" atau "llms-full-txt".
Jalankan map_site dengan include_sitemap untuk menyenaraikan setiap URL yang boleh dicapai, kemudian bandingkannya dengan halaman yang disenaraikan dalam llms.txt anda. Jurang menunjukkan tempat perangkak akan terlepas kandungan, atau tempat peta tapak anda sudah lapuk.
06Teruskan meneroka
Audit laman anda dan pesaing untuk metadata, pautan rosak, jurang kandungan, dan peluang kedudukan. Memulangkan laporan berstruktur bagi setiap halaman yang dirangkak.
Tukar tapak dokumentasi menjadi markdown bersih yang sedia dipecah kepada ketulan untuk RAG. Rangkak, buang boilerplate dan ringkaskan sebelum membenamkan.
Mula menempa
Setiap akaun baharu mendapat 1,000 credits percuma. Tiada kad kredit diperlukan.