Kes Penggunaan
01Jawapan Pantas
Gunakan map_site (2 credits) untuk menyenaraikan tapak dokumentasi, scrape (2 credits) untuk memulangkan markdown dengan navigasi dan iklan dibuang, dan summarize_content (4 credits) untuk menambah ringkasan pendek pada setiap ketulan. Itu lebih kurang 6 credits setiap dokumen, dan markdown itu terus masuk ke pemecah ketulan dan model pembenaman anda.
02Ringkasan
Sistem RAG hanya sebaik teks yang anda suapkan kepadanya. HTML mentah membawa navigasi, iklan, dan markup yang membengkakkan kiraan tokens serta mencemarkan pembenaman, dan setiap tapak dokumentasi disusun secara berbeza, jadi satu penghurai tidak pernah sesuai untuk semuanya.
scrape CrawlForge memulangkan markdown, metadata, dan pautan daripada satu panggilan dengan boilerplate dibuang oleh Readability, manakala summarize_content memadatkan halaman panjang menjadi ringkasan pendek yang boleh anda simpan sebagai metadata ketulan untuk perolehan yang lebih baik.
03Dalam kod
1// Turn a documentation site into RAG-ready markdown2const pages = await mcp.map_site({3 url: "https://docs.example.com",4 include_sitemap: true,5 max_urls: 200,6});7 8// One call returns markdown, metadata, and links per page9const doc = await mcp.scrape({10 url: pages.urls[0],11 formats: ["markdown", "metadata", "links"],12 onlyMainContent: true,13});14 15// Condense long pages into chunk-level summaries16const digest = await mcp.summarize_content({17 text: doc.markdown,18 options: { summaryLength: "short", summaryType: "abstractive" },19});20 21console.log(doc.markdown); // chunk + embed this22console.log(digest.summary); // store as chunk metadata04Saluran paip
05Soalan
04
Gunakan map_site untuk menyenaraikan setiap URL, scrape untuk memulangkan setiap halaman sebagai markdown dengan navigasi dan iklan dibuang, dan summarize_content untuk melampirkan ringkasan pendek pada setiap ketulan. Markdown itu terus masuk ke pemecah ketulan dan model pembenaman anda.
HTML mentah membazirkan tokens pada markup, menu, dan iklan, dan gangguan itu berakhir dalam pembenaman anda. scrape menjalankan Readability dahulu dan memulangkan hanya kandungan utama, jadi ketulan kekal bersih dari segi semantik dan lebih murah untuk dibenamkan.
Ya. Jalankan semula map_site dan scrape mengikut jadual, dan gandingkannya dengan track_changes untuk mengesan halaman yang benar-benar berubah, supaya anda membenamkan semula halaman itu sahaja dan bukannya membina semula keseluruhan indeks.
Lebih kurang 6 credits setiap dokumen — 2 untuk scrape dan 4 untuk summarize_content — ditambah 2 untuk satu panggilan map_site bagi setiap tapak. Tapak dokumentasi 200 halaman lebih kurang 1,200 credits, dan melangkau ringkasan menjadikannya separuh.
06Teruskan meneroka
Suapkan ejen AI anda dengan data web langsung — pengekstrakan berstruktur, penyelidikan pelbagai sumber, dan MCP tools dari fetch_url hingga deep_research.
Kumpul dan susun set data web berskala besar untuk penalaan halus dan latihan model AI. Rangkak tapak penuh, ekstrak teks bersih dan eksport data latihan.
Mula menempa
Setiap akaun baharu mendapat 1,000 credits percuma. Tiada kad kredit diperlukan.