Langkau ke kandungan
CrawlForge MCP

Kes Penggunaan

Kumpul dan susun set data web berskala besar untuk penalaan halus dan latihan model AI. Rangkak tapak penuh, ekstrak teks bersih dan eksport data latihan.
Anggaran kos: ~7 credits setiap dokumen

01Jawapan Pantas

Gunakan CrawlForge batch_scrape (5 credits) untuk mengambil ratusan URL secara selari, kemudian extract_content (2 credits) untuk memulangkan teks atau markdown yang bersih dan bebas boilerplate sedia untuk saluran paip latihan. Anda mengumpul kandungan berstruktur dan bukannya HTML mentah yang bising, yang meningkatkan kualiti set data dan menurunkan kos prapemprosesan -- kira-kira 7 credits setiap dokumen.

02Ringkasan

Masalahnya

Melatih dan menala halus model AI memerlukan set data yang besar dan bersih daripada pelbagai sumber web. Mengumpul data ini secara manual tidak praktikal, dan HTML mentah terlalu bising untuk latihan model.

Penyelesaiannya

batch_scrape CrawlForge memproses ratusan URL secara selari untuk skala, manakala extract_content mengembalikan teks bersih dan berstruktur yang sedia untuk saluran paip latihan. Bina set data daripada mana-mana sumber web.

03Dalam kod

Contoh Kod

ai-training-data.js
// Collect training data from documentation sitesconst batch = await mcp.batch_scrape({  urls: [    "https://docs.example.com/guide/intro",    "https://docs.example.com/guide/setup",    "https://docs.example.com/guide/advanced",    // ... hundreds more URLs  ],  format: "markdown",}); // Extract clean content for each pageconst dataset = await Promise.all(  batch.results.map(page =>    mcp.extract_content({      url: page.url,      format: "text",      remove_navigation: true,    })  )); console.log(`Collected ${dataset.length} documents`);

04Saluran paip

Alat Digunakan

7◆ credits
Anggaran kos: ~7 credits setiap dokumen
  1. https://…
  2. 01batch_scrape 5 credits
  3. 02extract_content 2 credits
  4. JSON · markdown

05Soalan

Soalan Lazim

01Bagaimana saya boleh mengumpul data latihan yang bersih daripada web secara berskala besar?

Gunakan batch_scrape CrawlForge untuk mengambil ratusan URL secara selari, kemudian extract_content untuk memulangkan teks yang bersih dan bebas boilerplate yang sedia untuk saluran latihan. Anda mendapat kandungan berstruktur, bukannya HTML mentah yang berselerak.

02Mengapa tidak gunakan sahaja HTML mentah untuk latihan model?

HTML mentah penuh dengan navigasi, iklan, dan markup yang menambah gangguan dan membazirkan tokens. extract_content menggunakan pas kebolehbacaan untuk memulangkan hanya kandungan utama sebagai teks bersih atau markdown, yang meningkatkan kualiti set data dan menurunkan kos prapemprosesan.

03Bolehkah saya membina set data yang besar daripada banyak sumber?

Ya. batch_scrape pada 5 credits setiap kelompok menyelarikan pengambilan merentasi ratusan URL, dan extract_content pada 2 credits membersihkan setiap satunya. Gabungkan dengan map_site untuk menyenaraikan sesuatu sumber terlebih dahulu, kemudian kelompokkan URL yang terhasil.

04Adakah CrawlForge menghormati robots.txt semasa mengumpul data?

CrawlForge mematuhi arahan robots dan anda mengawal sumber mana yang anda crawl. Anda bertanggungjawab ke atas hak data yang anda kumpulkan, jadi sasarkan tapak yang anda dibenarkan gunakan untuk latihan dan pastikan skop crawl anda kekal terancang.

06Teruskan meneroka

Kes Penggunaan Berkaitan

Saluran Paip Data Ejen AI

Suapkan ejen AI anda dengan data web langsung — pengekstrakan berstruktur, penyelidikan pelbagai sumber, dan MCP tools dari fetch_url hingga deep_research.

deep_research 10 creditsextract_content 2 credits

Pemindahan Kandungan

Ekstrak dan susun semula kandungan daripada laman lama untuk migrasi ke platform moden. Mengekalkan format, media dan pautan dalaman utuh sebagai Markdown yang bersih.

crawl_deep 4 creditsextract_text 1 credit

Mula menempa

Sedia untuk Bermula?

Setiap akaun baharu mendapat 1,000 credits percuma. Tiada kad kredit diperlukan.

Mula Percuma dengan 1,000 Credits