CrawlForge MCP Kini Tersedia: Web Scraping Percuma untuk Agen AI

Hari ini kami melancarkan CrawlForge MCP -- platform web scraping lengkap yang dibina dari asas untuk agen AI. Sama ada anda membina dengan Claude, Cursor, atau mana-mana klien yang serasi dengan MCP, CrawlForge memberi AI anda kuasa untuk fetch, extract, analyze, dan research data web melalui 26 alat khusus.

Dan ya, ia percuma sepenuhnya untuk bermula. Setiap akaun baharu mendapat 1,000 credits -- tanpa memerlukan kad kredit.

Kandungan

• Kenapa Kami Membina CrawlForge
• 26 Alat untuk Setiap Senario Scraping
• Bagaimana Integrasi MCP Berfungsi
• Harga Berasaskan Credit yang Berskala
• Bermula dalam 60 Saat
• Apa yang Membezakan CrawlForge
• Apa yang Seterusnya

Kenapa Kami Membina CrawlForge

Agen AI ialah penaakul yang berkuasa, tetapi mereka buta terhadap web secara langsung. Minta Claude untuk menyemak halaman harga pesaing, scrape ulasan produk, atau menyelidik pasaran -- dan ia akan terbentur dinding. Alat scraping tradisional tidak pernah direka untuk cara agen AI berfungsi.

CrawlForge mengubah itu. Kami membina sebuah MCP server yang bertutur dalam bahasa yang sudah difahami oleh agen AI: Model Context Protocol. Tiada wrapper API tersuai. Tiada persediaan SDK. Hanya pasang, konfigurasi, dan AI anda boleh scrape.

26 Alat untuk Setiap Senario Scraping

Kami tidak membina satu scraper generik dan berhenti di situ. CrawlForge disertakan dengan 26 alat yang dibina untuk tujuan khusus, setiap satu dioptimumkan untuk satu tugas tertentu:

Pengekstrakan Asas

• fetch_url (1 credit) -- Dapatkan mana-mana halaman web dengan HTML penuh
• extract_text (1 credit) -- Tarik teks yang bersih dan boleh dibaca daripada mana-mana URL
• extract_links (1 credit) -- Temui semua pautan pada satu halaman
• extract_metadata (1 credit) -- Dapatkan tajuk, deskripsi, tag Open Graph, dan lebih banyak lagi

Data Berstruktur

• scrape_structured (2 credits) -- Ekstrak data menggunakan pemilih CSS atau skema
• extract_content (2 credits) -- Pengekstrakan kandungan utama yang pintar
• map_site (2 credits) -- Jana sitemap lengkap bagi mana-mana domain
• process_document (2 credits) -- Hurai PDF, DOCX, dan format fail lain

Keupayaan Lanjutan

• search_web (5 credits) -- Integrasi carian Google dengan keputusan berstruktur
• crawl_deep (4 credits) -- Crawling berbilang halaman dengan kedalaman yang boleh dikonfigurasi
• batch_scrape (5 credits) -- Proses beratus-ratus URL secara selari
• scrape_with_actions (5 credits) -- Automasi pelayar dengan klik, tatal, dan isian borang

Dikuasakan AI

• deep_research (10 credits) -- Penyelidikan berbilang sumber dengan pengesanan konflik
• analyze_content (3 credits) -- Analisis sentimen, topik, dan entiti
• summarize_content (4 credits) -- Peringkasan kandungan yang pintar
• stealth_mode (5 credits) -- Pintas pengesanan anti-bot dengan proksi kediaman
• localization (2 credits) -- Akses kandungan terhad geografi dari mana-mana negara
• track_changes (3 credits) -- Kesan perubahan kandungan pada halaman yang dipantau

Setiap alat tersedia melalui antara muka MCP yang sama. Agen AI anda memilih yang betul secara automatik berdasarkan apa yang anda mintanya lakukan.

Bagaimana Integrasi MCP Berfungsi

Model Context Protocol ialah standard terbuka yang membenarkan pembantu AI bersambung kepada alat luaran. CrawlForge melaksanakan protokol ini secara asli, yang bermaksud:

1. Claude Code menemui kesemua 26 alat secara automatik
2. Cursor boleh menggunakan CrawlForge untuk penyelidikan kod dan pengambilan dokumentasi
3. Mana-mana klien MCP berfungsi sebaik sahaja dipasang -- tanpa perlu integrasi tersuai

Beginilah rupanya dalam amalan:

// Just tell Claude what you need in natural language:
"Fetch the pricing page from competitor.com and extract their plan names and prices"

// Claude automatically selects scrape_structured, sends the request,
// and returns clean, structured data:
{
  "plans": [
    { "name": "Starter", "price": "$29/mo", "features": ["5,000 requests", "Basic support"] },
    { "name": "Pro", "price": "$99/mo", "features": ["50,000 requests", "Priority support"] }
  ]
}

Tiada kod yang perlu ditulis. Tiada API key yang perlu dihantar secara manual. Claude mengendalikan pemilihan alat, pembinaan parameter, dan penghuraian keputusan.

Harga Berasaskan Credit yang Berskala

Kami mereka bentuk harga berdasarkan prinsip yang mudah: bayar untuk apa yang anda guna, bukan untuk apa yang anda mungkin guna.

Alat ringkas seperti fetch_url berharga hanya 1 credit. Alat lanjutan seperti deep_research berharga 10. Kebanyakan pembangun mendapati free tier menampung eksperimen mereka, dan plan Hobby mengendalikan kes penggunaan pengeluaran dengan selesa.

Lihat semua butiran harga di laman kami.

Bermula dalam 60 Saat

Tiga langkah. Itu sahaja yang diperlukan.

Langkah 1: Pasang

npm install -g crawlforge-mcp-server

Langkah 2: Dapatkan API key percuma anda

Daftar di crawlforge.dev/signup -- anda akan menerima 1,000 credits serta-merta.

Langkah 3: Konfigurasikan Claude Code

npx crawlforge-setup

Itu sahaja. Minta Claude untuk "search the web for the latest news on AI agents" dan lihat CrawlForge mengendalikan selebihnya.

Untuk panduan terperinci, lihat panduan permulaan pantas kami.

Apa yang Membezakan CrawlForge

MCP asli, bukan tambahan kemudian. Kami membina CrawlForge sebagai MCP server sejak hari pertama. Setiap alat dioptimumkan untuk cara agen AI menemui, menggunakan, dan memproses keputusan.

26 alat khusus, bukan satu scraper generik. Tugas scraping yang berbeza mempunyai keperluan yang berbeza. Pengambilan halaman yang ringkas tidak sepatutnya berharga sama atau menggunakan logik yang sama dengan operasi penyelidikan berbilang sumber.

Pintasan anti-bot terbina dalam. Stealth mode kami menggunakan proksi kediaman dan putaran cap jari pelayar untuk mengakses laman yang menyekat scraper tradisional.

Penyelidikan mendalam yang benar-benar berfungsi. Alat deep_research bukan sekadar mengambil halaman -- ia menanyakan berbilang sumber, merujuk silang dakwaan, mengesan konflik, dan menghasilkan laporan bersitasi.

Kos credit yang telus. Setiap alat menyenaraikan kos credit awal. Tiada bil mengejut. Tiada yuran tersembunyi. Dashboard anda menunjukkan penggunaan masa nyata.

Apa yang Seterusnya

Pelancaran ini hanyalah permulaan. Inilah yang sedang kami usahakan:

• Webhooks -- Dapatkan pemberitahuan apabila kerja scraping yang berjalan lama selesai
• Pengekstrak tersuai -- Tentukan skema pengekstrakan yang boleh digunakan semula untuk kes penggunaan khusus anda
• Ruang kerja pasukan -- Kongsi API keys dan urus penggunaan merentas organisasi anda
• Lebih banyak klien MCP -- Integrasi khusus untuk Windsurf, Cline, dan alat AI lain

Kami membina CrawlForge secara terbuka. Ikuti kami di Twitter untuk kemas kini, atau sertai Discord kami untuk berkongsi maklum balas dan permintaan ciri.

Bersedia untuk memberi AI anda kuasa untuk scrape web? Mula percuma dengan 1,000 credits -- tanpa memerlukan kad kredit.