What is CrawlForge MCP?

CrawlForge MCP is a comprehensive web scraping platform that provides 23 specialized tools for extracting data from websites. It supports the Model Context Protocol (MCP), making it perfect for use with Claude, Cursor, and other AI tools. Key features include credit-based pricing, RESTful API and MCP protocol support, and a free tier with 1,000 trial credits.

How do I get started with CrawlForge MCP?

Getting started takes less than 5 minutes: 1) Sign up for a free account at crawlforge.dev/signup, 2) Navigate to Dashboard Settings and generate your API key, 3) Make your first request using the API key. You start with 1,000 free credits, no credit card required.

What's included in the free tier?

The free tier includes 1,000 one-time trial credits (does not reset monthly), access to all 23 tools, a rate limit of 2 requests per second, 30 days of usage log retention, and community support via Discord and documentation. No credit card required to sign up.

What is the MCP protocol?

The Model Context Protocol (MCP) is an open standard created by Anthropic for enabling seamless communication between AI applications and external data sources. It allows AI models like Claude to directly access web scraping tools without manual API integration. Benefits include direct use in Claude Desktop and Cursor, no code required, and automatic tool selection.

How do I get an API key?

To generate an API key: 1) Sign in to your account, 2) Navigate to Dashboard Settings, 3) Scroll to the API Keys section, 4) Click Generate New API Key, 5) Give your key a descriptive name, 6) Copy the key immediately as it will not be shown again. Never commit API keys to version control; use environment variables instead.

What are the rate limits?

Rate limits vary by plan: Free plan has 2 req/sec and 10 req/min burst limit. Hobby plan has 5 req/sec and 100 req/min. Professional plan has 20 req/sec and 500 req/min. Business plan has 50 req/sec and 1,000 req/min. When you hit the rate limit, you receive a 429 Too Many Requests response.

Each tool uses a specific number of credits per call. Simple tools like fetch_url cost 1 credit, while advanced tools like deep_research cost 10 credits per query. Credits are deducted when a request succeeds. Failed requests (4xx/5xx errors) do not consume credits. You can monitor usage in your dashboard.

What are the credit costs for each tool?

Credit costs (flat per call): fetch_url (1), extract_text (1), extract_links (1), extract_metadata (1), scrape_structured (2), extract_content (2), map_site (2), process_document (2), localization (2), track_changes (3), analyze_content (3), extract_structured (3), summarize_content (4), crawl_deep (4), stealth_mode (5), scrape_with_actions (5), batch_scrape (5), search_web (5), generate_llms_txt (5), deep_research (10).

When do credits refill?

Paid plan credits refill at the start of each billing cycle (monthly). Free tier credits are a one-time allocation of 1,000 credits and do not refill. You can purchase additional credit packs at any time. Auto-recharge is available to automatically buy more credits when your balance gets low.

How do Stripe payments work?

CrawlForge uses Stripe for all payment processing. When you subscribe, Stripe handles the recurring billing securely. You can manage your subscription, update payment methods, and view invoices from Dashboard > Billing. Stripe supports credit/debit cards and is PCI-DSS compliant.

What are the most popular tools?

The most popular CrawlForge tools are: fetch_url and extract_content for basic web scraping, search_web for web search, deep_research for comprehensive AI-powered research, scrape_structured for targeted data extraction with CSS selectors, and batch_scrape for processing multiple URLs efficiently.

Can I use CrawlForge from serverless functions?

Yes, CrawlForge MCP works with serverless functions on Vercel, AWS Lambda, Cloudflare Workers, and more. Tips: set appropriate timeouts (most tools respond in 200-500ms), use environment variables for API keys, implement connection pooling for high-volume applications, and consider using batch_scrape for multiple URLs.

Soalan Lazim

Dapatkan jawapan kepada soalan biasa tentang API, credits, pengesahan, dan penyelesaian masalah CrawlForge MCP.

Mula di Sini

Apakah itu CrawlForge MCP?▼

CrawlForge MCP ialah platform scraping web menyeluruh yang menyediakan 23 alat khusus untuk mengekstrak data daripada tapak web. Ia direka untuk aplikasi AI dan menyokong Model Context Protocol (MCP), menjadikannya sempurna untuk digunakan dengan Claude, Cursor, dan alat AI yang lain.

Ciri utama termasuk:

23 alat scraping berkuasa (fetch_url, deep_research, stealth_mode, dll.)
Harga berasaskan credit dengan kos yang boleh diramal
Sokongan RESTful API dan protokol MCP
Peringkat percuma dengan 1,000 credits percubaan sekali sahaja
Keselamatan dan kebolehpercayaan bertaraf perusahaan

Bagaimana saya bermula dengan CrawlForge MCP?▼

Bermula adalah mudah dan mengambil masa kurang daripada 5 minit:

Daftar: Cipta akaun percuma di crawlforge.dev/signup
Dapatkan kunci API anda: Navigasi ke Dashboard → Settings dan jana kunci API anda
Buat permintaan pertama anda: Gunakan kunci API untuk memanggil mana-mana daripada 23 alat kami

Anda akan bermula dengan 1,000 credits percuma - tiada kad kredit diperlukan!

Lihat Panduan Mula di Sini kami untuk arahan terperinci.

Apa yang termasuk dalam peringkat percuma?▼

Peringkat percuma termasuk:

1,000 credits percubaan sekali sahaja (tidak ditetapkan semula setiap bulan)
Akses kepada kesemua 23 alat (ciri sama seperti pelan berbayar)
Had kadar: 2 permintaan sesaat
Pengekalan data: 30 hari log penggunaan
Sokongan: Sokongan komuniti melalui Discord dan dokumentasi

Sempurna untuk ujian, projek kecil, dan prototaip. Tiada kad kredit diperlukan untuk mendaftar.

Lihat semua pelan →

Apakah protokol MCP?▼

Model Context Protocol (MCP) ialah standard terbuka yang dicipta oleh Anthropic untuk membolehkan komunikasi yang lancar antara aplikasi AI dan sumber data luaran. Ia membolehkan model AI seperti Claude mengakses alat scraping web secara terus tanpa integrasi API manual.

Faedah MCP:

Gunakan alat CrawlForge secara terus dalam Claude Desktop, Cursor, dan aplikasi serasi MCP yang lain
Tiada kod diperlukan - hanya arahan bahasa semula jadi
Pemilihan alat automatik berdasarkan keperluan anda
Antara muka piawai merentas semua MCP server

Ketahui lebih lanjut dalam Panduan Protokol MCP kami.

Bagaimana saya membuat panggilan API pertama saya?▼

Berikut ialah contoh mudah menggunakan alat fetch_url (1 credit):

terminalBash

Atau menggunakan TypeScript:

example.tsTypescript

Lihat Panduan Mula di Sini kami untuk lebih banyak contoh.

API & Pengesahan

Bagaimana saya mendapatkan kunci API?▼

Untuk menjana kunci API:

Log masuk ke akaun anda
Navigasi ke Dashboard → Settings
Tatal ke bahagian "API Keys"
Klik "Generate New API Key"
Beri kunci anda nama deskriptif (cth., "Production", "Development")
Salin kunci dengan segera - ia tidak akan ditunjukkan lagi!

Petua keselamatan: Jangan sekali-kali memuat naik kunci API ke kawalan versi. Gunakan pemboleh ubah persekitaran sebaliknya.

Apakah kaedah pengesahan yang disokong?▼

CrawlForge MCP menyokong pengesahan kunci API melalui pengepala X-API-Key:

terminalBash

Format kunci API:

cf_test_... - Persekitaran ujian (pembangunan)
cf_live_... - Persekitaran pengeluaran

Semua permintaan mesti dibuat melalui HTTPS. Permintaan HTTP akan ditolak.

Apakah had kadar?▼

Had kadar berbeza mengikut pelan:

Pelan	Had Kadar	Had Pecutan
Free	2 req/saat	10 req/min
Hobby	5 req/saat	100 req/min
Professional	20 req/saat	500 req/min
Business	50 req/saat	1000 req/min

Apabila anda mencapai had kadar, anda akan menerima respons 429 Too Many Requests.

Bagaimana saya mengendalikan ralat API?▼

CrawlForge MCP menggunakan kod status HTTP standard:

200 OK: Permintaan berjaya
400 Bad Request: Parameter tidak sah atau medan wajib tiada
401 Unauthorized: Kunci API tiada atau tidak sah
402 Payment Required: Credits tidak mencukupi
429 Too Many Requests: Had kadar melebihi
500 Internal Server Error: Ralat di sebelah pelayan (kami akan menyiasat)

Contoh respons ralat:

error.jsonJson

Laksanakan logik cuba semula dengan backoff eksponen untuk ralat 429 dan 500. Lihat Panduan Pengendalian Ralat kami.

Bolehkah saya menggunakan CrawlForge daripada fungsi serverless?▼

Ya! CrawlForge MCP berfungsi dengan sempurna dengan fungsi serverless pada Vercel, AWS Lambda, Cloudflare Workers, dan banyak lagi.

Petua untuk serverless:

Tetapkan tamat masa yang sesuai (kebanyakan alat memberi respons dalam 200-500ms)
Gunakan pemboleh ubah persekitaran untuk kunci API
Laksanakan penggabungan sambungan untuk aplikasi isi padu tinggi
Pertimbangkan untuk menggunakan batch_scrape untuk berbilang URL

Contoh untuk Vercel Edge Functions:

api/scrape.tsTypescript

Credits & Pengebilan

Bagaimana credits berfungsi?▼

Credits ialah unit penggunaan dalam CrawlForge MCP. Setiap alat memerlukan bilangan credits tertentu setiap permintaan:

1 credit: Alat asas (fetch_url, extract_text, extract_links, extract_metadata)
2 credits: Ekstraksi berstruktur (scrape_structured, extract_content, map_site)
3-4 credits: Pemprosesan lanjutan (analyze_content, track_changes, extract_structured, summarize_content)
5 credits: Automasi pelayar (scrape_with_actions, search_web, stealth_mode, batch_scrape, generate_llms_txt)
10 credits: Penyelidikan mendalam (pengagregatan berbilang sumber)

Credits ditolak hanya pada permintaan yang berjaya. Permintaan yang gagal tidak menggunakan credits.

Lihat pecahan penuh dalam Panduan Pengoptimuman Credit kami.

Apakah kos credit untuk setiap alat?▼

Credits	Alat
1	fetch_url, extract_text, extract_links, extract_metadata
2	scrape_structured, extract_content, map_site, localization, process_document
3	analyze_content, track_changes, extract_structured
4	summarize_content, crawl_deep
5	scrape_with_actions, search_web, stealth_mode, batch_scrape, generate_llms_txt
10	deep_research

Petua pengoptimuman kos: Sentiasa mulakan dengan fetch_url (1 credit) apabila anda tahu URL. Gunakan search_web (5 credits) hanya apabila anda perlu menemui URL.

Bilakah credits diisi semula?▼

Pengisian semula credit bergantung pada pelan anda:

Free Plan: 1,000 credits percubaan sekali sahaja (tiada pengisian semula bulanan — naik taraf ke pelan berbayar untuk credits bulanan)
Pelan Berbayar: Credits diisi semula pada tarikh pengebilan anda (hari anda melanggan atau menaik taraf)

Contoh: Jika anda menaik taraf ke Hobby pada 15 Januari, anda akan menerima 5,000 credits pada 15 setiap bulan.

Berita baik: Credits yang tidak digunakan dibawa ke bulan berikutnya, jadi anda tidak akan kehilangan credits yang telah anda bayar!

Anda boleh menyemak baki credit dan tarikh pengisian semula seterusnya dalam Dashboard anda.

Apa yang berlaku kepada credits yang tidak digunakan?▼

Credits yang tidak digunakan dibawa ke hadapan ke bulan berikutnya! Baki anda yang tinggal dibawa ke hadapan apabila anda menerima peruntukan bulanan anda.

Contoh:

Anda mempunyai pelan Hobby (5,000 credits/bulan)
Anda menggunakan 3,000 credits bulan ini, meninggalkan 2,000 tidak digunakan
Pada tarikh pengisian semula anda, anda akan mempunyai 7,000 credits (2,000 + 5,000)

Petua pro: Credits tidak pernah luput, jadi anda boleh membina baki untuk projek yang lebih besar!

Bagaimana pembayaran Stripe berfungsi?▼

CrawlForge MCP menggunakan Stripe untuk pemprosesan pembayaran yang selamat:

Langgan: Klik "Upgrade" pada halaman Pricing
Masukkan butiran pembayaran: Stripe mengendalikan semua maklumat pembayaran dengan selamat
Pengebilan automatik: Anda akan dicaj setiap bulan pada tarikh langganan anda
Pengaktifan segera: Credits ditambah dengan serta-merta selepas pembayaran berjaya

Kami menerima:

Kad kredit (Visa, Mastercard, American Express)
Kad debit
Apple Pay & Google Pay
Pemindahan bank (pelan Business sahaja)

Anda boleh membatalkan atau menukar pelan anda pada bila-bila masa daripada Dashboard anda.

Alat & Ciri

Apakah alat yang paling popular?▼

Berdasarkan data penggunaan, 5 alat paling popular ialah:

fetch_url (1 credit) - Pengambilan halaman asas, paling pantas dan paling murah
extract_text (1 credit) - Ekstraksi teks bersih tanpa HTML
scrape_structured (2 credits) - Ekstrak data tertentu menggunakan pemilih CSS
deep_research (10 credits) - Penyelidikan dan pengagregatan berbilang sumber
stealth_mode (5 credits) - Pintas pengesanan anti-bot

Lihat kesemua 23 alat dalam Rujukan API.

Bilakah saya patut menggunakan batch_scrape berbanding permintaan individu?▼

Gunakan batch_scrape apabila:

Anda perlu scrape 3+ URL sekaligus
Anda mahu menyelarikan permintaan untuk prestasi yang lebih baik
Anda sanggup menukar credits untuk kelajuan (50% lebih pantas secara purata)

Gunakan permintaan individu apabila:

Anda hanya perlukan 1-2 URL
Anda perlu memproses keputusan secara berurutan
Anda mahu pengendalian ralat yang lebih terperinci

Perbandingan kos:

Individu: 10 URL × 1 credit = 10 credits, ~5 saat (berurutan)
Kelompok: 10 URL × 1 credit = 10 credits, ~1 saat (selari)

Lihat Panduan Pemprosesan Kelompok kami untuk contoh.

Bilakah saya patut menggunakan automasi pelayar (scrape_with_actions)?▼

Gunakan scrape_with_actions apabila:

Kandungan dimuatkan melalui JavaScript (SPA, aplikasi React, Vue, Angular)
Anda perlu berinteraksi dengan halaman (klik butang, isi borang, tatal)
Kandungan memerlukan pengesahan (aliran log masuk)
Halaman menggunakan tatal tak terhingga atau lazy loading

Jangan gunakannya apabila:

Halaman menyajikan HTML statik (gunakan fetch_url untuk 1 credit dan bukannya 5)
Titik akhir API tersedia (gunakan fetch_url)
Anda hanya perlukan ekstraksi teks asas

Petua kos: Automasi pelayar memerlukan 5 credits berbanding 1 credit untuk scraping statik. Sentiasa uji dengan fetch_url dahulu!

Ketahui lebih lanjut dalam Panduan Scraping Lanjutan kami.

Penyelesaian Masalah

Mengapa saya menerima ralat 429 "Too Many Requests"?▼

Anda sedang mencapai had kadar pelan anda. Ini berlaku apabila anda menghantar terlalu banyak permintaan terlalu cepat.

Penyelesaian:

Laksanakan logik cuba semula: Tunggu 1-2 saat dan cuba semula dengan backoff eksponen
Gunakan batch_scrape: Kelompokkan berbilang URL ke dalam satu permintaan
Tambah lengah: Jarakkan permintaan anda (cth., 500ms antara panggilan pada Free plan)
Naik taraf pelan anda: Pelan yang lebih tinggi mempunyai had kadar yang lebih tinggi

Contoh logik cuba semula:

retry.tsTypescript

Mengapa saya tidak boleh menyambung ke API?▼

Isu sambungan biasa dan pembetulannya:

Kunci API tidak sah (ralat 401):
- Sahkan kunci API anda betul (semak ralat taip)
- Pastikan anda menggunakan pengepala X-API-Key (bukan Authorization)
- Jana semula kunci API anda jika perlu
Ralat CORS (pelayar):
- Panggilan API daripada pelayar tidak disokong (risiko keselamatan)
- Buat panggilan API daripada backend/fungsi serverless anda sebaliknya
- Jangan sekali-kali mendedahkan kunci API dalam kod sebelah klien
Ralat SSL/TLS:
- Pastikan anda menggunakan https:// bukan http://
- Kemas kini sijil SSL anda jika menggunakan persekitaran lama
Tamat masa rangkaian:
- Semak tetapan tembok api/proksi anda
- Tingkatkan tamat masa permintaan (kebanyakan alat memberi respons dalam <500ms)