Anda mahu AI anda melakukan scraping pada web. Inilah caranya untuk menjadikannya kenyataan dalam masa kurang seminit.
Prasyarat
- Node.js 18+ -- semak dengan
node --version - Claude Code -- pasang dengan
npm install -g @anthropic-ai/claude-code
Itu sahaja. Mari kita mulakan.
Langkah 1: Pasang CrawlForge
npm install -g crawlforge-mcp-serverLangkah 2: Dapatkan API Key Percuma Anda
- Pergi ke crawlforge.
dev/ signup - Cipta akaun anda (tiada kad kredit diperlukan)
- Salin API key anda (bermula dengan
cf_live_)
Anda kini mempunyai 1,000 credits percuma untuk digunakan.
Langkah 3: Konfigurasi Claude Code
Jalankan bestari persediaan:
npx crawlforge-setupMasukkan API key anda apabila diminta. Bestari ini mengesahkan sambungan anda dan mengkonfigurasi Claude Code secara automatik.
Alternatif: Tetapkan pemboleh ubah persekitaran secara manual:
export CRAWLFORGE_API_KEY="cf_live_your_key_here"Anda Sudah Bersedia. Cuba Contoh Ini.
Buka Claude Code dan tampal mana-mana gesaan ini:
Fetch Halaman Web (1 credit)
Fetch https://news.ycombinator.com and show me the top 5 stories
Claude menggunakan fetch_url untuk mengambil halaman, kemudian menghuraikan HTML untuk mengekstrak tajuk dan pautan cerita.
Cari di Web (5 credits)
Search the web for "best MCP servers for web scraping 2026" and summarize the top 3 results
Claude menggunakan search_web untuk membuat pertanyaan di Google, kemudian meringkaskan setiap hasil.
Ekstrak Data Berstruktur (2 credits)
Extract all product names and prices from https://books.toscrape.com
Claude menggunakan scrape_structured dengan pemilih CSS untuk menarik data berstruktur ke dalam jadual yang kemas.
Penyelidikan Mendalam (10 credits)
Research the current state of the MCP ecosystem: key players, adoption stats, and where it is heading
Claude menggunakan deep_research untuk membuat pertanyaan pelbagai sumber, merujuk silang tuntutan, dan menghasilkan laporan yang dipetik.
Stealth Scrape (5 credits)
Use stealth mode to fetch the pricing page from cloudflare.com
Claude menggunakan stealth_mode dengan putaran cap jari pelayar dan proksi yang anda bekalkan untuk melepasi perlindungan anti-bot.
Kos Credit Sepintas Lalu
| Tool | Credits | Kes Penggunaan |
|---|---|---|
| fetch_url, extract_text, extract_links | 1 | Pengambilan halaman asas |
| scrape_structured, extract_content, map_site | 2 | Pengekstrakan data |
| analyze_content | 3 | Analisis sentimen, topik, dan entiti |
| crawl_deep | 4 | Crawling pelbagai halaman |
| search_web, batch_scrape | 5 | Carian dan operasi pukal |
| deep_research | 10 | Penyelidikan AI pelbagai sumber |
1,000 credits percuma anda memberi anda 1,000 pengambilan asas, 200 carian, atau 100 operasi penyelidikan mendalam.
Langkah Seterusnya
- Rujukan persediaan penuh: Pemasangan NPM dalam dokumentasi CrawlForge
- Baca pengumuman pelancaran untuk gambaran keseluruhan ciri yang lengkap
- Layari rujukan API untuk kesemua 31 tools
- Lihat panduan MCP yang lengkap untuk corak lanjutan
- Sediakan Claude Desktop jika anda lebih suka GUI
Ada soalan? Sertai Discord kami atau buka isu di GitHub. Selamat melakukan scraping!
