Cara Memasang CrawlForge MCP dan Menggunakannya dalam Claude Code: Panduan Pemula

Jika anda baharu menggunakan Claude Code (pembantu AI berasaskan terminal daripada Anthropic) dan ingin memberinya kuasa untuk scrape laman web, search the web, dan mengekstrak kandungan, anda berada di tempat yang betul. Panduan mesra pemula ini akan membimbing anda melalui segala-galanya daripada pemasangan sehingga web scrape pertama anda yang berjaya.

Apa yang Anda Akan Pelajari

Menjelang akhir panduan ini, anda akan dapat:

• Memasang CrawlForge MCP pada komputer anda
• Menyediakan API key percuma anda (1,000 credits disertakan)
• Mengkonfigurasi Claude Code untuk menggunakan CrawlForge
• Menjalankan arahan web scraping pertama anda

Masa yang diperlukan: Kira-kira 5-10 minit

Apakah itu CrawlForge MCP?

Sebelum kita mendalaminya, mari kita fahami apa yang kita pasang:

• CrawlForge ialah perkhidmatan web scraping profesional dengan 26 alat berbeza
• MCP bermaksud Model Context Protocol - inilah cara pembantu AI seperti Claude bersambung kepada alat luaran
• Claude Code ialah pembantu AI baris arahan daripada Anthropic yang berjalan dalam terminal anda

Apabila anda menyambungkan CrawlForge kepada Claude Code, anda hanya boleh meminta Claude untuk "fetch this webpage" atau "search for information about X" dan ia akan menggunakan alat CrawlForge secara automatik.

Prasyarat

Sebelum bermula, pastikan anda mempunyai:

1. Node.js 18 atau lebih tinggi dipasang

   • Semak dengan menjalankan: node --version
   • Muat turun dari nodejs.org jika perlu

2. Claude Code dipasang

   • Jika anda belum memilikinya, pasang dengan: npm install -g @anthropic-ai/claude-code

3. Terminal/gesaan arahan terbuka

Itu sahaja! Mari kita mulakan.

Langkah 1: Pasang CrawlForge MCP Server

Buka terminal anda dan jalankan arahan ini:

npm install -g crawlforge-mcp-server

Apa yang ini lakukan:

• Memuat turun pakej CrawlForge MCP server
• Memasangnya secara global pada komputer anda (bendera -g)
• Menjadikannya tersedia daripada mana-mana direktori

Anda sepatutnya melihat output seperti:

Langkah 2: Sediakan API Key Anda

Sekarang kita perlu mendapatkan API key percuma anda dan mengkonfigurasinya. Jalankan:

npx crawlforge-setup

Wizard persediaan interaktif ini akan:

1. Bertanya sama ada anda mempunyai API key

   • Jika ya: Masukkannya apabila digesa
   • Jika tidak: Ia akan membuka pelayar anda untuk mencipta akaun percuma

2. Membimbing anda untuk mendapatkan API key percuma anda

   • Pergi ke crawlforge.dev/signup
   • Cipta akaun anda (tanpa memerlukan kad kredit)
   • Anda akan menerima 1,000 credits percuma serta-merta
   • Salin API key anda (ia bermula dengan cf_live_)

3. Mengkonfigurasi kelayakan anda dengan selamat

   • Persediaan menyimpan API key anda di ~/.crawlforge/config.json
   • Ini memastikannya selamat dan berasingan daripada projek anda

4. Mengesahkan segalanya berfungsi

   • Persediaan menguji sambungan anda untuk mengesahkan ia sudah sedia

Alternatif: Konfigurasi Manual

Jika anda lebih suka menyediakannya secara manual, anda boleh:

Pilihan A: Pemboleh Ubah Persekitaran

# Add to your shell profile (~/.bashrc, ~/.zshrc, etc.)
export CRAWLFORGE_API_KEY="cf_live_your_api_key_here"

Pilihan B: Fail Konfigurasi

Cipta ~/.crawlforge/config.json:

{
  "apiKey": "cf_live_your_api_key_here",
  "email": "you@example.com"
}

Langkah 3: Konfigurasikan Claude Code

Sekarang kita perlu memberitahu Claude Code tentang CrawlForge. Terdapat dua cara untuk melakukannya:

Kaedah 1: Tambah ke Tetapan Claude Code (Disyorkan)

Jalankan Claude Code dan gunakan arahan /mcp untuk menambah server:

claude

# Once Claude Code starts, type:
/mcp add crawlforge npx crawlforge-mcp-server

Ini menambah CrawlForge ke konfigurasi Claude Code anda secara automatik.

Kaedah 2: Edit Fail Konfigurasi

Anda juga boleh mengedit tetapan MCP Claude Code anda secara manual. Lokasi fail konfigurasi bergantung pada sistem pengendalian anda:

macOS:

Windows:

Linux:

Tambah konfigurasi ini:

{
  "crawlforge": {
    "command": "npx",
    "args": ["crawlforge-mcp-server"]
  }
}

Langkah 4: Mulakan Semula Claude Code

Untuk perubahan berkuat kuasa, mulakan semula Claude Code:

1. Jika Claude Code sedang berjalan, keluar daripadanya (taip exit atau tekan Ctrl+C)
2. Mulakannya semula:

claude

Anda sepatutnya melihat CrawlForge disenaraikan dalam alat MCP yang tersedia.

Langkah 5: Web Scrape Pertama Anda!

Sekarang untuk bahagian yang menyeronokkan - mari kita uji! Mulakan Claude Code dan cuba arahan ini:

Contoh 1: Fetch Halaman Web Mudah

Claude akan menggunakan alat fetch_url (1 credit) dan menunjukkan kepada anda kandungan HTML.

Contoh 2: Ekstrak Teks Bersih

Claude akan menggunakan extract_text (1 credit) untuk mendapatkan teks yang bersih dan boleh dibaca tanpa tag HTML.

Contoh 3: Dapatkan Semua Pautan daripada Halaman

Claude akan menggunakan extract_links (1 credit) untuk mencari dan menyenaraikan setiap pautan.

Contoh 4: Search the Web

Claude akan menggunakan search_web (5 credits) untuk mencari keputusan yang relevan.

Contoh 5: Deep Research

Claude akan menggunakan deep_research (10 credits) untuk mencari berbilang sumber, mengesahkan maklumat, dan mensintesis jawapan yang komprehensif.

Memahami Credits

CrawlForge menggunakan sistem berasaskan credit. Setiap alat berharga sejumlah credits tertentu:

Akaun percuma anda termasuk 1,000 credits - itu cukup untuk:

• 1,000 pengambilan halaman asas, ATAU
• 100 pertanyaan deep research, ATAU
• Campuran operasi yang berbeza

Tip pro: Mulakan dengan alat asas seperti fetch_url dan extract_text untuk menjimatkan credits sambil belajar!

Kesemua 26 Alat yang Tersedia

Inilah yang anda boleh lakukan dengan CrawlForge:

Alat Asas (1 credit setiap satu)

• fetch_url - Dapatkan HTML mentah daripada mana-mana URL
• extract_text - Ekstrak teks bersih tanpa HTML
• extract_links - Dapatkan semua pautan daripada halaman
• extract_metadata - Dapatkan metadata SEO, tag Open Graph, dll.

Alat Kandungan (2-3 credits)

• scrape_structured - Ekstrak data menggunakan pemilih CSS
• extract_content - Pengekstrakan artikel/kandungan utama yang pintar
• summarize_content - Peringkasan dikuasakan AI
• analyze_content - Analisis sentimen, bahasa, dan topik

Alat Laman (2-5 credits)

• map_site - Temui semua halaman pada laman web
• crawl_deep - Crawl berbilang halaman dengan kawalan kedalaman
• batch_scrape - Proses banyak URL sekaligus

Alat Penyelidikan (5-10 credits)

• search_web - Carian web melalui Google/DuckDuckGo
• deep_research - Penyelidikan berbilang peringkat dengan pengesahan

Alat Lanjutan (3-10 credits)

• stealth_mode - Pelayaran anti-pengesanan
• scrape_with_actions - Automasi pelayar (klik, borang)
• process_document - Ekstrak teks daripada PDF
• localization - Scraping disasarkan geografi
• track_changes - Kesan perubahan kandungan pada halaman yang dipantau

Penyelesaian Masalah

"Command not found: npx"

Pastikan Node.js dipasang:

node --version  # Should show v18.0.0 or higher

Jika tidak, muat turun dari nodejs.org.

"API key not found"

Jalankan persediaan sekali lagi:

npx crawlforge-setup

Atau semak secara manual fail konfigurasi anda di ~/.crawlforge/config.json.

"Insufficient credits"

Semak baki anda di crawlforge.dev/dashboard. Anda boleh:

• Naik taraf ke plan berbayar untuk lebih banyak credits
• Membeli pek credit tambahan

Claude Code tidak nampak CrawlForge

1. Pastikan anda memulakan semula Claude Code selepas konfigurasi
2. Semak bahawa MCP server dikonfigurasi dengan betul
3. Cuba jalankan npx crawlforge-mcp-server secara manual untuk melihat sama ada terdapat ralat

Apa yang Seterusnya?

Sekarang setelah anda menyediakan CrawlForge, berikut beberapa idea:

1. Bina aliran kerja penyelidikan - Minta Claude untuk menyelidik topik dan menyusun laporan
2. Pantau pesaing - Jejaki perubahan pada laman web pesaing
3. Kumpul data - Ekstrak maklumat produk, harga, atau ulasan
4. Cipta kandungan - Kumpulkan maklumat untuk pos blog atau dokumentasi

Plan Harga

Apabila anda memerlukan lebih banyak credits:

Credits tidak pernah luput dan dibawa ke hadapan dari bulan ke bulan pada plan berbayar!

Perlukan Bantuan?

• Dokumentasi: crawlforge.dev/docs
• GitHub Issues: github.com/mysleekdesigns/crawlforge-mcp/issues
• E-mel: support@crawlforge.dev
• Discord: Sertai komuniti kami

Bersedia untuk bermula? Anda mempunyai 1,000 credits percuma menanti anda di crawlforge.dev/signup. Selamat scraping!