Cara Menggunakan CrawlForge dengan Cline (VS Code)

Cline ialah pembantu pengekodan AI sumber terbuka untuk VS Code yang menyokong Model Context Protocol. Ia mengubah VS Code menjadi persekitaran pembangunan agentik di mana AI boleh membaca fail, menjalankan arahan, dan -- dengan CrawlForge MCP -- melakukan scraping web. Tidak seperti alternatif sumber tertutup, Cline membenarkan anda memilih penyedia LLM anda sendiri (Anthropic, OpenAI, Google, atau model tempatan melalui Ollama) dan memberi anda kawalan penuh ke atas perkara yang boleh diakses oleh AI.

Tutorial ini menunjukkan cara menyambungkan CrawlForge ke Cline dan menggunakan 26 alat web scraping terus dalam aliran kerja VS Code anda.

Jadual Kandungan

• Prasyarat
• Cara Cline Menggunakan MCP Server
• Langkah 1: Pasang CrawlForge MCP Server
• Langkah 2: Tambah CrawlForge ke Konfigurasi MCP Cline
• Langkah 3: Uji Integrasi
• Aliran Kerja Pembangunan Dunia Sebenar
• Pecahan Kos Credit
• Petua untuk Penggunaan Credit yang Cekap
• Penyelesaian Masalah
• Langkah Seterusnya

Prasyarat

• VS Code dengan sambungan Cline dipasang
• Node.js 18+
• API key LLM (Anthropic, OpenAI, atau penyedia lain yang disokong)
• Satu CrawlForge API key -- daftar percuma untuk 1,000 credits

Cara Cline Menggunakan MCP Server

Cline menemui MCP server melalui fail konfigurasi JSON. Setelah dikonfigurasi, AI boleh melihat semua alat yang tersedia dan memanggilnya semasa perbualan. Kelebihan utama pelaksanaan MCP Cline:

• Aliran kerja kelulusan: Cline menunjukkan kepada anda dengan tepat alat yang ingin dipanggilnya dan dengan parameter apa sebelum melaksanakannya. Anda meluluskan atau menolak setiap tindakan.
• Sokongan berbilang penyedia: Gunakan alat CrawlForge dengan mana-mana LLM, bukan hanya Claude.
• Sumber terbuka: Anda boleh memeriksa dengan tepat cara panggilan alat dibuat.

Langkah 1: Pasang CrawlForge MCP Server

npm install -g crawlforge-mcp-server

Sahkan ia dipasang dengan betul:

crawlforge-mcp-server --version

Langkah 2: Tambah CrawlForge ke Konfigurasi MCP Cline

Buka VS Code dan akses tetapan MCP Cline:

1. Buka Command Palette (Cmd+Shift+P / Ctrl+Shift+P)
2. Taip "Cline: Open MCP Settings"
3. Ini membuka fail cline_mcp_settings.json

Tambah CrawlForge ke senarai server:

// cline_mcp_settings.json
{
  "mcpServers": {
    "crawlforge": {
      "command": "crawlforge-mcp-server",
      "args": [],
      "env": {
        "CRAWLFORGE_API_KEY": "cf_live_your_api_key_here"
      },
      "disabled": false
    }
  }
}

Gantikan API key dengan kunci sebenar anda daripada papan pemuka CrawlForge.

Nota Keselamatan

Cline menyimpan konfigurasi MCP secara tempatan dalam direktori tetapan VS Code anda. API key anda tidak dikomit ke kawalan versi. Untuk persediaan pasukan yang dikongsi, gunakan rujukan pemboleh ubah persekitaran:

{
  "mcpServers": {
    "crawlforge": {
      "command": "crawlforge-mcp-server",
      "args": [],
      "env": {
        "CRAWLFORGE_API_KEY": "${env:CRAWLFORGE_API_KEY}"
      }
    }
  }
}

Kemudian tetapkan pemboleh ubah persekitaran dalam profil shell anda (~/.zshrc atau ~/.bashrc):

export CRAWLFORGE_API_KEY="cf_live_your_api_key_here"

Langkah 3: Uji Integrasi

Buka panel Cline dalam VS Code (klik ikon Cline di bar sisi) dan hantar mesej ini:

Cline akan:

1. Menunjukkan kepada anda panggilan alat yang dicadangkan (extract_content dengan URL)
2. Menunggu kelulusan anda
3. Melaksanakan alat dan memaparkan hasilnya
4. Menjana ringkasan berdasarkan kandungan yang diekstrak

Jika ini berfungsi, anda telah disambungkan. Kesemua 26 alat CrawlForge kini tersedia.

Aliran Kerja Pembangunan Dunia Sebenar

Ambil Dokumentasi Pustaka

Apabila anda menemui API yang tidak biasa, minta Cline mencarinya:

Cline menggunakan search_web (5 credits) CrawlForge untuk mencari halaman dokumen yang betul, kemudian extract_content (2 credits) untuk membacanya, dan menjana contoh kod yang disesuaikan dengan projek anda. Jumlah: 7 credits.

Scrape dan Taipkan Data Luaran

fetch_url (1 credit) CrawlForge mendapatkan JSON, dan Cline menjana antara muka:

// Generated by Cline using CrawlForge data
interface Post {
  userId: number;
  id: number;
  title: string;
  body: string;
}

Siasat Pepijat daripada Stack Overflow

Cline mencari dengan search_web (5 credits), membaca jawapan teratas Stack Overflow dengan extract_content (2 credits), dan menggunakan pembaikan terus pada fail anda. Jumlah: 7 credits.

Selidik Sebelum Melaksanakan

Cline merangkai search_web + beberapa panggilan extract_content, kemudian meringkaskan konsensus. Jumlah: ~11 credits.

Pecahan Kos Credit

Tingkat Free memberi anda 1,000 credits sekali sahaja -- cukup untuk ~140 pengambilan halaman tunggal atau ~90 aliran kerja cari-dan-baca.

Petua untuk Penggunaan Credit yang Cekap

1. Jadilah spesifik dalam gesaan anda. "Fetch the Stripe subscription docs" mencetuskan satu panggilan extract_content (2 credits). "Research Stripe subscriptions" mungkin mencetuskan search_web + beberapa ekstrak (11+ credits).

2. Berikan URL apabila anda memilikinya. "Read https://docs.stripe.com/billing/subscriptions" berharga 2 credits. "Find the Stripe subscription docs" berharga 7 credits (cari + ekstrak).

3. Gunakan fetch_url untuk API JSON. Pada 1 credit, ia ialah pilihan paling murah untuk data berstruktur.

4. Berkelompok penyelidikan anda. Minta Cline menyelidik pelbagai topik dalam satu perbualan dan bukannya memulakan yang baharu.

Penyelesaian Masalah

Cline tidak menunjukkan alat CrawlForge: Mulakan semula VS Code selepas menyunting tetapan MCP. Jika alat masih tidak muncul, semak ralat sintaks JSON dalam cline_mcp_settings.json.

Ralat "Server disconnected": Pastikan crawlforge-mcp-server berada dalam PATH anda. Jalankan which crawlforge-mcp-server dalam terminal anda. Jika ia tidak memulangkan apa-apa, jalankan npm install -g crawlforge-mcp-server sekali lagi.

Panggilan alat gagal dengan 401: API key anda tidak sah atau telah tamat tempoh. Jana kunci baharu di crawlforge.dev/dashboard.

Respons alat yang lambat: Alat berasaskan pelayar (scrape_with_actions, stealth_mode) mengambil masa 3-8 saat. Alat statik (fetch_url, extract_text) bertindak balas dalam masa kurang daripada 1 saat.

Langkah Seterusnya

Dengan CrawlForge disambungkan ke Cline, anda mempunyai pembantu pengekodan berkuasa web. Terokai lebih lanjut:

• Mula Pantas CrawlForge untuk pilihan persediaan terperinci
• Kesemua 26 alat dijelaskan dengan contoh penggunaan
• Mod stealth untuk laman di sebalik Cloudflare atau CAPTCHA
• Automasi deep research untuk analisis berbilang sumber

Ubah VS Code menjadi kuasa besar web scraping. Mula secara percuma dengan 1,000 credits -- tanpa kad kredit.