Cara Menambah Web Scraping ke Claude Desktop dalam 5 Minit

Jika anda pernah berharap Claude boleh mengambil data masa nyata daripada web, mencari maklumat, atau mengekstrak kandungan daripada laman web, anda berada di tempat yang betul. Dengan Model Context Protocol (MCP), anda boleh memberi Claude Desktop keupayaan web scraping asli dalam beberapa minit sahaja.

Mengapa Claude Memerlukan Akses Web

Claude berkuasa untuk analisis, penulisan, dan penaakulan, tetapi ia dilatih pada data dengan had pengetahuan. Tanpa akses web, Claude tidak boleh:

• Menyelidik peristiwa semasa atau harga
• Mengambil dokumentasi daripada laman web luaran
• Mengekstrak data daripada tapak pesaing
• Mengesahkan maklumat dalam masa nyata
• Mengagregat kandungan daripada pelbagai sumber

Di situlah MCP berperanan.

Apakah itu MCP?

Model Context Protocol (MCP) ialah standard terbuka Anthropic untuk menyambungkan pembantu AI seperti Claude kepada alat dan sumber data luaran. Anggap ia sebagai sistem pemalam untuk Claude Desktop.

Daripada Claude terhad kepada data latihannya, MCP server boleh:

• Mengambil data langsung daripada API dan laman web
• Melaksanakan tindakan seperti web scraping, pertanyaan pangkalan data, atau operasi fail
• Menyediakan alat yang boleh dipanggil Claude dengan bijak berdasarkan gesaan anda

CrawlForge MCP ialah MCP server khusus yang memberi Claude 20 alat web scraping berkuasa, daripada pengambilan URL asas hingga penyelidikan berkuasa AI.

Prasyarat

Sebelum kita mula, pastikan anda mempunyai:

• Claude Desktop dipasang (muat turun di sini)
• Node.js 18+ dipasang (nodejs.org)
• Akaun CrawlForge percuma dengan 1,000 credits (daftar di sini)

Itu sahaja. Tiada pengekodan diperlukan.

Langkah 1: Dapatkan API Key Anda

Pertama, kita memerlukan API key untuk mengesahkan permintaan kepada CrawlForge:

1. Pergi ke crawlforge.dev dan daftar untuk akaun percuma
2. Anda akan mendapat 1,000 credits percuma untuk bermula (tiada kad kredit diperlukan)
3. Navigasi ke Dashboard → API Keys
4. Klik "Create API Key"
5. Berikan ia nama (cth., "Claude Desktop")
6. Salin API key (ia bermula dengan cf_live_)

⚠️ Penting: Simpan kunci ini di tempat yang selamat. Anda hanya akan melihatnya sekali sahaja.

Langkah 2: Konfigurasikan Claude Desktop

Sekarang kita akan menambah CrawlForge ke fail konfigurasi MCP Claude.

Cari Fail Konfigurasi Anda

Lokasi bergantung pada sistem pengendalian anda:

macOS:

Windows:

Linux:

Tambah CrawlForge MCP Server

Buka fail dalam editor teks anda dan tambah konfigurasi ini:

Gantikan cf_live_YOUR_API_KEY_HERE dengan API key yang anda salin dalam Langkah 1.

Jika anda sudah mempunyai MCP server lain yang dikonfigurasikan, hanya tambah entri "crawlforge" ke dalam objek "mcpServers" sedia ada.

Langkah 3: Mulakan Semula dan Uji

1. Tutup Claude Desktop sepenuhnya (klik kanan ikon dan pilih "Quit")
2. Buka semula Claude Desktop
3. Anda sepatutnya melihat ikon alat kecil (🔧) dalam kotak input, menunjukkan alat MCP telah dimuatkan

Untuk menguji, cuba gesaan ini:

Fetch the homepage of example.com and extract its text content

Claude akan secara automatik menggunakan alat fetch_url (1 credit) untuk mengambil halaman, kemudian extract_text (1 credit) untuk menghuraikan kandungan. Anda sepatutnya melihat teks penuh daripada example.com dalam respons.

5 Contoh Praktikal

Kini CrawlForge telah disambungkan, inilah yang boleh anda lakukan:

1. Ambil Halaman Web

Get me the HTML from https://news.ycombinator.com

Claude menggunakan fetch_url (1 credit) untuk mendapatkan HTML mentah.

2. Ekstrak Kandungan Artikel

Extract the main content from this article: https://example.com/blog/post

Claude menggunakan extract_content (2 credits) untuk mengenal pasti dan mengekstrak hanya teks artikel, membuang iklan dan navigasi.

3. Dapatkan Semua Pautan

Find all external links on https://crawlforge.dev

Claude menggunakan extract_links (1 credit) untuk menghuraikan semua tag <a> dan memulangkan URL.

4. Analisis Metadata Halaman

What's the SEO metadata for https://github.com/trending?

Claude menggunakan extract_metadata (1 credit) untuk menarik tag tajuk, perihalan meta, data Open Graph, dan banyak lagi.

5. Selidik Sesuatu Topik

Research "Next.js 16 new features" and summarize the top 5 findings with sources

Claude menggunakan deep_research (10 credits) untuk:

• Mencari pelbagai sumber
• Mengekstrak kandungan relevan
• Mengesahkan maklumat
• Mensintesis ringkasan dengan petikan

Ini ialah alat paling berkuasa untuk tugas penyelidikan menyeluruh.

Gambaran Keseluruhan Alat Tersedia

CrawlForge memberi Claude akses kepada 20 alat khusus yang disusun mengikut kos credit:

Alat Asas (1 credit setiap satu)

• fetch_url - Ambil HTML mentah daripada mana-mana URL
• extract_text - Pengekstrakan teks bersih
• extract_links - Dapatkan semua pautan pada halaman
• extract_metadata - Tag SEO dan media sosial

Pengekstrakan Berstruktur (2 credits)

• scrape_structured - Pengekstrakan berasaskan pemilih CSS
• extract_content - Pengekstrakan kandungan utama (artikel, catatan blog)
• map_site - Pemetaan struktur laman web
• process_document - Ekstrak teks daripada PDF dan dokumen
• localization - Scraping bersasar geo (26 negara)

Alat Lanjutan (3-5 credits)

• track_changes (3 credits) - Jejak perubahan laman web dari masa ke masa
• analyze_content (3 credits) - Analisis sentimen, pengesanan bahasa
• summarize_content (4 credits) - Ringkasan berkuasa AI
• crawl_deep (4 credits) - Crawl berbilang halaman dengan kawalan kedalaman
• stealth_mode (5 credits) - Pelayaran anti-pengesanan
• scrape_with_actions (5 credits) - Automasi pelayar (klik, borang)
• batch_scrape (5 credits) - Proses berbilang URL secara selari
• search_web (5 credits) - Integrasi Google Custom Search

Penyelidikan AI (10 credits)

• deep_research - Penyelidikan berbilang peringkat dengan pengesahan sumber dan sintesis

Penggunaan Credit

Setiap panggilan alat menolak credits daripada akaun anda:

• Tier Free: 1,000 credits (cukup untuk ~100-500 operasi bergantung pada alat yang digunakan)
• Hobby: 5,000 credits/bulan untuk $19
• Professional: 50,000 credits/bulan untuk $99
• Business: 250,000 credits/bulan untuk $399

Anda boleh memantau penggunaan dalam dashboard.

Petua untuk Penggunaan Cekap

1. Mula murah: Gunakan fetch_url (1 credit) bukannya search_web (5 credits) apabila anda tahu URL
2. Kelompokkan permintaan: Gunakan batch_scrape untuk berbilang URL bukannya panggilan berasingan
3. Cache keputusan: Jika anda memerlukan data yang sama beberapa kali, simpannya dalam perbualan anda
4. Gunakan alat yang betul: Jangan gunakan deep_research (10 credits) untuk carian mudah

Penyelesaian Masalah

Ralat "No tools found":

• Pastikan anda menutup Claude Desktop sepenuhnya (bukan hanya menutup tetingkap)
• Semak bahawa API key anda sah (uji di crawlforge.dev/dashboard/keys)
• Sahkan sintaks JSON dalam fail konfigurasi anda

Ralat "Insufficient credits":

• Semak baki anda di crawlforge.dev/dashboard
• Naik taraf pelan anda atau beli credits tambahan

Panggilan alat gagal:

• Sesetengah laman web menyekat scraping - cuba stealth_mode (5 credits) untuk kadar kejayaan yang lebih baik
• Semak robots.txt laman web untuk sekatan
• Sahkan URL betul dan boleh diakses

Apa yang Seterusnya?

Kini anda telah mengaktifkan web scraping dalam Claude Desktop, anda boleh:

• Membina aliran kerja penyelidikan yang mengagregat data daripada pelbagai sumber
• Memantau laman web pesaing untuk perubahan
• Mengekstrak data berstruktur untuk analisis
• Mengautomasikan pengumpulan kandungan untuk set data latihan AI

Untuk penggunaan yang lebih lanjut, lihat:

• Dokumentasi API - Gunakan CrawlForge secara pengaturcaraan
• Panduan Alat - Dokumentasi terperinci untuk setiap alat
• Contoh Integrasi - LangChain, LlamaIndex, dan banyak lagi

Bersedia untuk naik taraf? Lihat pelan harga atau hubungi sokongan untuk penyelesaian perusahaan tersuai.

---

Cuba sekarang: Daftar percuma di crawlforge.dev/signup dan dapatkan 1,000 credits untuk bermula.