Cara Scrape Tapak Web dengan Claude Code (Panduan 2026)

Claude Code boleh menyunting fail, menjalankan arahan shell, dan menulis ujian -- tetapi ia tidak boleh fetch halaman web langsung dengan sendirinya. Sambungkannya ke CrawlForge MCP dan ia memperoleh 26 alat scraping yang berjalan terus daripada terminal anda.

npm install -g crawlforge-mcp-server
npx crawlforge-setup  # paste your API key
# Now in Claude Code:
# > Fetch https://news.ycombinator.com and list the top 5 stories

Panduan ini menunjukkan kepada anda cara scrape tapak web dengan Claude Code menggunakan CrawlForge MCP, daripada pemasangan hingga pintasan stealth mode. Setiap blok kod di bawah boleh dijalankan.

Jadual Kandungan

• Masalahnya: Claude Code Tidak Boleh Fetch URL
• Prasyarat
• Langkah 1: Pasang CrawlForge MCP
• Langkah 2: Dapatkan Kunci API Anda
• Langkah 3: Daftar Pelayan MCP dengan Claude Code
• Langkah 4: Sahkan Sambungan
• Langkah 5: Scrape Pertama Anda
• Contoh Berfungsi Penuh: Scrape Halaman Harga
• Lanjutan: Scrape Tapak yang Dipaparkan dengan JavaScript
• Penyelesaian Masalah
• FAQ

Masalahnya: Claude Code Tidak Boleh Fetch URL

Secara lalai, Claude Code tiada akses rangkaian. Minta ia "baca catatan blog ini" dan ia akan memberitahu anda bahawa ia tidak boleh membuka URL. Pembantu WebFetch terbina dalam wujud dalam Claude Desktop tetapi terhad, dihadkan kadar, dan kerap disekat oleh Cloudflare, Akamai, dan perlindungan edge lain.

CrawlForge MCP menyelesaikan ini dengan mendedahkan 26 alat scraping -- fetch_url, extract_content, scrape_structured, stealth_mode, deep_research, dan banyak lagi -- sebagai alat Model Context Protocol yang boleh dipanggil oleh Claude Code seperti mana-mana fungsi lain. Untuk latar belakang lanjut tentang protokol itu sendiri, lihat panduan lengkap kami untuk MCP web scraping.

Prasyarat

• Node.js 18+ -- semak dengan node --version
• Claude Code -- pasang dengan npm install -g @anthropic-ai/claude-code
• Akaun CrawlForge -- percuma di crawlforge.dev/signup (1,000 credits disertakan, tiada kad kredit)

Langkah 1: Pasang CrawlForge MCP

npm install -g crawlforge-mcp-server

Sahkan pemasangan:

crawlforge-mcp-server --version
# crawlforge-mcp-server 4.8.1

Langkah 2: Dapatkan Kunci API Anda

1. Pergi ke crawlforge.dev/signup dan cipta akaun.
2. Buka papan pemuka di crawlforge.dev/dashboard/api-keys.
3. Salin kunci -- ia bermula dengan cf_live_.

Langkah 3: Daftar Pelayan MCP dengan Claude Code

Laluan terpantas ialah wizard persediaan:

npx crawlforge-setup

Ia menulis entri yang betul ke ~/.config/claude-code/mcp.json (Linux/macOS) atau %APPDATA%\claude-code\mcp.json (Windows).

Jika anda lebih suka konfigurasi manual, tambah ini pada konfigurasi MCP Claude Code anda:

{
  "mcpServers": {
    "crawlforge": {
      "command": "crawlforge-mcp-server",
      "env": {
        "CRAWLFORGE_API_KEY": "cf_live_your_key_here"
      }
    }
  }
}

Mulakan semula Claude Code supaya ia mengambil pelayan baharu.

Langkah 4: Sahkan Sambungan

Buka Claude Code dan jalankan:

Anda sepatutnya melihat crawlforge disenaraikan sebagai bersambung dengan 26 alat tersedia. Jika tidak, lompat ke Penyelesaian Masalah.

Langkah 5: Scrape Pertama Anda

Tampal gesaan ini ke dalam Claude Code:

Claude Code akan memanggil fetch_url (1 credit), menghuraikan HTML, dan memulangkan sesuatu seperti:

[
  { "title": "Show HN: My side project", "url": "https://example.com/post/1" },
  { "title": "Why X is changing Y", "url": "https://example.com/post/2" }
]

Itu sahaja. Anda sedang membuat scraping.

Contoh Berfungsi Penuh: Scrape Halaman Harga

Berikut ialah tugas realistik: ekstrak peringkat harga daripada tapak SaaS. Tampal gesaan ini:

Di sebalik tabir, Claude Code membina permintaan seperti ini:

// What Claude Code sends to CrawlForge via MCP
const response = await fetch('https://crawlforge.dev/api/v1/tools/scrape_structured', {
  method: 'POST',
  headers: {
    'Authorization': `Bearer ${process.env.CRAWLFORGE_API_KEY}`,
    'Content-Type': 'application/json',
  },
  body: JSON.stringify({
    url: 'https://crawlforge.dev/pricing',
    selectors: {
      plan: '.pricing-card h3',
      price: '.pricing-card .price',
      credits: '.pricing-card .credits',
      features: '.pricing-card ul li',
    },
  }),
});

const data = await response.json();
console.log(data.plan); // ['Free', 'Hobby', 'Professional', 'Business']

Kos: 2 credits. Bandingkan dengan menjalankan pelayar headless secara setempat: tiada infrastruktur, tiada penyahpepijatan Puppeteer, tiada roulette Cloudflare.

Lanjutan: Scrape Tapak yang Dipaparkan dengan JavaScript

Sesetengah tapak memaparkan data harga atau produk melalui React sebelah klien. fetch_url memulangkan cangkerang HTML pra-penghidratan dan terlepas data. Bertukar kepada scrape_with_actions (5 credits):

// Prompt Claude Code with this, and it generates the call
const payload = {
  url: 'https://app.example.com/dashboard',
  actions: [
    { type: 'wait', selector: '.data-grid', timeout: 5000 },
    { type: 'click', selector: 'button.load-more' },
    { type: 'wait', timeout: 1500 },
  ],
  formats: ['json', 'markdown'],
};

const result = await fetch('https://crawlforge.dev/api/v1/tools/scrape_with_actions', {
  method: 'POST',
  headers: {
    'Authorization': `Bearer ${process.env.CRAWLFORGE_API_KEY}`,
    'Content-Type': 'application/json',
  },
  body: JSON.stringify(payload),
}).then(r => r.json());

Untuk tapak dilindungi Cloudflare dan Akamai, gunakan stealth_mode (juga 5 credits). Kami membincangkan tukar ganti putaran cap jari dalam penerokaan mendalam stealth mode kami.

Rujukan Pantas Alat

Senarai penuh dalam gambaran keseluruhan 26 alat kami.

Penyelesaian Masalah

"MCP server failed to start" -- Sahkan crawlforge-mcp-server berada pada PATH anda. Jalankan which crawlforge-mcp-server. Jika kosong, pasang semula secara global: npm install -g crawlforge-mcp-server.

Ralat "Unauthorized" atau 401 -- Kunci API anda hilang atau salah format. Ia mesti bermula dengan cf_live_. Eksport semula dalam shell anda: export CRAWLFORGE_API_KEY="cf_live_..." dan mulakan semula Claude Code.

"Insufficient credits" -- Semak penggunaan di crawlforge.dev/dashboard/usage. Peringkat Free = 1,000 credits/bulan. Naik taraf kepada Hobby ($19/bulan) untuk 25,000.

Senarai alat kosong dalam /mcp -- Konfigurasi MCP tidak dibaca. Pada macOS fail itu berada di ~/Library/Application Support/claude-code/mcp.json. Pada Linux: ~/.config/claude-code/mcp.json. Pada Windows: %APPDATA%\claude-code\mcp.json.

Cloudflare 403 pada setiap fetch -- Tukar fetch_url kepada stealth_mode. Jika anda masih disekat, sasaran menggunakan pencapjarian JA3/JA4 sebelah pelayan; buka isu di GitHub dengan URL tersebut.

FAQ

Lihat bahagian FAQ di bawah untuk jawapan pantas kepada soalan yang paling lazim.

Langkah Seterusnya

• Baca mula pantas CrawlForge untuk lima contoh salin-tampal
• Layari dokumen mula bermula untuk rujukan API penuh
• Bandingkan klien MCP dalam Claude Desktop lwn Claude Code
• Nilai alternatif di alternatif Firecrawl

Mula percuma dengan 1,000 credits di crawlforge.dev/signup. Tiada kad kredit diperlukan.