Cara Sebenar Menggunakan CrawlForge MCP dalam Claude Code

Anda sudah pasang CrawlForge MCP. Claude Code kata ia bersambung. Kemudian anda minta satu halaman, dan Claude merumuskannya daripada ingatan, atau beralih kepada alat fetch terbina dalamnya, atau meminta kebenaran empat kali sebelum sempat buat apa-apa yang berguna.

Itu bukan pemasangan yang rosak. Itu jurang dalam cara MCP tools dipanggil — dan ia boleh dibetulkan dalam lebih kurang lima minit konfigurasi.

claude mcp list
# crawlforge: npx -y crawlforge-mcp-server - ✔ Connected

Panduan ini merangkumi apa yang berlaku selepas pemasangan: bagaimana Claude memutuskan untuk memanggil sesuatu alat, bagaimana membuatnya lebih memilih CrawlForge berbanding alat web terbina dalam, bagaimana menghentikan gesaan kebenaran, dan bagaimana memilih alat yang menyiapkan kerja dengan credits paling sedikit.

Isi Kandungan

• Kenapa Claude Mengabaikan MCP Server Anda
• Bagaimana Panggilan Alat Sebenarnya Berfungsi
• Langkah 1: Sahkan Pelayan Bersambung
• Langkah 2: Namakan Alat Bila Perlu
• Langkah 3: Tulis Dasar CrawlForge Dalam CLAUDE.md
• Langkah 4: Hentikan Gesaan Kebenaran
• Memilih Alat Yang Betul
• Lindungi Tetingkap Konteks Anda
• Corak Prompt Yang Berkesan
• Kongsi Konfigurasi Dengan Pasukan Anda
• Jalankan Secara Headless Dalam Skrip dan CI
• Penyelesaian Masalah

Kenapa Claude Mengabaikan MCP Server Anda

Ada tiga mod kegagalan yang berasingan, dan setiap satu perlukan penyelesaian berbeza.

Claude belum tahu alat-alat itu wujud. Claude Code mengaktifkan carian alat secara lalai. Pada permulaan sesi ia hanya memuatkan nama alat dan arahan pelayan itu sendiri — definisi penuh ditangguhkan sehingga ada tugas yang memerlukannya. Ini mengekalkan tetingkap konteks anda lapang, tetapi ia bermakna "saya tak nampak 27 alat disenaraikan" adalah perkara biasa dan bukan simptom apa-apa.

Claude ada alat terbina dalam yang nampak cukup hampir. Claude Code disertakan dengan WebFetch dan WebSearch. Minta "kandungan halaman ini" dan model yang munasabah mungkin sekali beralih kepada yang terbina dalam, bukannya mencari MCP tool yang perlu ditemuinya dahulu. Tiada apa yang rosak; anda cuma belum beritahu yang mana anda lebih suka.

Panggilan itu memang berlaku, tetapi setiap satu perlukan kelulusan. Setiap panggilan MCP tool menimbulkan gesaan kebenaran sehingga anda membenarkannya. Selepas empat gesaan dalam satu tugas penyelidikan, rasanya seperti integrasi itu sedang melawan anda.

Selebihnya panduan ini membetulkan ketiga-tiganya.

Bagaimana Panggilan Alat Sebenarnya Berfungsi

Anda tidak memanggil MCP tool. Anda menerangkan hasil yang dikehendaki, dan Claude memilih alat — sama seperti ia memilih antara Read dan Grep.

Setiap MCP tool mempunyai nama kanonik dalam bentuk mcp__<server>__<tool>. Dengan CrawlForge didaftarkan di bawah nama crawlforge, alat-alatnya ialah:

mcp__crawlforge__scrape
mcp__crawlforge__search_web
mcp__crawlforge__deep_research
mcp__crawlforge__stealth_mode

Kebiasaannya anda tidak akan menaip nama-nama itu. Ia penting untuk dua perkara: peraturan kebenaran, yang dipadankan pada nama kanonik, dan jalan keluar menamakan alat secara jelas apabila Claude memilih yang salah.

Langkah 1: Sahkan Pelayan Bersambung

Sebelum menyahpepijat prompt, sahkan pengangkutan berfungsi. Dari shell anda:

claude mcp list

Setiap pelayan diberi status kesihatan. Empat yang anda benar-benar akan lihat:

Di dalam sesi, /mcp membuka paparan yang sama dengan panel butiran setiap pelayan, termasuk baris Issue: apabila sesuatu pelayan gagal.

Satu nuansa yang berbaloi diketahui: claude mcp add mencetak Added ... sebaik sahaja konfigurasi ditulis, tanpa mengesahkan apa-apa. Salah taip pada API key anda tetap mencetak baris berjaya. claude mcp list ialah pemeriksaan yang benar-benar penting.

Langkah 2: Namakan Alat Bila Perlu

Apabila Claude memilih alat yang salah — atau tiada alat langsung — sebutkan yang mana anda mahu. Kedua-dua bentuk ini berkesan:

Use scrape to get https://example.com/pricing as markdown.

Use mcp__crawlforge__deep_research to compare the three vendors on
that page, then write the findings to research.md.

Dalam praktik, nama ringkas sudah memadai. Gunakan bentuk penuh mcp__crawlforge__* apabila sesuatu nama kabur merentas beberapa pelayan, atau apabila anda menulis slash command atau skrip yang mesti tidak taksa.

Menamakan alat ialah langkah nyahpepijat yang baik dan tabiat yang buruk. Jika anda dapati diri anda berbuat begitu pada setiap prompt, betulkan tetapan lalainya — itulah langkah seterusnya.

Langkah 3: Tulis Dasar CrawlForge Dalam CLAUDE.md

Inilah perubahan berpulangan tertinggi dalam panduan ini. CLAUDE.md dimuatkan ke dalam konteks pada setiap sesi, jadi satu blok dasar yang pendek mengubah secara kekal alat mana yang dicapai Claude:

# Web Access Policy

Use CrawlForge MCP tools for all web search and page fetching.

- Web search: `search_web` (not the built-in WebSearch)
- Single page: `scrape` with `formats: ["markdown"]`
- Article text only: `extract_content`
- Site structure: `map_site`, then `crawl_deep` if you need page bodies
- Multi-source research: `deep_research`
- JS-rendered or anti-bot pages: `scrape_with_actions` or `stealth_mode`

Prefer one `batch_scrape` call over a loop of single fetches.

Letakkan ia dalam CLAUDE.md projek anda, atau dalam ~/.claude/CLAUDE.md supaya terpakai di mana-mana. Dua sesi kemudian anda akan lupa ia wujud, dan itulah tujuannya.

Nyatakan keutamaan itu sekali sahaja, dengan nada biasa. Blok yang menjerit ALWAYS dan NEVER pada setiap baris cenderung membuat model terlebih bertindak — mencapai alat scraping untuk soalan yang sebenarnya tidak memerlukannya.

Langkah 4: Hentikan Gesaan Kebenaran

Tambah satu peraturan benarkan supaya alat CrawlForge berjalan tanpa gangguan. Dalam .claude/settings.json:

{
  "permissions": {
    "allow": [
      "mcp__crawlforge__*"
    ]
  }
}

Peraturan coraknya, terus daripada rujukan kebenaran:

• mcp__crawlforge — setiap alat daripada pelayan itu
• mcp__crawlforge__* — perkara sama, bentuk kad liar
• mcp__crawlforge__scrape — alat itu sahaja
• mcp__crawlforge__extract_* — empat alat pengekstrakan

Peraturan benarkan mesti berlabuh pada awalan pelayan yang literal. "mcp__*" yang kosong akan dilangkau dengan amaran dan tidak meluluskan apa-apa secara automatik, kerana ia tidak menamakan mana-mana pelayan yang anda benar-benar konfigurasikan.

Jika anda lebih suka meluluskan alat yang murah dan mengekalkan kawalan ke atas yang mahal, benarkan bacaan dan biarkan selebihnya terus bertanya:

{
  "permissions": {
    "allow": [
      "mcp__crawlforge__scrape",
      "mcp__crawlforge__extract_content",
      "mcp__crawlforge__search_web",
      "mcp__crawlforge__map_site"
    ]
  }
}

deep_research pada 10 credits dan agent pada 8 kemudiannya masih akan bertanya dahulu.

Memilih Alat Yang Betul

Dua puluh tujuh alat ialah permukaan yang luas, dan Claude dengan senang hati membelanjakan 5 credits di tempat yang 1 sudah memadai. Kosnya:

Tiga peraturan yang merangkumi kebanyakannya:

Naik berperingkat, jangan mula dari atas. Cuba fetch_url (1) atau scrape (2) dahulu. Beralih ke scrape_with_actions (5) hanya apabila kandungannya dirender di klien, dan stealth_mode (5) hanya selepas sekatan yang sebenar. Banyak tapak yang kelihatan berlindung sebenarnya melayan permintaan yang terbentuk elok tanpa masalah.

Kelompokkan, jangan gelung. Satu panggilan batch_scrape ialah 5 credits tanpa mengira bilangan URL. Dua belas panggilan scrape berasingan ialah 24 credits dan dua belas perjalanan pergi-balik. Sebut "scrape kesemua ini dalam satu batch" dan bezanya nyata.

Fahami apa yang digantikan oleh deep_research. Pada 10 credits ia alat paling mahal, dan ia satu tawaran baik apabila ia menggantikan satu carian campur lapan scrape campur sintesis. Ia pembaziran apabila anda sudah tahu URL-nya. Kalau anda ada pautan itu, scrape sahaja.

Lindungi Tetingkap Konteks Anda

Inilah kegagalan yang tiada siapa beri amaran: satu scrape yang berjaya tetapi merosakkan sesi anda. Halaman web itu besar, dan hasil MCP mendarat terus ke dalam perbualan.

Claude Code ada pagar keselamatan. Ia memberi amaran apabila output mana-mana MCP tool melebihi 10,000 token, dan mengehadkan output pada 25,000 token secara lalai. Anda boleh menaikkan siling itu:

export MAX_MCP_OUTPUT_TOKENS=50000

Menaikkannya kebiasaannya naluri yang salah. Tiga langkah yang lebih baik:

Minta bentuk yang anda perlukan. scrape memulangkan markdown secara lalai dan membuang navigasi, iklan dan pengaki melalui Readability. Meminta rawHtml pada tapak moden boleh menjadi 10 kali ganda token tanpa sebarang faedah.

Halakan output pukal ke cakera. Untuk apa-apa yang akan anda proses dan bukannya baca, suruh Claude menulisnya keluar:

Batch scrape these 20 URLs and write each result to data/<domain>.md.
Then give me a one-line summary of each — do not paste the bodies.

Claude menyimpan 20 baris ringkasan dalam konteks, bukan 20 artikel.

Guna alat murah untuk triaj. extract_metadata (1 credit) menjawab "adakah halaman ini berbaloi dibaca" dengan beberapa ratus token sahaja. map_site (2) memberi anda senarai URL tanpa mengambil satu pun kandungan. Tinjau dahulu, kemudian ambil yang penting.

Corak Prompt Yang Berkesan

Perbezaan antara permintaan yang kabur dan yang khusus biasanya dua klausa tambahan.

Namakan bentuk outputnya.

Dapatkan harga daripada halaman itu.

Scrape https://example.com/pricing dan pulangkan JSON: [{ plan, monthly_price, annual_price, included_credits }]. Guna null untuk apa-apa yang tidak disenaraikan.

Sebut apa yang berlaku kepada data itu. Claude secara lalai mencetak hasil. Jika tujuannya sebuah fail, satu diff, atau satu ujian, katakan begitu:

Search for the top 10 results on "MCP web scraping", scrape each one,
and write a comparison table to docs/competitors.md. Skip anything
that 403s and note it at the bottom.

Beri laluan peningkatan di awal. Ini menjimatkan satu pusingan penuh:

Scrape https://app.example.com/dashboard. If the content looks
client-rendered, retry with scrape_with_actions waiting on
.data-grid. If you get a 403, use stealth_mode.

Rantaikan dengan kerja yang Claude Code memang sudah mahir. Kelebihan sebenar melakukan scraping dalam terminal anda ialah datanya mendarat bersebelahan kod anda:

Scrape the Stripe webhook events reference, then check
src/lib/stripe/webhooks.ts for event types we handle that
no longer appear in their docs.

Itu satu prompt yang merangkumi satu pengambilan, satu bacaan repositori, dan satu diff — tiada satu pun daripadanya dilakukan untuk anda oleh tab pelayar.

Kongsi Konfigurasi Dengan Pasukan Anda

MCP servers dipasang pada tiga skop. Lalainya ialah local: peribadi kepada anda, terhad kepada projek semasa, disimpan dalam ~/.claude.json.

Untuk pasukan, guna skop project, yang menulis .mcp.json di akar repositori:

claude mcp add crawlforge \
  --scope project \
  --env CRAWLFORGE_API_KEY=cf_live_your_key_here \
  -- npx -y crawlforge-mcp-server

Jangan komit fail itu dengan kunci sebenar di dalamnya. .mcp.json menyokong pengembangan pembolehubah persekitaran, jadi komit rujukannya sebaliknya:

{
  "mcpServers": {
    "crawlforge": {
      "command": "npx",
      "args": ["-y", "crawlforge-mcp-server"],
      "env": {
        "CRAWLFORGE_API_KEY": "${CRAWLFORGE_API_KEY}"
      }
    }
  }
}

Kini setiap pembangun mendapat pelayan itu semasa clone dan membekalkan kunci mereka sendiri dari shell masing-masing. Bentuk ${VAR:-default} juga berfungsi, dan pengembangan terpakai pada command, args, env, url, dan headers.

Dua perkara yang perlu dijangka dengan skop projek. Claude Code meminta setiap pembangun meluluskan pelayan itu pada kali pertama — itu memang disengajakan, kerana sesebuah repo boleh sahaja menghantar pelayan yang berjalan sebaik clone. Dan jika pembolehubah itu tidak ditetapkan tanpa nilai lalai, konfigurasi tetap dimuatkan: claude mcp list melaporkan amaran pembolehubah hilang dan menghantar teks literal ${CRAWLFORGE_API_KEY}, yang kemudiannya muncul sebagai 401.

Guna skop user (--scope user) untuk pelayan yang anda mahu ada dalam setiap projek pada mesin anda.

Jalankan Secara Headless Dalam Skrip dan CI

Semua yang di atas berfungsi dalam mod bukan interaktif, dengan satu perbezaan: tiada sesiapa untuk menjawab gesaan, jadi kebenaran mesti diselesaikan terlebih dahulu.

claude -p "Scrape https://news.ycombinator.com and write the top 10 \
stories as JSON to hn.json" \
  --allowedTools "mcp__crawlforge__scrape,Write"

Pelayan berskop projek daripada .mcp.json dimuatkan dalam claude -p tanpa gesaan kelulusan, memandangkan ia tidak boleh dipaparkan. Itu menjadikan .mcp.json yang dikomit pilihan semula jadi untuk CI. Jika anda perlu mengecualikan sesuatu pelayan daripada larian automatik, disabledMcpjsonServers menyekatnya dalam setiap mod.

Sebuah pemantau harian kemudiannya hanyalah satu cron job dan satu prompt:

claude -p "Use track_changes on https://competitor.com/pricing. \
If anything changed since the last run, append it to CHANGES.md." \
  --allowedTools "mcp__crawlforge__track_changes,Read,Write"

Penyelesaian Masalah

✘ Failed to connect — Jalankan claude mcp get crawlforge dan baca baris Issue:, yang membawa status HTTP atau teks ralat. Untuk pelayan stdio, pastikan npx -y crawlforge-mcp-server boleh berjalan sendiri dahulu.

401 daripada setiap alat — API key salah, atau ia mempunyai ruang kosong yang tidak kelihatan. Menampal kunci selalunya membawa baris baharu di hujung; Claude Code menandakan ini dalam claude mcp list dan /mcp dengan amaran yang menamakan medan berkenaan. Tambah semula pelayan itu dan pastikan kunci bermula dengan cf_live_.

⏸ Pending approval — Pelayan berskop projek memerlukan kelulusan interaktif. Jalankan claude dalam direktori itu dan terima. Dalam repo yang baru di-clone anda juga perlu menerima dialog kepercayaan workspace dahulu — sesebuah repo tidak boleh meluluskan pelayannya sendiri. claude mcp reset-project-choices membersihkan jawapan terdahulu.

Claude masih menggunakan WebFetch — Kembali ke Langkah 3. Tanpa keutamaan yang dinyatakan, yang terbina dalam itu pilihan yang boleh dipertahankan.

Output alat terpotong — Anda mencecah had 25,000 token. Lebih baik mengecilkan permintaan daripada menaikkan MAX_MCP_OUTPUT_TOKENS; lihat Lindungi Tetingkap Konteks Anda.

Credits tidak mencukupi — Semak papan pemuka penggunaan. Akaun Free mendapat 1,000 credits sekali sahaja; Hobby ialah 19 USD sebulan untuk 5,000.

Kandungan kosong daripada halaman yang boleh dibuka dalam pelayar anda — Rendering di sebelah klien. Cuba semula dengan scrape_with_actions dan tunggu pada pemilih yang hanya wujud selepas penghidratan.

Langkah Seterusnya

• Baharu dengan persediaan ini? Mulakan dengan panduan pemasangan
• Panduan khusus scraping: Cara Scrape Laman Web dengan Claude Code
• Latar belakang protokol: Protokol MCP Dijelaskan untuk Pembangun
• Rujukan alat penuh: dokumentasi permulaan

Mulakan secara percuma dengan 1,000 credits di crawlforge.dev/signup. Tiada kad kredit diperlukan.