Cara Melakukan Scraping Laman Web dalam Zed AI dengan CrawlForge MCP

Zed pantas. Zed AI berkuasa. Tetapi Zed AI tidak dapat melihat web -- sehingga anda memasukkan MCP server. CrawlForge menambah 31 alat scraping yang boleh diseru oleh Zed AI terus daripada panel Assistant.

// ~/.config/zed/settings.json
{
  "context_servers": {
    "crawlforge": {
      "command": { "path": "crawlforge-mcp-server" },
      "settings": { "CRAWLFORGE_API_KEY": "cf_live_your_key" }
    }
  }
}

Panduan ini membimbing anda melalui setiap langkah untuk melakukan scraping laman web dalam Zed AI, dengan kod sebenar dan bahagian penyelesaian masalah yang lengkap.

Kandungan

• Mengapa Web Scraping dalam Zed AI Penting
• Prasyarat
• Langkah 1: Pasang CrawlForge MCP
• Langkah 2: Konfigurasikan Context Server Zed
• Langkah 3: Mulakan Semula Zed dan Sahkan
• Langkah 4: Scrape Pertama daripada Assistant
• Contoh Berfungsi Penuh: Scrape Rujukan API
• Lanjutan: Stealth dan Ekstraksi Berstruktur
• Penyelesaian Masalah
• FAQ

Mengapa Web Scraping dalam Zed AI Penting

Zed AI hidup dalam editor. Apabila anda boleh melakukan scraping laman web dalam Zed AI tanpa meninggalkan Assistant, corak seperti ini menjadi murah:

• Baca dokumen SDK pihak ketiga, kemudian jana pembalut dalam gaya projek anda.
• Ambil catatan blog pesaing, kemudian ringkaskan keputusan seni binanya.
• Tarik peta laman, kemudian tandakan halaman yang belum dilawati oleh crawler anda.

Sokongan MCP Zed (dipanggil "Context Servers" dalam tetapan) dilancarkan pada 2024 dan menggunakan protokol terbuka yang sama seperti Claude Desktop dan Cursor. CrawlForge mendedahkan 31 alat scraping melalui MCP, jadi ia muncul dalam menu slash-command Zed tanpa sebarang kod gam. Untuk latar belakang protokol, lihat penerang protokol MCP kami.

Prasyarat

• Zed 0.148+ -- muat turun dari zed.dev
• Node.js 18+
• Akaun CrawlForge -- percuma di crawlforge.dev/signup, 1,000 credits disertakan

Langkah 1: Pasang CrawlForge MCP

npm install -g crawlforge-mcp-server
crawlforge-mcp-server --version
# crawlforge-mcp-server 4.8.1

Langkah 2: Konfigurasikan Context Server Zed

Buka tetapan Zed dengan Cmd+, (macOS) atau Ctrl+, (Linux/Windows). Tetapan Zed terletak di ~/.config/zed/settings.json. Tambah blok context_servers:

{
  "context_servers": {
    "crawlforge": {
      "command": {
        "path": "crawlforge-mcp-server",
        "args": [],
        "env": {
          "CRAWLFORGE_API_KEY": "cf_live_your_key_here"
        }
      }
    }
  }
}

Gantikan cf_live_your_key_here dengan kunci daripada crawlforge.dev/dashboard/keys.

Langkah 3: Mulakan Semula Zed dan Sahkan

1. Keluar sepenuhnya dari Zed (Cmd+Q).
2. Buka semula dan buka panel Assistant (Cmd+?).
3. Taip / dalam gesaan Assistant. Anda sepatutnya melihat alat CrawlForge dalam senarai cadangan: /fetch_url, /scrape_structured, /search_web, dan lain-lain.

Langkah 4: Scrape Pertama daripada Assistant

Dalam panel Assistant, cuba:

Zed memanggil fetch_url (1 credit), menstrim HTML kembali, kemudian Zed AI mengekstrak tajuk. Respons muncul sebaris dalam panel Assistant, sedia untuk ditampal ke dalam penimbal.

Contoh Berfungsi Penuh: Scrape Rujukan API

Katakan anda sedang mengintegrasikan dengan Stripe API dan mahukan senarai medan PaymentIntent penuh sebagai TypeScript. Tampal gesaan ini:

Zed mengeluarkan panggilan ini di sebalik tabir:

// What Zed AI sends to CrawlForge
const response = await fetch('https://crawlforge.dev/api/v1/tools/extract_content', {
  method: 'POST',
  headers: {
    'Authorization': `Bearer ${process.env.CRAWLFORGE_API_KEY}`,
    'Content-Type': 'application/json',
  },
  body: JSON.stringify({
    url: 'https://docs.stripe.com/api/payment_intents/object',
    options: { format: 'markdown' },
  }),
});

const { content } = await response.json();
// content is clean markdown of the PaymentIntent object

Kos: 2 credits. Zed AI membaca markdown dan menghasilkan:

// types/stripe-payment-intent.ts
export interface StripePaymentIntent {
  id: string;
  object: 'payment_intent';
  amount: number;
  amount_capturable: number;
  amount_received: number;
  application: string | null;
  application_fee_amount: number | null;
  automatic_payment_methods: {
    enabled: boolean;
    allow_redirects?: 'always' | 'never';
  } | null;
  canceled_at: number | null;
  cancellation_reason: string | null;
  capture_method: 'automatic' | 'automatic_async' | 'manual';
  client_secret: string;
  confirmation_method: 'automatic' | 'manual';
  created: number;
  currency: string;
  customer: string | null;
  // ... remaining fields omitted for brevity
}

Tampalkannya ke dalam penimbal dan anda mendapat integrasi Stripe yang selamat jenis dalam beberapa saat.

Lanjutan: Stealth dan Ekstraksi Berstruktur

Terkena tembok Cloudflare? Tukar fetch_url kepada stealth_mode:

Kos melonjak dari 1 ke 5 credits tetapi memintas kebanyakan sistem anti-bot.

Mahukan ketepatan pemilih CSS? Gunakan scrape_structured:

Zed AI mengembalikan tatasusunan bertaip. 2 credits setiap larian.

Rujukan Credit

Penyelesaian Masalah

Alat hilang daripada menu slash -- Konfigurasi context server tidak dimuatkan. Semak ~/.config/zed/logs/Zed.log untuk ralat penghuraian context_servers. Koma di hujung dalam JSON secara senyap melumpuhkan keseluruhan blok.

"Failed to spawn crawlforge-mcp-server" -- Zed tidak dapat mencari binari. Gantikan "path": "crawlforge-mcp-server" dengan laluan mutlak daripada which crawlforge-mcp-server, contohnya "path": "/usr/local/bin/crawlforge-mcp-server".

401 Unauthorized pada setiap panggilan -- Kunci API salah atau tidak ditetapkan. Sahkan dengan curl -H "Authorization: Bearer $CRAWLFORGE_API_KEY" https://crawlforge.dev/api/v1/credits/balance. Respons yang dijangka termasuk baki credits anda.

Assistant memilih alat yang salah -- Namakannya secara jelas: "Use CrawlForge's scrape_structured..." dan bukannya "scrape this page." Zed AI memilih padanan termurah secara lalai apabila niat kabur.

Zed terbeku pada scrape yang panjang -- Deep research boleh berjalan selama 60+ saat. Zed menunjukkan pemutar tetapi input masih responsif; tunggu sehingga selesai dan bukannya membatalkan.

Langkah Seterusnya

• Rujukan persediaan penuh: Penyepaduan Zed dalam dokumentasi CrawlForge
• Terokai kesemua 31 alat CrawlForge yang boleh anda panggil daripada Zed
• Baca panduan lengkap web scraping MCP untuk corak seni bina
• Lihat dokumen permulaan untuk rujukan API
• Bandingkan dengan alternatif Firecrawl jika anda sedang menilai vendor

Mulakan secara percuma di crawlforge.dev/signup -- 1,000 credits, tiada kad kredit.