Cara Mengikis Tapak Web dalam Cursor IDE dengan CrawlForge MCP

Cursor IDE hebat dalam menaakul tentang kod anda tetapi tidak dapat melihat web secara langsung. Tambah CrawlForge melalui penyepaduan Model Context Protocol Cursor dan Composer mendapat 26 alat scraping -- tiada skrip Python, tiada curl, tiada meninggalkan editor.

// ~/.cursor/mcp.json
{
  "mcpServers": {
    "crawlforge": {
      "command": "crawlforge-mcp-server",
      "env": { "CRAWLFORGE_API_KEY": "cf_live_your_key" }
    }
  }
}

Panduan ini menerangkan langkah demi langkah cara menyediakan web scraping dalam Cursor IDE, dengan contoh yang boleh dijalankan untuk penyelidikan, pengekstrakan berstruktur, dan pemantauan pesaing.

Isi Kandungan

• Mengapa Mengikis dari Dalam Cursor?
• Prasyarat
• Langkah 1: Pasang MCP Server
• Langkah 2: Konfigurasikan Tetapan MCP Cursor
• Langkah 3: Mulakan Semula dan Sahkan
• Langkah 4: Scrape Pertama Anda dalam Composer
• Contoh Penuh: Bina Penjejak Harga Pesaing
• Aliran Kerja: Gunakan Scrape untuk Menulis Kod
• Penyelesaian Masalah
• Soalan Lazim

Mengapa Mengikis dari Dalam Cursor?

Cursor Composer menganggap alat MCP sebagai tindakan kelas pertama: ia memilih alat yang betul untuk sesuatu tugasan, menghantar argumen bertaip, dan menyalurkan hasil kembali ke dalam perbualan. Apabila anda mengikis tapak web dalam Cursor IDE melalui CrawlForge, data yang diekstrak segera tersedia untuk Cursor menjana ujian, menulis antara muka TypeScript, atau mengemas kini papan pemuka. Tiada salin-tampal, tiada penukaran konteks.

Jika anda sudah menggunakan peraturan Cursor untuk membentuk tingkah laku Composer, alat MCP masuk dengan tepat -- peraturan menerangkan cara mengekod, alat mendedahkan apa yang Composer boleh lakukan.

Prasyarat

• Cursor IDE 0.42+ -- muat turun dari cursor.com
• Node.js 18+ -- node --version untuk menyemak
• Akaun CrawlForge -- percuma di crawlforge.dev/signup

Langkah 1: Pasang MCP Server

npm install -g crawlforge-mcp-server

Sahkan ia berada pada PATH anda:

which crawlforge-mcp-server
# /usr/local/bin/crawlforge-mcp-server

Langkah 2: Konfigurasikan Tetapan MCP Cursor

Cursor membaca MCP server daripada ~/.cursor/mcp.json. Ciptanya jika ia belum wujud:

mkdir -p ~/.cursor
touch ~/.cursor/mcp.json

Tampal konfigurasi ini (gantikan kunci):

{
  "mcpServers": {
    "crawlforge": {
      "command": "crawlforge-mcp-server",
      "env": {
        "CRAWLFORGE_API_KEY": "cf_live_your_key_here"
      }
    }
  }
}

Pada Windows fail itu terletak di %USERPROFILE%\.cursor\mcp.json dan arahannya patut menjadi crawlforge-mcp-server.cmd.

Langkah 3: Mulakan Semula dan Sahkan

1. Keluar daripada Cursor sepenuhnya (Cmd+Q pada macOS).
2. Buka semula projek.
3. Pergi ke Settings -> Features -> MCP. Anda sepatutnya melihat crawlforge dengan titik hijau dan 26 alat disenaraikan.

Jika server berwarna merah atau senarai alat kosong, langkau ke Penyelesaian Masalah.

Langkah 4: Scrape Pertama Anda dalam Composer

Buka Composer (Cmd+I) dan tampal:

Cursor akan memanggil fetch_url (1 credit) dan memaparkan respons. Apabila anda meluluskan panggilan alat itu, Composer menghuraikan HTML dan mengembalikan senarai yang bersih.

Contoh Penuh: Bina Penjejak Harga Pesaing

Katakan anda mahu menjejaki perubahan harga pada SaaS pesaing. Buka Composer dan tampal:

Cursor mengeluarkan panggilan scrape_structured dengan pemilih anda, mengembalikan JSON, dan menghasilkan TypeScript ini dalam ketulan editor seterusnya:

// types/competitor-pricing.ts
export interface CompetitorPricingTier {
  plan: string;
  price: string;
  features: string[];
}

export interface CompetitorPricingResponse {
  data: CompetitorPricingTier[];
  scraped_at: string;
}

// lib/fetch-competitor-pricing.ts
import { CompetitorPricingResponse } from '@/types/competitor-pricing';

export async function fetchCompetitorPricing(): Promise<CompetitorPricingResponse> {
  const response = await fetch('https://crawlforge.dev/api/v1/tools/scrape_structured', {
    method: 'POST',
    headers: {
      'Authorization': `Bearer ${process.env.CRAWLFORGE_API_KEY}`,
      'Content-Type': 'application/json',
    },
    body: JSON.stringify({
      url: 'https://competitor.example.com/pricing',
      selectors: {
        plan: '.pricing-card h3',
        price: '.pricing-card .price',
        features: '.pricing-card ul li',
      },
    }),
  });

  if (!response.ok) {
    throw new Error(`Scrape failed: ${response.statusText}`);
  }

  return response.json();
}

Jumlah kos: 2 credits setiap larian. Jadualkannya melalui Vercel Cron atau GitHub Actions dan anda mempunyai penjejak harga peringkat percuma.

Aliran Kerja: Gunakan Scrape untuk Menulis Kod

Pembukaan kunci sebenar ialah menyalurkan data yang dikikis ke dalam penjanaan kod Cursor. Corak yang terbukti:

• Penjanaan jenis daripada API langsung: "Fetch https://api.example.com/users, then generate a Zod schema matching the response."
• Lekapan ujian daripada halaman sebenar: "Scrape the top 3 articles from Hacker News and save them as JSON fixtures in tests/fixtures/."
• Pengekstrakan dokumentasi: "Use extract_content on the React docs for useState, then write an idiomatic example that matches."
• Pariti ciri pesaing: "Use map_site on competitor.com and flag any URL patterns we do not have in our own sitemap."

Setiap corak ialah 1-5 credits setiap larian dan mengekalkan anda di dalam Cursor.

Ringkasan Kos Credit

Penyelesaian Masalah

Senarai alat kosong dalam Cursor Settings -- Cursor menyimpan cache konfigurasi MCP. Keluar sepenuhnya (Cmd+Q), kemudian buka semula. Semak ~/.cursor/logs/ untuk ralat penghuraian.

"Command not found: crawlforge-mcp-server" -- bin global npm tiada pada PATH Cursor. Betulkan dengan menetapkan laluan mutlak dalam mcp.json: "command": "/usr/local/bin/crawlforge-mcp-server".

Setiap panggilan mengembalikan 401 -- kunci API hilang atau masih ruang letak. Sahkan dengan: curl -H "Authorization: Bearer $CRAWLFORGE_API_KEY" https://crawlforge.dev/api/v1/credits/balance.

Cursor meminta kelulusan pada setiap panggilan alat -- itu ialah tingkah laku lalai yang dijangka. Dayakan "Auto-approve for trusted servers" dalam tetapan MCP jika anda mahu Composer menjalankan scrape secara senyap.

Composer mengabaikan alat MCP -- Gesa secara eksplisit: "Use CrawlForge's scrape_structured tool to...". Cursor kadangkala memilih pengambilan web terbina dalamnya secara lalai, yang kurang berkeupayaan.

Langkah Seterusnya

• Baca panduan peraturan Cursor untuk mengoptimumkan tingkah laku Composer bagi scraping
• Layari gambaran keseluruhan 26 alat untuk melihat apa lagi yang anda boleh automasikan
• Semak dokumen permulaan untuk rujukan API dan harga credit
• Bandingkan vendor di alternatif Firecrawl

Mula percuma dengan 1,000 credits di crawlforge.dev/signup.