Cara Menggunakan CrawlForge dengan n8n: Panduan Automasi Aliran Kerja

n8n ialah salah satu platform automasi aliran kerja paling popular, dengan lebih 400 integrasi dan pembina visual yang menjadikan pipeline kompleks terasa mudah. CrawlForge MCP menambah 26 alat web scraping khusus ke dalam kit alat n8n anda -- memberikan aliran kerja automatik anda keupayaan untuk mengambil halaman, mengekstrak data berstruktur, memantau perubahan, dan menjalankan penyelidikan mendalam tanpa menulis satu baris kod scraping pun.

Panduan ini membimbing anda menyambungkan CrawlForge ke n8n, membina aliran kerja scraping pertama anda, dan menskala kepada pipeline bertaraf pengeluaran.

Kandungan

• Prasyarat
• Cara CrawlForge Berfungsi dengan n8n
• Langkah 1: Konfigurasikan Nod HTTP Request
• Langkah 2: Bina Aliran Kerja Pemantauan Harga
• Langkah 3: Tambah Penjadualan dan Pemberitahuan
• Lanjutan: Pipeline Crawl Berbilang Halaman
• Pecahan Kos Credits
• Ralat Lazim dan Penyelesaian
• Langkah Seterusnya

Prasyarat

Sebelum anda mula, anda memerlukan:

• n8n dipasang secara setempat atau berjalan di awan (n8n.io)
• Sebuah CrawlForge API key -- daftar percuma untuk mendapatkan 1,000 credits
• Kebiasaan asas dengan editor aliran kerja visual n8n

Cara CrawlForge Berfungsi dengan n8n

CrawlForge mendedahkan REST API di https://crawlforge.dev/api/v1/tools/. Setiap satu daripada 26 alat mempunyai endpoint tersendiri. Anda memanggil endpoint ini daripada nod HTTP Request n8n, dengan menghantar API key anda dalam header Authorization dan parameter alat dalam badan JSON.

Alirannya kelihatan seperti ini:

Tiada nod n8n tersuai untuk dipasang. Tiada pakej npm. Hanya permintaan HTTP standard.

Langkah 1: Konfigurasikan Nod HTTP Request

Buka n8n dan cipta aliran kerja baharu. Tambah nod HTTP Request dan konfigurasikannya:

// n8n HTTP Request Node Configuration
// Method: POST
// URL: https://crawlforge.dev/api/v1/tools/extract_content

// Headers:
{
  "Authorization": "Bearer cf_live_your_api_key_here",
  "Content-Type": "application/json"
}

// Body (JSON):
{
  "url": "https://news.ycombinator.com"
}

Tetapkan Authentication kepada "Header Auth" dengan:

• Name: Authorization
• Value: Bearer cf_live_your_api_key_here

Klik Execute Node untuk menguji. Anda sepatutnya melihat kandungan bersih yang diekstrak daripada halaman sasaran dalam panel output. Panggilan ini berkos 2 credits.

Persediaan Kelayakan Boleh Guna Semula

Untuk mengelakkan pengulangan API key anda merentas nod, cipta kelayakan Header Auth dalam n8n:

1. Pergi ke Settings > Credentials > Add Credential
2. Pilih Header Auth
3. Tetapkan Name kepada Authorization, Value kepada Bearer cf_live_xxxxx
4. Simpan sebagai "CrawlForge API"

Kini setiap nod HTTP Request boleh merujuk kelayakan ini.

Langkah 2: Bina Aliran Kerja Pemantauan Harga

Berikut ialah aliran kerja praktikal yang memantau halaman harga pesaing setiap hari dan menghantar amaran Slack apabila harga berubah.

Seni Bina Aliran Kerja

Nod Scraping

Konfigurasikan nod HTTP Request untuk menggunakan alat scrape_structured CrawlForge:

// POST https://crawlforge.dev/api/v1/tools/scrape_structured
{
  "url": "https://competitor.com/pricing",
  "selectors": {
    "plan_names": ".pricing-card h3",
    "plan_prices": ".pricing-card .price",
    "plan_features": ".pricing-card .feature-list li"
  }
}

// Response:
{
  "success": true,
  "data": {
    "plan_names": ["Starter", "Pro", "Enterprise"],
    "plan_prices": ["$29/mo", "$99/mo", "$299/mo"],
    "plan_features": ["5K requests", "50K requests", "Unlimited"]
  }
}

Panggilan ini berkos 2 credits. Berjalan setiap hari selama 30 hari = 60 credits sebulan untuk seorang pesaing. Pantau 10 pesaing untuk hanya 600 credits/bulan -- jauh dalam julat pelan Hobby.

Logik Perbandingan

Gunakan nod IF n8n untuk membandingkan harga hari ini dengan larian sebelumnya. Nod Code boleh menyimpan dan membezakan nilai:

// n8n Code Node: Compare prices
const currentPrices = $input.first().json.data.plan_prices;
const previousPrices = $('Google Sheets').first().json.plan_prices;

const changes = currentPrices.filter(
  (price: string, i: number) => price !== previousPrices[i]
);

return [{
  json: {
    hasChanges: changes.length > 0,
    changes,
    currentPrices,
    previousPrices,
    timestamp: new Date().toISOString()
  }
}];

Langkah 3: Tambah Penjadualan dan Pemberitahuan

Schedule Trigger

Tambah nod Schedule Trigger pada permulaan aliran kerja anda:

• Trigger Interval: Every day
• Hour: 9 (berjalan pada 9:00 AM)
• Timezone: Zon waktu setempat anda

Pemberitahuan Slack

Tambah nod Slack selepas nod IF (cabang true):

Lanjutan: Pipeline Crawl Berbilang Halaman

Untuk kerja scraping yang lebih besar, gunakan alat batch_scrape CrawlForge untuk memproses berbilang URL dalam satu panggilan API.

// POST https://crawlforge.dev/api/v1/tools/batch_scrape
{
  "urls": [
    "https://competitor-a.com/pricing",
    "https://competitor-b.com/pricing",
    "https://competitor-c.com/pricing",
    "https://competitor-d.com/pricing",
    "https://competitor-e.com/pricing"
  ],
  "formats": ["json", "text"],
  "includeMetadata": true,
  "maxConcurrency": 5
}

Ini memproses kesemua 5 URL secara selari untuk 5 credits keseluruhan -- berbanding 5 panggilan extract_content berasingan pada 2 credits setiap satu (10 credits). Pemprosesan kelompok menjimatkan 50% pada kerja berbilang URL.

Gunakan nod Split In Batches n8n untuk memproses keputusan satu demi satu jika diperlukan untuk nod hiliran.

Pecahan Kos Credits

Tier Free (1,000 credits sekali sahaja) meliputi ~16 scrape halaman tunggal harian selama beberapa minggu. Pelan Hobby ($19/bulan, 5,000 credits) mengendalikan kebanyakan aliran kerja pengeluaran.

Ralat Lazim dan Penyelesaian

401 Unauthorized: API key anda hilang atau tidak sah. Semak format header Authorization: Bearer cf_live_xxxxx.

429 Rate Limited: Anda menghantar terlalu banyak permintaan sesaat. Tambah nod Wait antara nod HTTP Request dengan lengah 1 saat, atau gunakan batch_scrape untuk menggabungkan permintaan.

Badan respons kosong: Tapak sasaran mungkin memerlukan pemaparan JavaScript. Tukar daripada extract_content kepada scrape_with_actions (5 credits) untuk halaman dinamik.

Langkah Seterusnya

Anda kini mempunyai pipeline CrawlForge + n8n yang berfungsi. Dari sini, anda boleh:

• Tambah pengendalian ralat dengan nod Error Trigger n8n
• Simpan keputusan dalam PostgreSQL, Airtable, atau Google Sheets
• Rantai alat -- gunakan search_web untuk mencari URL, kemudian extract_content untuk memprosesnya
• Terokai kesemua 26 alat dalam dokumentasi CrawlForge

Untuk lebih banyak corak integrasi, lihat:

• Panduan Mula Pantas CrawlForge
• 18 Alat Web Scraping dalam Satu MCP Server
• Membina Pembantu Penyelidikan AI

Bersedia untuk mengautomasikan aliran kerja web scraping anda? Mula percuma dengan 1,000 credits -- tiada kad kredit diperlukan.