CrawlForge
Panduan Permulaan

Panduan Pengoptimuman Credit

Minimumkan kos scraping dengan memilih alat yang betul, melaksanakan strategi cache yang pintar, dan mengoptimumkan aliran kerja anda untuk nilai maksimum.

Strategi Pemilihan Alat
Strategi Cache
Kelompok lwn Individu
Analisis Kos/Faedah

Kemenangan Pantas (Jimat 50-80%)

Gunakan fetch_url dan bukannya search_web apabila anda tahu URL
Menjimatkan 4 credits setiap permintaan (1 credit lwn 5 credits)

💰 80% pengurangan kos

Cuba scraping statik sebelum automasi pelayar
Gunakan fetch_url (1 credit) sebelum scrape_with_actions (5 credits)

💰 80% pengurangan kos untuk kandungan statik

Cache keputusan secara setempat
Simpan data yang di-scrape dalam Redis/pangkalan data untuk mengelakkan scraping semula URL yang sama

💰 90%+ pengurangan untuk permintaan berulang

Gunakan batch_scrape untuk berbilang URL
Kos sama (1 credit/URL) tetapi lebih pantas dan cekap berbanding permintaan individu

⚡ throughput 5x lebih pantas

1. Strategi Pemilihan Alat

Sentiasa mulakan dengan alat termurah yang memenuhi keperluan anda, kemudian naik taraf hanya jika perlu.

  • 1. Adakah anda tahu URL?
    • ✅ Ya → Gunakan fetch_url (1 credit)
    • ❌ Tidak → Gunakan search_web (5 credits)
  • 2. Adakah kandungan dalam HTML awal?
    • ✅ Ya → Gunakan fetch_url (1 credit) + hurai secara setempat (percuma)
    • ❌ Tidak (dipaparkan JavaScript) → Gunakan scrape_with_actions (5 credits)
  • 3. Adakah anda perlukan ekstraksi berstruktur?
    • ✅ Ya → Gunakan scrape_structured (2 credits)
    • ❌ Tidak (HTML mentah sudah memadai) → Gunakan fetch_url (1 credit)
  • 4. Adakah anda perlukan penyelidikan berkuasa AI?
    • ✅ Ya → Gunakan deep_research (10 credits)
    • ❌ Tidak → Gunakan alternatif yang lebih murah

Perbandingan Kos mengikut Kes Penggunaan

Kes PenggunaanAlat SalahAlat BetulPenjimatan
Ambil HTMLsearch_web (5)fetch_url (1)80%
Ekstrak teksscrape_with_actions (5)extract_text (1)80%
Dapatkan metadatascrape_structured (2)extract_metadata (1)50%
Selidik topikdeep_research (10)search_web (5) + fetch_url (1×3)20%

Contoh: Mengekstrak Data Produk

Salah (10 credits)

Typescript

Betul (2 credits)

Typescript

2. Strategi Cache

Elakkan scraping semula kandungan yang sama dengan melaksanakan cache yang pintar.

Contoh Cache Redis

Cache keputusan selama 24 jam untuk menghapuskan permintaan berganda

Typescript
Strategi TTL Cache: Kandungan statik (24j+), Halaman produk (6j), Berita (1j), Data masa nyata (5min atau langkau cache)

3. Permintaan Kelompok lwn Individu

Gunakan pemprosesan kelompok untuk berbilang URL bagi meningkatkan throughput dan mengurangkan overhed.

  • Permintaan Individu
    • ⏱️ Masa: ~5 saat setiap URL
    • 💰 Kos: 1 credit setiap URL
    • 📊 Throughput: 12 URL/minit
    • Guna untuk: <10 URL
  • Permintaan Kelompok (Disyorkan)
    • ⏱️ Masa: ~15 saat untuk 50 URL
    • 💰 Kos: 1 credit setiap URL
    • 📊 Throughput: 200 URL/minit
    • ✅ Guna untuk: 10+ URL (16x lebih pantas!)

Perbandingan Kod

Typescript

4. Analisis Kos/Faedah

Kira ROI bagi operasi scraping anda.

Free Plan
$0

1,000 credits percubaan sekali sahaja — = 1,000 permintaan fetch_url

Hobby Plan
$19

5,000 credits — = $0.0038/credit

Professional
$99

50,000 credits — = $0.002/credit

Kos Setiap 1,000 URL (Hobby Plan)

  • ✅ Menggunakan fetch_url (1 credit): $3.80
  • ⚠️ Menggunakan scrape_structured (2 credits): $7.60
  • ❌ Menggunakan scrape_with_actions (5 credits): $19.00
  • ❌ Menggunakan deep_research (10 credits): $38.00

Ringkasan Pengoptimuman

  1. Sentiasa mulakan dengan fetch_url
  2. Cache keputusan untuk sekurang-kurangnya 1 jam
  3. Gunakan batch_scrape untuk 10+ URL
  4. Elakkan deep_research untuk tugas mudah
  5. Hurai HTML secara setempat apabila boleh
  6. Gunakan onlyMainContent: true untuk scraping kelompok
  7. Jangan scrape URL yang sama dua kali dalam 24j
  8. Semak sama ada tapak mempunyai API sebelum scraping
  9. Gunakan webhook untuk kelompok besar (100+ URL)
  10. Pantau papan pemuka penggunaan setiap minggu
Bersedia untuk Mengoptimumkan?
Mula laksanakan strategi ini untuk mengurangkan kos sebanyak 50-80%
Lihat Rujukan APILihat Harga