CrawlForge
Alat Lanjutan5 credits

batch_scrape

Kikis berbilang URL secara selari dengan pengurusan kerja tak segerak, pemberitahuan webhook dan keserentakan boleh dikonfigurasi. Sesuai untuk pengumpulan data pukal dan aliran kerja automatik.

Kes Penggunaan

Pengumpulan Data Pukal

Kikis katalog produk, artikel berita atau kertas penyelidikan merentas berbilang halaman secara serentak

Analisis Pesaing

Pantau harga, ciri dan kandungan merentas tapak web pesaing dalam satu kelompok

Aliran Kerja Automatik

Berintegrasi dengan webhook untuk pemprosesan masa nyata apabila kerja scraping selesai

Pelaporan Berjadual

Jana laporan harian dengan scraping berkelompok papan pemuka, analitik atau halaman status

Pengarkiban Kandungan

Arkibkan berbilang halaman sebagai screenshot atau PDF untuk pematuhan atau rekod sejarah

Pemprosesan Selari

Kawal tahap keserentakan untuk mengoptimumkan kelajuan sambil menghormati had kadar

Endpoint

POST/api/v1/tools/batch_scrape
Auth Required
2 req/s pada pelan Free
5 credits

Parameters

NameTypeRequiredDefaultDescription
urls
string[]Required-
Tatasusunan URL untuk dikikis (1-50 URL)
Example: ["https://example.com", "https://example.org"]
formats
string[]Optional["markdown"]
Format output untuk setiap URL: markdown, html, text, screenshot atau pdf
Example: ["markdown", "screenshot"]
webhook
stringOptional-
URL webhook untuk menerima pemberitahuan kerja selesai
Example: https://yourapp.com/webhook/scrape-complete
maxConcurrency
numberOptional5
Bilangan maksimum permintaan serentak (1-10)
Example: 10
timeout
numberOptional30000
Tamat masa setiap URL dalam milisaat
Example: 45000
onlyMainContent
booleanOptionalfalse
Ekstrak kandungan utama sahaja, membuang elemen ulangan
Example: true

Muatan Webhook

Apabila kelompok selesai, URL webhook anda akan menerima:

webhook-payload.jsonJson

Contoh Permintaan

terminalBash

Contoh Respons

200 OK156ms
{
  "success": true,
  "data": {
    "jobId": "batch_1234567890abcdef",
    "status": "processing",
    "totalUrls": 3,
    "completed": 0,
    "successful": 0,
    "failed": 0,
    "startedAt": "2025-10-01T12:00:00Z",
    "estimatedCompletionAt": "2025-10-01T12:02:00Z",
    "results": []
  },
  "credits_used": 5,
  "credits_remaining": 995,
  "processing_time": 156
}
Field Descriptions
data.jobIdPengecam unik untuk menjejaki kerja berkelompok ini
data.statusStatus kerja: queued, processing, completed atau failed
data.totalUrlsJumlah keseluruhan URL dalam kelompok
data.completedBilangan URL yang diproses (berjaya + gagal)
data.estimatedCompletionAtAnggaran masa selesai berdasarkan keserentakan
credits_used5 credits setiap permintaan kelompok (yuran rata)
credits_remainingBaki credit anda yang berbaki

Pengendalian Ralat

Terlalu Banyak URL (400 Bad Request)

Maksimum 50 URL setiap kelompok. Pecahkan kelompok besar kepada beberapa permintaan.

URL Webhook Tidak Sah (400 Bad Request)

Webhook mestilah URL HTTPS yang sah. Webhook HTTP tidak disokong atas sebab keselamatan.

Credits Tidak Mencukupi (402 Payment Required)

Kelompok memerlukan 5 credits di hadapan setiap panggilan. Tambah lebih banyak credits sebelum mencuba semula.

Kerja Tidak Ditemui (404 Not Found)

ID kerja tidak wujud atau telah luput. Kerja disimpan selama 7 hari selepas selesai.

Tip Pro: Gunakan webhook untuk kelompok besar dan bukannya tinjauan berkala. Ini mengurangkan panggilan API dan meningkatkan kebolehpercayaan. URL yang gagal tidak menggunakan credits—hanya scrape yang berjaya dicaj.

Kos Credit

5 credits
5 credits setiap permintaan
Yuran rata setiap permintaan kelompok. Proses sehingga 50 URL setiap kelompok dengan pelaksanaan selari dan pemberitahuan webhook.

Apa yang Disertakan:

Sehingga 50 URL setiap kelompok

Pemprosesan selari dengan keserentakan boleh dikonfigurasi

Pelbagai format output (markdown, HTML, text, screenshot, PDF)

Pemberitahuan webhook apabila selesai

Pengurusan kerja tak segerak

Cadangan Pelan:

Free Plan: 1,000 credits percubaan sekali sahaja = 200 permintaan kelompok

Hobby Plan: 5,000 credits = 1,000 permintaan kelompok ($19/mo)

Professional Plan: 50,000 credits = 10,000 permintaan kelompok ($99/mo)

Alat Berkaitan

crawl_deep
Temui URL dahulu, kemudian kikis secara berkelompok (4 credits)
deep_research
Penyelidikan berbilang peringkat merentas pelbagai sumber (10 credits)
screenshot
Tangkap petikan visual secara berkelompok (2 credits setiap screenshot)
stealth_mode
Pintas pengesanan bot untuk tapak terlindung (5 credits)
Bersedia untuk mencuba batch_scrape? Daftar secara percuma dan dapatkan 1,000 credits untuk mula membina.