CrawlForge
Alat Asas1 credit

fetch_url

Ambil dan hurai halaman web dengan pengendalian ubah hala automatik, kawalan tamat masa dan pengepala tersuai. Sesuai untuk mendapatkan kandungan HTML daripada mana-mana URL yang boleh diakses umum.

Kes Penggunaan

Mendapatkan Kandungan Halaman

Ambil kandungan HTML daripada mana-mana halaman web untuk pemprosesan atau analisis lanjut

Pengambilan Data API

Buat permintaan GET ke API REST dan dapatkan respons JSON

Semakan Kesihatan

Pantau ketersediaan tapak web dan masa respons

Muat Turun Mudah

Muat turun aset statik, dokumen atau kandungan halaman

Endpoint

POST/api/v1/tools/fetch_url
Auth Required
2 req/s pada pelan Free
1 credit

Parameters

NameTypeRequiredDefaultDescription
url
stringRequired-
URL untuk diambil (mesti termasuk protokol: http:// atau https://)
Example: https://example.com
headers
objectOptional-
Pengepala HTTP tersuai untuk disertakan dalam permintaan
Example: {"Accept": "text/html", "User-Agent": "MyBot/1.0"}
timeout
numberOptional10000
Tamat masa permintaan dalam milisaat (1000-30000)
Example: 15000
follow_redirects
booleanOptionaltrue
Sama ada untuk mengikuti ubah hala HTTP secara automatik
Example: true
user_agent
stringOptional-
Pengepala User-Agent tersuai (mengatasi lalai)
Example: Mozilla/5.0 (compatible; CrawlBot/1.0)

Contoh Permintaan

cURL

terminalBash

TypeScript

fetchUrl.tsTypescript

Python

fetch_url.pyPython

Contoh Respons

200 OK245ms
{
  "success": true,
  "data": {
    "url": "https://example.com",
    "status": 200,
    "status_text": "OK",
    "headers": {
      "content-type": "text/html; charset=UTF-8",
      "content-length": "1256",
      "server": "nginx"
    },
    "content": "Example Domain......",
    "content_length": 1256,
    "content_type": "text/html; charset=UTF-8",
    "redirected": false,
    "final_url": "https://example.com"
  },
  "credits_used": 1,
  "credits_remaining": 999,
  "processing_time": 245
}
Field Descriptions
data.urlURL asal yang diminta
data.statusKod status HTTP bagi respons
data.contentKandungan HTML penuh halaman
data.content_lengthSaiz kandungan dalam bait
data.final_urlURL akhir selepas mengikuti ubah hala
credits_usedCredits ditolak untuk permintaan ini (1 setiap pengambilan)
credits_remainingBaki credit anda yang masih ada

Pengendalian Ralat

URL Tidak Sah (400 Bad Request)

Format URL tidak sah. Pastikan ia termasuk protokol (http:// atau https://)

Ralat Tamat Masa (500 Internal Server Error)

Permintaan mengambil masa lebih lama daripada tamat masa yang ditentukan. Cuba tingkatkan parameter timeout.

Credits Tidak Mencukupi (402 Payment Required)

Akaun anda tidak mempunyai credits yang mencukupi. Beli lebih banyak credits atau naik taraf pelan anda.

Had Kadar Dilampaui (429 Too Many Requests)

Anda telah melampaui had kadar pelan anda. Tunggu sebentar atau naik taraf pelan anda untuk had yang lebih tinggi.

Petua Pro: Sentiasa laksanakan logik cuba semula dengan backoff eksponen untuk aplikasi pengeluaran. Lihat Panduan Pengendalian Ralat kami untuk amalan terbaik.

Kos Credit

1 credit
1 credit setiap permintaan
Setiap permintaan fetch_url yang berjaya berkos 1 credit, tanpa mengira saiz halaman atau masa respons.

Free Plan: 1,000 credit percubaan sekali sahaja = 1,000 permintaan

Hobby Plan: 5,000 credits/bulan = 5,000 permintaan ($19/bln)

Professional Plan: 50,000 credits/bulan = 50,000 permintaan ($99/bln)

Business Plan: 250,000 credits/bulan = 250,000 permintaan ($399/bln)

Alat Berkaitan

extract_text
Ekstrak teks bersih daripada kandungan HTML yang diambil (1 credit)
extract_links
Temui semua pautan daripada halaman yang diambil (1 credit)
extract_metadata
Ekstrak teg OpenGraph, Twitter Card dan meta (1 credit)
scrape_structured
Ekstrak data berstruktur menggunakan pemilih CSS (2 credits)
Bersedia untuk mencuba fetch_url? Daftar secara percuma dan dapatkan 1,000 credits untuk mula membina.