Rujukan API

CrawlForge MCP Rujukan API

Rujukan lengkap untuk kesemua 29 alat CrawlForge MCP. Bina aplikasi scraping web yang berkuasa dengan API mengutamakan pembangun kami.

Gambaran Keseluruhan API

Base URL

Bash

https://crawlforge.dev/api/v1

Pengesahan

Semua permintaan API memerlukan kunci API yang dihantar dalam pengepala X-API-Key:

Bash

curl -H "X-API-Key: cf_test_YOUR_KEY" \
     https://crawlforge.dev/api/v1/tools/fetch_url

Dapatkan kunci API anda daripada papan pemuka.

Format Permintaan

Semua titik akhir alat menerima JSON dalam badan permintaan:

Json

{
  "url": "https://example.com",
  "timeout": 10000,
  "follow_redirects": true
}

Format Respons

Semua respons mengikut format standard:

Json

{
  "success": true,
  "data": {
    // Tool-specific response data
  },
  "credits_used": 1,
  "credits_remaining": 999,
  "processing_time": 245
}

Respons juga boleh membawa tatasusunan rentetan warnings pilihan di aras atas, bersebelahan data dan credits_used dan bukan di dalam data. Ia hadir hanya apabila sesuatu permintaan menghasilkan amaran: anda mematikan semakan robots.txt dengan respect_robots: false — yang turut direkodkan pada kunci API anda — atau sesuatu alat berbilang URL melangkau satu URL atau tidak mengambil sesuatu sumber. Jika anda tidak pernah mematikan semakan itu dan setiap URL yang anda minta dibenarkan, tiada respons akan membawa medan tersebut; ketiadaannya adalah keadaan biasa, bukan nilai yang hilang.

Kod Status HTTP

Kod	Penerangan
200	OK - Permintaan berjaya
400	Bad Request - Parameter tidak sah
401	Unauthorized - Kunci API tidak sah atau tiada
402	Payment Required - Credits tidak mencukupi
403	Forbidden - robots.txt melarang URL itu untuk `CrawlForge` (atasi dengan `respect_robots: false`), hos itu berada dalam senarai penarikan diri kekal CrawlForge (tidak boleh diatasi), atau URL itu diselesaikan kepada alamat peribadi atau dalaman. Tiada apa-apa diambil dan tiada credits dicaj
429	Too Many Requests - had kadar pelan anda (perlahankan atau naik taraf), atau tapak sasaran meminta CrawlForge menunggu melalui `Retry-After` pada 429 atau 503-nya sendiri, yang tidak dipengaruhi oleh perubahan pelan dan tidak boleh diatasi oleh `respect_robots`. Kedua-duanya tidak dicaj
500	Internal Server Error

Had Kadar

Had kadar dikenakan bagi setiap kunci API dan berbeza mengikut pelan. Melebihi had akan mengembalikan respons 429 Too Many Requests.

Free Plan

1 permintaan sesaat

Hobby Plan

2 permintaan sesaat

Professional Plan

4 permintaan sesaat

Business Plan

10 permintaan sesaat

Semua Alat

Alat Asas 1-2 credits

list_ollama_models

Senaraikan model Ollama yang dipasang secara setempat (pembantu penemuan)

1 credit

get_batch_results

Dapatkan hasil berhalaman bagi kerja batch_scrape

1 credit

fetch_url

Ambil dan hurai halaman web dengan pengendalian automatik

1 credit

extract_text

Ekstrak teks bersih daripada HTML dengan penghuraian pintar

1 credit

extract_links

Temui dan ekstrak semua pautan daripada halaman web

1 credit

extract_metadata

Ekstrak metadata halaman, OpenGraph, dan tag Twitter Card

1 credit

scrape_template

Scraper pra-bina untuk 10 tapak popular (Amazon, GitHub, YouTube, dan banyak lagi)

1 credit

scrape_structured

Ekstrak data berstruktur menggunakan pemilih CSS

2 credits

scrape

Pengekstrakan bersatu daripada satu ambilan — markdown, HTML, teks, pautan, metadata dan lain-lain

2 credits

extract_content

Ekstrak kandungan utama daripada halaman web dengan pengesanan kebolehbacaan

2 credits

map_site

Temui dan petakan struktur serta URL tapak web

2 credits

process_document

Proses dokumen daripada pelbagai format termasuk PDF

2 credits

localization

Pengurusan berbilang bahasa dan geolokasi untuk scraping

2 credits

reddit_search

Cari post/komen Reddit atau baca thread penuh melalui arkib komuniti

2 credits

Alat Lanjutan 3-5 credits

track_changes

Jejak perubahan halaman dengan garis dasar, pemantauan berjadual, dan amaran

3 credits

analyze_content

Analisis kandungan untuk sentimen, bahasa, dan topik

3 credits

extract_embedded_state

Baca keadaan JSON yang sudah dihantar halaman dalam HTML-nya sendiri - tanpa LLM, tanpa rekaan

2 credits

extract_structured

Ekstraksi dipacu skema berkuasa LLM dengan sandaran pemilih CSS

3 credits

extract_with_llm

Ekstraksi berkuasa LLM, Ollama setempat secara lalai (OpenAI/Anthropic pilihan)

3 credits

summarize_content

Jana ringkasan pintar untuk kandungan teks

4 credits

crawl_deep

Crawling tapak web mendalam menggunakan carian melebar dahulu

4 credits

stealth_mode

Pengurusan pelayar anti-pengesanan dengan rawakan cap jari

5 credits

scrape_with_actions

Laksanakan tindakan pelayar sebelum scraping (klik, borang, dll.)

5 credits

batch_scrape

Proses berbilang URL secara serentak dengan pengurusan kerja async

5 credits

search_web

Cari web menggunakan Google Custom Search API

5 credits

serp_rank

Semak kedudukan SERP organik Google sesuatu domain untuk kata kunci

5 credits

generate_llms_txt

Jana fail llms.txt dan llms-full.txt yang mematuhi standard

5 credits

Alat Premium 8-10 credits

agent

Penyelidikan autonomi daripada prompt bahasa tabii — tiada URL diperlukan

8 credits

deep_research

Penyelidikan berbilang peringkat dengan sintesis AI dan pengesahan sumber

10 credits

Pengendalian Ralat

Semua ralat mengikut format standard dengan medan error.code dan error.message.

Json

{
  "error": {
    "code": "VALIDATION_ERROR",
    "message": "Invalid input parameters",
    "details": [
      {
        "field": "url",
        "message": "Invalid URL format"
      }
    ]
  }
}

Lihat FAQ untuk senarai lengkap kod ralat dan penyelesaian.

Bersedia untuk mula membina?

Pilih satu alat dan terokai dokumentasinya

Lihat Dokumen Alat Kembali ke Mula di Sini

Rujukan API

CrawlForge MCP Rujukan API

Rujukan lengkap untuk kesemua 29 alat CrawlForge MCP. Bina aplikasi scraping web yang berkuasa dengan API mengutamakan pembangun kami.

Gambaran Keseluruhan API

Base URL

Bash

https://crawlforge.dev/api/v1

Pengesahan

Semua permintaan API memerlukan kunci API yang dihantar dalam pengepala X-API-Key:

Bash

curl -H "X-API-Key: cf_test_YOUR_KEY" \
     https://crawlforge.dev/api/v1/tools/fetch_url

Dapatkan kunci API anda daripada papan pemuka.

Format Permintaan

Semua titik akhir alat menerima JSON dalam badan permintaan:

Json

{
  "url": "https://example.com",
  "timeout": 10000,
  "follow_redirects": true
}

Format Respons

Semua respons mengikut format standard:

Json

{
  "success": true,
  "data": {
    // Tool-specific response data
  },
  "credits_used": 1,
  "credits_remaining": 999,
  "processing_time": 245
}

Kod Status HTTP

Kod	Penerangan
200	OK - Permintaan berjaya
400	Bad Request - Parameter tidak sah
401	Unauthorized - Kunci API tidak sah atau tiada
402	Payment Required - Credits tidak mencukupi
403	Forbidden - robots.txt melarang URL itu untuk `CrawlForge` (atasi dengan `respect_robots: false`), hos itu berada dalam senarai penarikan diri kekal CrawlForge (tidak boleh diatasi), atau URL itu diselesaikan kepada alamat peribadi atau dalaman. Tiada apa-apa diambil dan tiada credits dicaj
429	Too Many Requests - had kadar pelan anda (perlahankan atau naik taraf), atau tapak sasaran meminta CrawlForge menunggu melalui `Retry-After` pada 429 atau 503-nya sendiri, yang tidak dipengaruhi oleh perubahan pelan dan tidak boleh diatasi oleh `respect_robots`. Kedua-duanya tidak dicaj
500	Internal Server Error

Had Kadar

Had kadar dikenakan bagi setiap kunci API dan berbeza mengikut pelan. Melebihi had akan mengembalikan respons 429 Too Many Requests.

Free Plan

1 permintaan sesaat

Hobby Plan

2 permintaan sesaat

Professional Plan

4 permintaan sesaat

Business Plan

10 permintaan sesaat

Semua Alat

Alat Asas 1-2 credits

list_ollama_models

Senaraikan model Ollama yang dipasang secara setempat (pembantu penemuan)

1 credit

get_batch_results

Dapatkan hasil berhalaman bagi kerja batch_scrape

1 credit

fetch_url

Ambil dan hurai halaman web dengan pengendalian automatik

1 credit

extract_text

Ekstrak teks bersih daripada HTML dengan penghuraian pintar

1 credit

extract_links

Temui dan ekstrak semua pautan daripada halaman web

1 credit

extract_metadata

Ekstrak metadata halaman, OpenGraph, dan tag Twitter Card

1 credit

scrape_template

Scraper pra-bina untuk 10 tapak popular (Amazon, GitHub, YouTube, dan banyak lagi)

1 credit

scrape_structured

Ekstrak data berstruktur menggunakan pemilih CSS

2 credits

scrape

Pengekstrakan bersatu daripada satu ambilan — markdown, HTML, teks, pautan, metadata dan lain-lain

2 credits

extract_content

Ekstrak kandungan utama daripada halaman web dengan pengesanan kebolehbacaan

2 credits

map_site

Temui dan petakan struktur serta URL tapak web

2 credits

process_document

Proses dokumen daripada pelbagai format termasuk PDF

2 credits

localization

Pengurusan berbilang bahasa dan geolokasi untuk scraping

2 credits

reddit_search

Cari post/komen Reddit atau baca thread penuh melalui arkib komuniti

2 credits

Alat Lanjutan 3-5 credits

track_changes

Jejak perubahan halaman dengan garis dasar, pemantauan berjadual, dan amaran

3 credits

analyze_content

Analisis kandungan untuk sentimen, bahasa, dan topik

3 credits

extract_embedded_state

Baca keadaan JSON yang sudah dihantar halaman dalam HTML-nya sendiri - tanpa LLM, tanpa rekaan

2 credits

extract_structured

Ekstraksi dipacu skema berkuasa LLM dengan sandaran pemilih CSS

3 credits

extract_with_llm

Ekstraksi berkuasa LLM, Ollama setempat secara lalai (OpenAI/Anthropic pilihan)

3 credits

summarize_content

Jana ringkasan pintar untuk kandungan teks

4 credits

crawl_deep

Crawling tapak web mendalam menggunakan carian melebar dahulu

4 credits

stealth_mode

Pengurusan pelayar anti-pengesanan dengan rawakan cap jari

5 credits

scrape_with_actions

Laksanakan tindakan pelayar sebelum scraping (klik, borang, dll.)

5 credits

batch_scrape

Proses berbilang URL secara serentak dengan pengurusan kerja async

5 credits

search_web

Cari web menggunakan Google Custom Search API

5 credits

serp_rank

Semak kedudukan SERP organik Google sesuatu domain untuk kata kunci

5 credits

generate_llms_txt

Jana fail llms.txt dan llms-full.txt yang mematuhi standard

5 credits

Alat Premium 8-10 credits

agent

Penyelidikan autonomi daripada prompt bahasa tabii — tiada URL diperlukan

8 credits

deep_research

Penyelidikan berbilang peringkat dengan sintesis AI dan pengesahan sumber

10 credits

Pengendalian Ralat

Semua ralat mengikut format standard dengan medan error.code dan error.message.

Json

{
  "error": {
    "code": "VALIDATION_ERROR",
    "message": "Invalid input parameters",
    "details": [
      {
        "field": "url",
        "message": "Invalid URL format"
      }
    ]
  }
}

Lihat FAQ untuk senarai lengkap kod ralat dan penyelesaian.

Bersedia untuk mula membina?

Pilih satu alat dan terokai dokumentasinya

Lihat Dokumen Alat Kembali ke Mula di Sini