CrawlForge
Pengekstrakan1 credit

scrape_template

Penyental pratbina untuk 10 tapak yang paling banyak diminta. Tiada skema, tiada pemilih, tiada LLM — cukup hantar nama templat dan satu URL. Pengekstrak terbina dalam mengendalikan penghuraian dan mengembalikan JSON bersih dan bertaip untuk 1 credit setiap panggilan.

Kes Penggunaan

Data E-Dagang Pantas

Tarik harga, penarafan dan stok produk Amazon tanpa menulis satu pemilih pun.

Pengagregatan Profil Pembangun

Gabungkan repo GitHub, pakej npm dan aktiviti Stack Overflow ke dalam satu paparan pembangun.

Pemantauan Media Sosial

Jejaki tweet, bebenang Reddit dan pelancaran Product Hunt dengan satu endpoint setiap sumber.

Endpoint

POST/api/v1/tools/scrape_template
Auth Required
2 req/s pada pelan Free
1 credit

Parameters

url diperlukan untuk setiap templat kecuali list. Hantar template: "list" sahaja untuk menemui templat yang tersedia.
NameTypeRequiredDefaultDescription
template
stringRequired-
Nama templat. Salah satu daripada 10 templat yang disokong, atau "list" untuk menemuinya secara berprogram.
Example: github-repo
url
stringOptional-
URL untuk scrape. Diperlukan kecuali template === "list".
Example: https://github.com/crawlforge/mcp-server
timeout
numberOptional15000
Had masa permintaan dalam milisaat (5000–60000).
Example: 15000

Templat yang Disokong

10 templat tersedia — Setiap templat mengembalikan bentuk JSON ternormal yang ditala untuk tapak tersebut.

amazon-product
Tajuk produk, harga, penarafan, ulasan, status stok
linkedin-profile
Nama, tajuk ringkas, lokasi, pengalaman, pendidikan
github-repo
Bintang, fork, bahasa, komit terakhir, penerangan
youtube-video
Tajuk, saluran, tontonan, suka, tempoh, tarikh terbit
tweet
Penulis, pemegang, teks, suka, retweet, cap masa siaran
reddit-thread
Tajuk, subreddit, penulis, undi naik, bilangan komen
hacker-news-front-page
Cerita teratas, mata dan bilangan komen
producthunt-launch
Nama produk, tajuk ringkas, undi naik, maklumat pembuat
stackoverflow-question
Soalan, undi, jawapan, tag, penerimaan
npm-package
Versi, muat turun mingguan, lesen, kebergantungan
Hantar { "template": "list" } (tiada url diperlukan) untuk mengambil senarai ini secara berprogram. Berguna untuk memastikan SDK klien sentiasa selaras.

Contoh Permintaan

cURL — github-repo

terminalBash

TypeScript — amazon-product

scrapeTemplate.tsTypescript

cURL — discover templates

terminalBash

Contoh Respons

200 OK0.8s
{
  "success": true,
  "data": {
    "template": "github-repo",
    "url": "https://github.com/crawlforge/mcp-server",
    "extracted": {
      "name": "crawlforge/mcp-server",
      "stars": 12843,
      "forks": 1024,
      "language": "TypeScript",
      "description": "Powerful web scraping MCP server",
      "last_commit": "2026-05-15T10:23:00Z"
    },
    "scraped_at": "2026-05-18T12:00:00.000Z"
  },
  "credits_used": 1,
  "credits_remaining": 999,
  "processing_time": 812
}
Field Descriptions
data.extractedBentuk ternormal yang ditala untuk templat yang dipilih
data.scraped_atCap masa ISO 8601 bila scrape selesai
credits_used1 credit rata setiap panggilan tanpa mengira templat

Kos Credit

1 credit
1 credit setiap permintaan
1 credit rata setiap panggilan. Cara paling murah untuk menarik data berstruktur daripada tapak yang disokong.

Petua: Perlukan tapak yang tidak disokong? Gunakan scrape_structured untuk pemilih tersuai (2 credits) atau extract_with_llm untuk pengekstrakan dikuasakan LLM.

Alat Berkaitan

scrape_structured
Pengekstrakan pemilih CSS tersuai (2 credits)
extract_with_llm
Pengekstrakan dikuasakan LLM untuk mana-mana tapak
Bersedia untuk scrape tapak popular dalam satu panggilan? Daftar percuma dan dapatkan 1,000 credits.