Kes Penggunaan
01Jawapan Pantas
Gunakan scrape_with_actions (5 credits) untuk mengklik "muat lagi", menatal, atau log masuk supaya iklan benar-benar dipaparkan, kemudian extract_structured (3 credits) untuk memetakan setiap iklan kepada skema JSON anda sendiri -- jawatan, lokasi, gaji, penanda kerja jarak jauh. Lebih kurang 8 credits setiap halaman papan, dan satu skema merangkumi papan dengan markup yang berbeza.
02Ringkasan
Papan pekerjaan menyembunyikan iklannya di sebalik butang "muat lagi", tatal tanpa henti, dan dinding log masuk, jadi pengambilan HTTP biasa hanya memulangkan cengkerang kosong. Setiap papan juga menamakan medannya secara berbeza, yang merosakkan scraper berasaskan pemilih pada reka bentuk semula berikutnya.
scrape_with_actions CrawlForge memandu pelayar sebenar -- klik, taip, tatal, tunggu -- supaya iklan dipaparkan sebelum pengekstrakan, dan extract_structured memetakan apa jua markup yang digunakan sesebuah papan kepada satu skema JSON yang anda tentukan.
03Dalam kod
1// Load a paginated board, then extract each posting as JSON2const board = await mcp.scrape_with_actions({3 url: "https://boards.example.com/jobs?team=engineering",4 actions: [5 { type: "wait", selector: ".job-card", condition: "visible" },6 { type: "click", selector: "button.load-more", clickCount: 3 },7 { type: "scroll", direction: "down", distance: 4000 },8 ],9 formats: ["json", "markdown"],10});11 12// One schema, any board layout13const posting = await mcp.extract_structured({14 url: "https://boards.example.com/jobs/senior-backend-engineer",15 schema: {16 type: "object",17 properties: {18 title: { type: "string" },19 location: { type: "string" },20 salaryRange: { type: "string" },21 remote: { type: "boolean" },22 postedAt: { type: "string" },23 },24 required: ["title"],25 },26});27 28console.log(posting.data);04Saluran paip
05Soalan
04
Gunakan scrape_with_actions untuk memandu pelayar sebenar: tunggu pemilih iklan, klik butang muat lagi, dan tatal sebelum pengekstrakan berjalan. Iklan dipaparkan dahulu, jadi anda mendapat kandungan sebenar dan bukannya cengkerang kosong.
Ya. scrape_with_actions menyokong tindakan type dan click serta formAutoFill, jadi ia boleh menghantar kelayakan dan scrape halaman yang menyusul. Log masuk hanya ke akaun yang anda miliki atau yang anda dibenarkan akses.
Tentukan satu skema JSON — jawatan, lokasi, julat gaji, penanda kerja jarak jauh, tarikh siaran — dan hantarkannya ke extract_structured. Ia memetakan markup setiap papan kepada bentuk anda, dan berpatah balik kepada pemilih CSS apabila tiada LLM dikonfigurasikan.
Lebih kurang 8 credits untuk satu halaman papan: 5 untuk pas pelayar scrape_with_actions dan 3 untuk setiap panggilan extract_structured pada sesuatu iklan. Gunakan batch_scrape apabila anda menarik ratusan halaman perincian sehari.
06Teruskan meneroka
Perkayakan prospek jualan dengan data syarikat, tumpukan teknologi dan maklumat hubungan daripada web. Menukar senarai domain kosong menjadi saluran jualan yang layak.
Jejaki harga pesaing dan ketersediaan produk merentas ratusan laman e-dagang. Kesan harga yang dipotong pada hari ia berlaku dan tetapkan semula harga dengan yakin.
Mula menempa
Setiap akaun baharu mendapat 1,000 credits percuma. Tiada kad kredit diperlukan.