Istilah Data dan API

JSON-LD dibenamkan dalam halaman web sebagai tag skrip dan mengandungi metadata berstruktur tentang kandungan halaman -- butiran produk, maklumat artikel, data organisasi, dan banyak lagi. Ia merupakan sumber kaya data bersih dan berstruktur untuk penyapu kerana ia sudah boleh dibaca mesin.

extract_metadata CrawlForge mengesan dan mengekstrak JSON-LD daripada halaman, memberi anda akses kepada data berstruktur yang telah disusun oleh pemilik laman. Ini selalunya lebih boleh dipercayai daripada menghuraikan elemen visual kerana JSON-LD direka untuk penggunaan mesin.

Data berstruktur pada laman web termasuk anotasi JSON-LD, microdata, dan RDFa yang menerangkan kandungan dalam format yang boleh dibaca mesin. Enjin carian menggunakannya untuk petikan kaya, dan penyapu boleh memanfaatkannya untuk pengekstrakan data yang boleh dipercayai.

extract_metadata CrawlForge secara automatik mengesan dan menghuraikan data berstruktur daripada mana-mana halaman. Ini menyediakan jalan pintas untuk pengekstrakan data -- daripada menulis pemilih CSS untuk setiap medan, anda sering kali boleh mendapatkan harga produk, penilaian, ketersediaan, dan banyak lagi terus daripada data berstruktur halaman.

Markup skema memberitahu enjin carian dengan tepat apa maksud kandungan anda, bukan sekadar apa yang dinyatakannya. Halaman dengan markup skema Product secara eksplisit mengisytiharkan nama, harga, ketersediaan, dan ulasan sesuatu produk, membolehkan keputusan carian yang kaya.

Untuk web scraping, markup skema ialah lombong emas. extract_metadata CrawlForge menarik markup skema daripada halaman, menyediakan data produk berstruktur, metadata artikel, dan maklumat perniagaan tanpa kerapuhan pengekstrakan berasaskan pemilih CSS.

Banyak laman web mempunyai API yang menyajikan data yang sama yang dipaparkan pada halaman mereka, selalunya dalam format JSON yang lebih bersih. Menemui dan menggunakan titik akhir API ini boleh lebih cekap dan boleh dipercayai daripada scraping HTML yang dipaparkan.

CrawlForge beroperasi sebagai satu set titik akhir API itu sendiri -- setiap satu daripada 31 alat boleh diakses melalui titik akhir REST. Apabila scraping, fetch_url boleh mengakses kedua-dua halaman web dan titik akhir API, mengembalikan respons JSON mentah untuk pemprosesan secara aturcara.

Webhook biasanya digunakan untuk mencetuskan tindakan apabila sesuatu berubah -- pesanan baharu, kemas kini harga, atau pengubahsuaian kandungan. Ia merupakan rakan berasaskan tolak kepada pendekatan berasaskan tarik web scraping.

track_changes CrawlForge merapatkan jurang antara scraping dan webhook. Ia memantau halaman untuk perubahan dan boleh memberitahu sistem anda apabila kandungan dikemas kini, memberi anda kesedaran masa nyata seperti webhook tanpa laman sasaran perlu menyokong webhook.

REST API menggunakan kaedah HTTP seperti GET, POST, PUT, dan DELETE untuk berinteraksi dengan sumber yang dikenal pasti oleh URL. Kebanyakan perkhidmatan web moden, termasuk CrawlForge, mendedahkan fungsi melalui titik akhir REST.

28 alat CrawlForge boleh diakses melalui titik akhir REST API sebagai tambahan kepada MCP. Ini bermakna anda boleh menyepadukan CrawlForge ke dalam mana-mana bahasa pengaturcaraan atau platform yang boleh membuat permintaan HTTP, bukan hanya klien AI yang serasi MCP.

Sesetengah laman web menggunakan API GraphQL untuk menguasakan antara muka hadapan mereka, yang boleh menjadi sasaran scraping yang cekap. Respons GraphQL sudah pun JSON berstruktur, dan anda boleh meminta hanya medan yang anda perlukan, mengurangkan pemindahan data.

fetch_url CrawlForge boleh mengakses titik akhir GraphQL secara langsung, menghantar pertanyaan dan menerima respons berstruktur. Untuk laman yang mendedahkan GraphQL, pendekatan ini lebih cekap daripada scraping HTML yang dipaparkan.

JSON ialah lingua franca data web. Respons API, fail konfigurasi, dan data berstruktur hampir secara universal dikodkan dalam JSON. Apabila scraping, matlamatnya selalunya untuk menukar HTML yang berselerak kepada JSON bersih yang boleh diproses oleh sistem hiliran.

Alat CrawlForge mengembalikan data dalam format JSON secara lalai. Alat seperti scrape_structured dan extract_structured membolehkan anda mentakrifkan skema JSON untuk output, memastikan data yang diekstrak sepadan dengan struktur yang anda jangkakan dengan tepat.

Markdown mengekalkan struktur kandungan (tajuk, senarai, pautan, blok kod) sambil melucutkan kerumitan HTML. Ini menjadikannya format output yang ideal untuk web scraping apabila anda memerlukan teks yang boleh dibaca dan berstruktur dan bukan HTML mentah atau teks biasa.

extract_content CrawlForge menyokong markdown sebagai format output, menukar halaman web kepada markdown bersih yang mengekalkan struktur dokumen. Ini amat berguna untuk pemindahan kandungan, scraping dokumentasi, dan menyuap kandungan kepada model AI yang memproses markdown dengan baik.

Penghuraian HTML ialah operasi teknikal teras di sebalik web scraping. HTML mentah daripada halaman web mesti dihuraikan kepada perwakilan berstruktur sebelum sebarang data boleh diekstrak. Kualiti penghurai menentukan sebaik mana ia mengendalikan HTML yang cacat, yang biasa berlaku di web.

CrawlForge mengendalikan penghuraian HTML secara dalaman merentas semua alatnya, menggunakan penghurai yang teguh yang mengendalikan HTML dunia sebenar dengan baik. Anda tidak perlu menangani kerenah penghuraian sendiri -- hanya tentukan data yang anda perlukan dan alat mengembalikan keputusan yang bersih.

SERP bermaksud halaman hasil enjin carian (search engine results page). API SERP membolehkan anda menyemak kedudukan sesebuah laman bagi sesuatu kata kunci, memerhati pesaing, atau menyalurkan hasil carian ke dalam saluran paip tanpa melakukan scraping enjin carian sendiri, yang disekat secara aktif oleh enjin carian.

CrawlForge mempunyai dua alat untuk ini. serp_rank (5 credits) melaporkan kedudukan sesebuah domain dalam hasil organik Google bagi sesuatu kata kunci, bersama URL yang berada di kedudukan itu dan setiap kedudukan yang dipegangnya, mengimbas sehingga 200 hasil bagi lokasi dan peranti yang dipilih. search_web (5 credits) mengembalikan hasil itu sendiri -- tajuk, URL dan petikan -- sebagai JSON.

Rangka kerja JavaScript moden menghantar data halaman ke pelayar dua kali: sekali sebagai HTML yang kelihatan dan sekali sebagai muatan JSON yang digunakan oleh rangka kerja untuk menjadikan halaman interaktif. Muatan itu sering mengandungi nilai tepat -- harga, tahap stok, ID, penilaian -- dalam bentuk yang lebih bersih daripada teks yang dipaparkan.

extract_embedded_state CrawlForge (2 credits) mencari dan mengembalikan state ini daripada satu pengambilan: muatan Next.js dan React Server Components, stor Nuxt, Apollo dan Redux, serta blok JSON sebaris. Ia tidak memerlukan LLM dan tidak menjalankan sebarang kod halaman, jadi nilai dikembalikan tepat seperti yang disimpan oleh laman tersebut.

Daripada meminta keseluruhan halaman, anda menerangkan medan yang anda mahukan -- nama produk, harga, penilaian, ketersediaan -- bersama jenisnya. Pengekstrak mengembalikan bentuk yang tepat itu bagi setiap URL, yang menjadikan output mudah disahkan, disimpan dan dibandingkan merentas laman.

CrawlForge menawarkan ini dengan dua cara. Apabila anda tahu di mana data itu berada, scrape_structured (2 credits) mengekstraknya dengan pemilih CSS. Apabila anda boleh menerangkan sesuatu medan tetapi tidak dapat mencarinya, extract_structured (3 credits) menggunakan model bahasa untuk mengisi JSON Schema anda.

Apabila anda sudah mempunyai URL -- senarai produk, hasil carian, peta laman -- menghantarnya bersama membolehkan perkhidmatan mengambilnya secara selari dan mengembalikan hasil sebagai satu set. Kelompok besar biasanya berjalan secara tak segerak, dengan hasil dikumpul kemudian atau dihantar melalui webhook.

batch_scrape CrawlForge (5 credits) menerima 2 hingga 50 URL bagi setiap panggilan dalam mod segerak atau tak segerak, dan get_batch_results (1 credit) menyelak halaman output. Untuk mencari URL terlebih dahulu, map_site (2 credits) menyenaraikan halaman sesebuah laman.