Panduan lapangan
66 istilah penting merangkumi web scraping, ejen AI, Model Context Protocol, dan pengekstrakan data.
66istilah
4panduan
01Panduan
Layari mengikut kategori
01 · Web Scraping
Istilah Web Scraping
19 konsep teras di sebalik pengambilan, pemaparan, dan penghuraian halaman web — daripada robots.txt dan had kadar hinggalah pelayar headless, pengesanan bot, dan proksi.
1919 istilah
02 · AI / MCP
Istilah AI dan MCP
19 istilah yang menghubungkan model bahasa besar dengan data web masa nyata — token, embedding, panggilan fungsi, alat MCP, API carian, dan protokol yang menyatukan semuanya.
1919 istilah
03 · Data
Istilah Data dan API
14 format dan protokol yang memindahkan data terkumpul antara sistem — REST dan JSON, webhook, API SERP, state halaman terbenam, serta penanda yang dibaca enjin carian.
1414 istilah
04 · Industri
Istilah Industri Data Web
14 istilah perniagaan di sebalik kerja data web — scraping terurus, harga berasaskan credits, data masa nyata, pemantauan harga, pengayaan prospek, dan tadbir urus.
1414 istilah
02A–Z
Semua istilah A–Z
A
Alat MCPAlat MCP ialah satu tindakan bernama dengan skema input bertaip yang didedahkan oleh MCP server untuk dipanggil oleh model AI, seperti mengambil URL atau menjalankan carian web.AI / MCPAPI Carian AIAPI carian web untuk ejen AI mengembalikan hasil carian sebagai data berstruktur, seperti tajuk, URL dan petikan, supaya model boleh mencari halaman semasa sebelum membacanya.AI / MCPAPI SERPAPI SERP mengembalikan halaman hasil enjin carian sebagai data berstruktur, termasuk kedudukan, tajuk dan URL setiap hasil, supaya kedudukan boleh dijejaki dan dianalisis dalam kod.DataAPI Web ScrapingAPI web scraping ialah perkhidmatan dihoskan yang mengambil halaman web atas permintaan dan mengembalikan kandungannya sebagai data bersih, jadi anda tidak perlu menjalankan pelayar atau penghurai anda sendiri.Web ScrapingAudit SEOAudit SEO ialah analisis menyeluruh prestasi pengoptimuman enjin carian sesuatu laman web. Ia menilai SEO teknikal, kandungan pada halaman, metadata, struktur laman, dan mengenal pasti peluang untuk penambahbaikan.Industri
D
Data BerstrukturData berstruktur ialah maklumat yang disusun dalam format yang telah ditakrifkan yang memudahkan mesin menghuraikan dan memahaminya. Pada web, ia biasanya merujuk kepada markup schema.org yang dibenamkan dalam halaman HTML.DataData Sedia LLMData sedia LLM ialah kandungan web yang ditukar kepada format bersih yang boleh digunakan terus oleh model bahasa, biasanya markdown atau JSON, dengan navigasi, iklan dan markup dibuang.AI / MCPData WebData web ialah sebarang maklumat yang boleh diakses secara awam di internet. Ia termasuk kandungan laman web, siaran media sosial, API awam, rekod kerajaan, dan sebarang data lain yang tersedia melalui protokol web.IndustriData Web Masa NyataData web masa nyata ialah maklumat yang diambil daripada web langsung pada saat ia diperlukan, dan bukannya dibaca daripada set data tersimpan atau data latihan model.Industri
E
Ejen AIEjen AI ialah sistem autonomi yang dikuasakan oleh model bahasa besar yang boleh menaakul tentang tugasan, membuat keputusan, dan mengambil tindakan dengan menggunakan alat. Ejen melangkaui chatbot ringkas dengan merancang dan melaksanakan aliran kerja berbilang langkah.AI / MCPEjen PelayarEjen pelayar ialah sistem AI yang mengendalikan pelayar web sebenar, melihat halaman, kemudian mengklik, menaip dan menatal untuk menyelesaikan tugasan seperti yang dilakukan oleh manusia.AI / MCPEjen PenggunaEjen pengguna ialah rentetan yang dihantar dalam pengepala permintaan HTTP yang mengenal pasti perisian klien yang membuat permintaan. Laman web menggunakannya untuk mengesan pelayar, bot, dan penyapu.Web ScrapingEmbeddingsEmbeddings ialah perwakilan vektor berangka padat bagi teks, imej, atau data lain. Ia menangkap makna semantik dalam format yang membolehkan carian persamaan, pengelompokan, dan operasi pembelajaran mesin yang lain.AI / MCPETL (Extract, Transform, Load)ETL ialah proses penyepaduan data yang mengekstrak data daripada sumber, mengubahnya kepada format yang sesuai, dan memuatkannya ke dalam sistem sasaran. Ia merupakan pendekatan standard untuk memindahkan data antara sistem.Industri
G
H
J
JSONJSON (JavaScript Object Notation) ialah format pertukaran data ringan yang mudah dibaca oleh manusia dan dihuraikan oleh mesin. Ia merupakan format standard untuk respons API dan pertukaran data berstruktur.DataJSON-LDJSON-LD (JSON for Linking Data) ialah kaedah mengekod data berstruktur menggunakan format JSON. Ia merupakan format pilihan untuk membenamkan markup schema.org dalam halaman web untuk pemahaman enjin carian.Data
K
Kandungan DinamikKandungan dinamik ialah kandungan web yang dimuatkan atau dijana oleh JavaScript selepas pemuatan halaman awal. Ini termasuk aplikasi satu halaman, data yang dimuatkan AJAX, dan kandungan yang dipaparkan di sisi klien.Web ScrapingKejuruteraan GesaanKejuruteraan gesaan ialah amalan mereka bentuk dan memperhalus arahan yang diberikan kepada model bahasa untuk mencapai output yang dikehendaki. Ia melibatkan penghasilan gesaan sistem, contoh few-shot, dan pertanyaan berstruktur.AI / MCPKlien MCPKlien MCP ialah aplikasi atau model AI yang menyambung ke MCP server untuk menemui dan memanggil alat. Ia menghantar permintaan panggilan alat dan memproses respons berstruktur yang dikembalikan oleh pelayan.AI / MCPKualiti DataKualiti data mengukur sebaik mana sesuatu set data memenuhi keperluan penggunaan yang dimaksudkan. Dimensi utama termasuk ketepatan, kelengkapan, konsistensi, ketepatan masa, dan kesahihan data.Industri
M
MarkdownMarkdown ialah bahasa markup ringan yang menggunakan sintaks pemformatan teks biasa. Ia digunakan secara meluas untuk dokumentasi, penciptaan kandungan, dan sebagai format perantaraan yang bersih untuk kandungan web yang diekstrak.DataMarkup SkemaMarkup skema ialah perbendaharaan tag (daripada schema.org) yang anda tambah pada HTML untuk menambah baik cara enjin carian membaca dan mewakili halaman anda. Ia mentakrifkan jenis seperti Product, Article, Organization, dan sifat-sifatnya.DataMCP serverMCP server ialah perkhidmatan yang mendedahkan alat dan sumber melalui Model Context Protocol. Ia mendaftarkan fungsi yang tersedia, mengendalikan panggilan alat masuk daripada klien AI, dan mengembalikan keputusan berstruktur.AI / MCPModel Bahasa Besar (LLM)Model bahasa besar ialah rangkaian neural yang dilatih dengan jumlah data teks yang besar yang boleh memahami dan menjana bahasa manusia. LLM menguasakan pembantu AI, penjana kod, dan ejen autonomi.AI / MCPModel Context Protocol (MCP)Model Context Protocol ialah satu standard terbuka yang membolehkan model AI berinteraksi dengan alat dan sumber data luaran melalui antara muka bersatu. Ia menyediakan cara berstruktur untuk LLM memanggil fungsi, mengakses API, dan mendapatkan maklumat masa nyata.AI / MCP
O
P
Pangkalan Data VektorPangkalan data vektor ialah pangkalan data khusus yang direka untuk menyimpan dan menanyakan embeddings vektor berdimensi tinggi dengan cekap. Ia membolehkan carian persamaan yang pantas merentas berjuta-juta dokumen terbenam.AI / MCPPelayar Tanpa KepalaPelayar tanpa kepala ialah pelayar web tanpa antara muka pengguna grafik yang boleh dikawal secara aturcara. Ia melaksanakan JavaScript dan memaparkan halaman sama seperti pelayar biasa, tetapi berjalan di latar belakang.Web ScrapingPemanggilan FungsiPemanggilan fungsi ialah keupayaan model bahasa untuk memanggil fungsi atau API luaran semasa perbualan. Model memutuskan bila hendak memanggil fungsi, menjana argumen yang sesuai, dan memproses keputusan yang dikembalikan.AI / MCPPemantauan HargaPemantauan harga ialah penjejakan automatik harga produk dan perkhidmatan merentas laman web dari semasa ke semasa. Ia membolehkan perniagaan bertindak balas terhadap perubahan harga pesaing, mengoptimumkan harga sendiri, dan mengenal pasti trend pasaran.IndustriPemilih CSSPemilih CSS ialah corak yang digunakan untuk memilih dan menyasarkan elemen HTML tertentu pada halaman web. Dalam web scraping, pemilih mengenal pasti dengan tepat data yang hendak diekstrak daripada struktur halaman.Web ScrapingPemindahan KandunganPemindahan kandungan ialah proses memindahkan kandungan daripada satu platform atau sistem ke sistem lain. Ia melibatkan pengekstrakan kandungan daripada sumber, mengubahnya supaya sepadan dengan format sasaran, dan memuatkannya ke dalam sistem baharu.IndustriPenalaan HalusPenalaan halus ialah proses melatih lagi model bahasa pra-latih pada set data tertentu untuk mengkhususkan tingkah lakunya bagi tugasan atau domain tertentu. Ia menyesuaikan model tujuan umum kepada kes penggunaan yang disasarkan.AI / MCPPengayaan ProspekPengayaan prospek ialah proses menambah maklumat prospek asas dengan titik data tambahan seperti saiz syarikat, industri, timbunan teknologi, dan profil sosial. Ia membantu pasukan jualan mengutamakan dan memperibadikan jangkauan.IndustriPengehadan KadarPengehadan kadar ialah teknik yang digunakan oleh laman web dan API untuk mengawal bilangan permintaan yang boleh dibuat oleh klien dalam tempoh masa tertentu. Ia mencegah lebihan beban pelayan dan mempertahankan daripada scraping yang menyalahgunakan.Web ScrapingPengekstrakan Berasaskan SkemaPengekstrakan data berasaskan skema mengambil medan tertentu daripada halaman web ke dalam struktur yang anda tentukan terlebih dahulu, biasanya JSON Schema, supaya setiap halaman mengembalikan bentuk yang sama.DataPengepala HTTPPengepala HTTP ialah pasangan kunci-nilai yang dihantar bersama permintaan dan respons HTTP yang menyediakan metadata tentang komunikasi tersebut. Dalam scraping, pengepala seperti User-Agent, Accept, dan Cookie adalah kritikal untuk permintaan yang berjaya.Web ScrapingPengesanan BotLaman web mengesan scraper dengan menilai isyarat seperti kadar permintaan, reputasi IP, cap jari pelayar dan tingkah laku JavaScript, kemudian menyekat atau mencabar trafik yang kelihatan automatik.Web ScrapingPenggunaan AlatPenggunaan alat ialah keupayaan model AI untuk berinteraksi dengan alat, API, dan perkhidmatan luaran untuk menyelesaikan tugasan melangkaui penjanaan teks. Ia melanjutkan keupayaan model untuk merangkumi penyemakan imbas web, pelaksanaan kod, perolehan data, dan banyak lagi.AI / MCPPenghuraian DOMPenghuraian DOM ialah proses menukar HTML mentah kepada pepohon Document Object Model yang berstruktur. Perwakilan pepohon ini membolehkan program menavigasi dan mengekstrak elemen tertentu daripada halaman web.Web ScrapingPenghuraian HTMLPenghuraian HTML ialah proses menganalisis markup HTML untuk mengekstrak struktur dan kandungannya. Penghurai menukar rentetan HTML mentah kepada struktur pepohon yang boleh dinavigasi yang boleh ditanyakan dan dimanipulasi oleh program.DataPenomboran HalamanPenomboran halaman ialah amalan membahagikan kandungan merentas pelbagai halaman. Mengendalikan penomboran halaman dalam web scraping bermakna menavigasi melalui semua halaman secara automatik untuk mengumpul set data yang lengkap.Web ScrapingPenyelesaian CAPTCHAPenyelesaian CAPTCHA merujuk kepada teknik automatik untuk memintas cabaran CAPTCHA yang digunakan laman web untuk membezakan manusia daripada bot. Ini termasuk pengecaman imej, penyelesaian berasaskan token, dan emulasi cap jari pelayar.Web ScrapingPerangkak WebPerangkak web ialah program yang melayari web secara sistematik dengan mengikuti pautan dari halaman ke halaman. Perangkak menemui dan mengindeks kandungan merentas seluruh laman web atau domain.Web ScrapingPerisikan PersainganPerisikan persaingan ialah pengumpulan dan analisis maklumat secara sistematik tentang pesaing, trend pasaran, dan dinamik industri. Ia memaklumkan keputusan strategik tentang harga, kedudukan, dan pembangunan produk.IndustriPerkhidmatan Scraping TerurusPerkhidmatan scraping terurus menjalankan pelayar, cubaan semula dan penghurai untuk anda, jadi pasukan memanggil API dan bukannya menyelenggara infrastruktur Playwright atau Puppeteer mereka sendiri.IndustriPeta LamanPeta laman ialah fail XML yang menyenaraikan semua URL pada laman web, bersama metadata seperti tarikh pengubahsuaian terakhir dan keutamaan. Ia membantu enjin carian dan perangkak menemui dan mengindeks semua halaman dengan cekap.Web ScrapingProksi KediamanProksi kediaman menghalakan permintaan melalui alamat IP yang diberikan oleh penyedia internet kepada sambungan rumah, jadi trafik kelihatan seperti pelawat biasa, bukan pusat data.Web ScrapingPutaran ProksiPutaran proksi ialah amalan mengitar melalui pelbagai alamat IP proksi semasa membuat permintaan web. Ini mengagihkan permintaan merentas IP yang berbeza untuk mengelakkan had kadar dan penyekatan berasaskan IP.Web Scraping
R
REST APIREST API (Representational State Transfer) ialah seni bina perkhidmatan web yang menggunakan kaedah HTTP standard untuk melaksanakan operasi pada sumber. Ia merupakan gaya API yang paling biasa untuk perkhidmatan web.DataRetrieval-Augmented Generation (RAG)RAG ialah seni bina AI yang menggabungkan perolehan maklumat dengan penjanaan teks. Ia mula-mula mendapatkan dokumen yang relevan daripada sumber luaran, kemudian menggunakannya sebagai konteks untuk model bahasa menjana respons yang tepat dan berasas.AI / MCPRobots.txtRobots.txt ialah fail teks standard yang diletakkan di akar laman web yang memberitahu perangkak web halaman mana yang dibenarkan atau tidak dibenarkan untuk diakses. Ia merupakan sebahagian daripada Robots Exclusion Protocol.Web Scraping
S
Saluran Paip DataSaluran paip data ialah urutan langkah automatik yang mengumpul, memproses, mengubah, dan menyampaikan data daripada sumber kepada destinasi. Ia membolehkan aliran data berterusan antara sistem tanpa campur tangan manual.IndustriScraping BerkelompokScraping berkelompok mengambil senarai URL yang diketahui dalam satu permintaan dan bukannya satu panggilan bagi setiap halaman, yang mengurangkan perjalanan pergi balik dan memudahkan pengurusan kerja pengumpulan yang besar.DataScraping Bersasarkan GeoScraping bersasarkan geo mengumpul halaman atau hasil carian seperti yang dipaparkan kepada pelawat di negara, bandar atau bahasa tertentu, kerana harga, hasil dan kandungan berbeza mengikut lokasi.Web ScrapingState Halaman TerbenamState halaman terbenam ialah data JSON yang dihantar oleh laman web di dalam HTMLnya sendiri, seperti __NEXT_DATA__ Next.js atau stor Redux, yang dibaca oleh JavaScript halaman untuk memaparkan dirinya.Data
T
Tadbir Urus DataTadbir urus data ialah rangka kerja dasar, prosedur, dan standard yang memastikan data diuruskan dengan betul sepanjang kitaran hayatnya. Ia merangkumi privasi data, pematuhan, kawalan akses, dan standard kualiti.IndustriTetingkap KonteksTetingkap konteks ialah jumlah maksimum teks (diukur dalam token) yang boleh diproses oleh model bahasa dalam satu permintaan. Ia termasuk kedua-dua gesaan input dan output yang dijana.AI / MCPTitik Akhir APITitik akhir API ialah URL tertentu di mana API menerima permintaan. Setiap titik akhir melaksanakan fungsi tertentu, seperti mendapatkan data, mencipta rekod, atau mencetuskan tindakan.DataTokenToken ialah unit asas teks yang diproses oleh model bahasa. Teks dipecahkan kepada token (kira-kira 4 aksara atau 0.75 perkataan setiap satu) sebelum diproses oleh model. Kiraan token menentukan kos dan had konteks.AI / MCP
W
Web Scraper Tanpa KodWeb scraper tanpa kod membolehkan anda mengumpul data dengan menuding dan mengklik pada halaman atau menerangkan apa yang anda mahukan, manakala alat itu menulis dan menjalankan langkah pengekstrakan untuk anda.IndustriWeb ScrapingWeb scraping ialah pengekstrakan data secara automatik daripada laman web. Ia melibatkan pengambilan halaman web secara aturcara dan menghuraikan kandungannya untuk mengumpul maklumat berstruktur.Web ScrapingWebhookWebhook ialah panggilan balik HTTP yang menghantar data ke URL yang ditentukan apabila sesuatu peristiwa berlaku. Tidak seperti tinjauan, webhook menolak data secara masa nyata, membolehkan seni bina dipacu peristiwa.Data