网页抓取术语表 | CrawlForge

登录免费开始

术语指南

66 个核心术语，涵盖网页抓取、AI 智能体、Model Context Protocol 以及数据提取。

66个术语

4篇指南

01指南

按类别浏览

01 · 网页抓取

网页抓取术语

网页抓取、渲染与解析背后的 19 个核心概念——从 robots.txt、速率限制到无头浏览器、机器人检测和代理。

1919 个术语

AI 与 MCP 术语

将大语言模型连接到实时网页数据的 19 个术语——令牌、嵌入向量、函数调用、MCP 工具、搜索 API，以及把它们串联起来的协议。

1919 个术语

数据与 API 术语

在系统之间传递抓取数据的 14 种格式与协议——REST 与 JSON、Webhook、SERP API、嵌入式页面状态，以及搜索引擎读取的标记。

1414 个术语

网页数据行业术语

网页数据工作背后的 14 个业务术语——托管抓取、基于 credits 的定价、实时数据、价格监控、线索富集与数据治理。

1414 个术语

02A–Z

全部术语（A–Z）

A

AI 搜索 API面向 AI 智能体的网页搜索 API 以结构化数据形式返回搜索结果，例如标题、URL 和摘要，使模型能在阅读页面之前先找到最新的页面。AI / MCP AI 智能体AI 智能体是由大语言模型驱动的自主系统，能够对任务进行推理、做出决策，并通过使用工具来采取行动。智能体超越了简单的聊天机器人，能够规划并执行多步骤工作流。AI / MCP API 端点API 端点是 API 接收请求的特定 URL。每个端点执行特定功能，例如获取数据、创建记录或触发操作。在网页抓取场景中，你通过向 CrawlForge 等服务的端点发送 HTTP 请求来调用抓取工具，并以 JSON 等结构化格式接收返回结果。数据

C

CSS 选择器CSS 选择器是一种用于选取并定位网页上特定 HTML 元素的模式。在网页抓取中，选择器精确指明要从页面结构中提取哪些数据。网页抓取

D

DOM 解析DOM 解析是将原始 HTML 转换为结构化文档对象模型（DOM）树的过程。这种树形表示让程序能够导航并从网页中提取特定元素。网页抓取

E

ETL（提取、转换、加载）ETL 是一种数据集成流程，它从源端提取数据、将其转换为合适的格式，并加载到目标系统中。它是在系统之间迁移数据的标准方法。行业

G

GraphQLGraphQL 是一种 API 查询语言，允许客户端精确请求所需的数据。与 REST 不同，单个 GraphQL 端点即可服务所有查询，由客户端指定数据的结构。数据

H

HTML 解析HTML 解析是分析 HTML 标记以提取其结构和内容的过程。解析器将原始 HTML 字符串转换为程序可查询和操作的可导航树形结构。数据 HTTP 请求头HTTP 请求头是随 HTTP 请求和响应一同发送的键值对，提供有关本次通信的元数据。在抓取中，User-Agent、Accept 和 Cookie 等请求头对请求成功与否至关重要。正确设置请求头能让抓取工具模拟真实浏览器行为，降低被目标网站拦截的概率。网页抓取

J

JSONJSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于人类阅读、便于机器解析。它是 API 响应和结构化数据交换的标准格式。数据 JSON-LDJSON-LD（JSON for Linking Data）是一种使用 JSON 格式编码结构化数据的方法。它是在网页中嵌入 schema.org 标记以供搜索引擎理解的首选格式。数据

L

LLM 就绪数据LLM 就绪数据是被转换为语言模型可直接使用的干净格式（通常是 Markdown 或 JSON）的网页内容，导航、广告和标记均已移除。AI / MCP

M

MarkdownMarkdown 是一种使用纯文本格式语法的轻量级标记语言。它被广泛用于文档撰写、内容创作，并作为提取网页内容的干净中间格式。数据 MCP 工具MCP 工具是 MCP server 暴露给 AI 模型调用的单个具名操作，带有类型化的输入 schema，例如获取一个 URL 或执行一次网页搜索。AI / MCP MCP ClientMCP client 是连接到 MCP server 以发现并调用工具的应用程序或 AI 模型。它发送工具调用请求，并处理服务器返回的结构化响应。常见的 MCP client 包括 Claude Desktop、Claude Code 和 Cursor，它们让 AI 助手能直接使用网页抓取等外部能力。AI / MCP MCP ServerMCP server 是一种通过 Model Context Protocol 暴露工具和资源的服务。它注册可用函数，处理来自 AI 客户端的传入工具调用，并返回结构化结果。CrawlForge 就是一个专注于网页抓取的 MCP server，向 AI 助手提供 31 个专业工具。AI / MCP Model Context Protocol (MCP)Model Context Protocol 是一项开放标准，使 AI 模型能够通过统一接口与外部工具和数据源交互。它为 LLM 提供了一种结构化的方式来调用函数、访问 API 和获取实时信息。AI / MCP

R

REST APIREST API（Representational State Transfer，表征状态转移）是一种使用标准 HTTP 方法对资源执行操作的 Web 服务架构。它是 Web 服务最常见的 API 风格。数据 Robots.txtRobots.txt 是放置在网站根目录的标准文本文件，它告诉网络爬虫哪些页面允许或禁止访问。它是机器人排除协议（Robots Exclusion Protocol）的一部分。网页抓取

S

Schema 标记Schema 标记是一套（来自 schema.org 的）标签词汇，你将其添加到 HTML 中，以改善搜索引擎读取和呈现你页面的方式。它定义了 Product、Article、Organization 等类型及其属性。数据 SEO 审计SEO 审计是对网站搜索引擎优化表现的全面分析。它评估技术 SEO、页面内容、元数据、站点结构，并识别可改进的机会。行业 SERP APISERP API 以结构化数据形式返回搜索引擎结果页，包括每条结果的排名位置、标题和 URL，以便在代码中追踪和分析排名。数据

T

Tokentoken 是语言模型处理的基本文本单位。文本在被模型处理前会被切分为 token（每个 token 大约 4 个字符或 0.75 个单词）。token 数量决定了成本和上下文限制。AI / MCP

U

User AgentUser Agent 是在 HTTP 请求头中发送的字符串，用于标识发起请求的客户端软件。网站借此检测浏览器、机器人和抓取器。网页抓取

W

WebhookWebhook 是一种 HTTP 回调，会在事件发生时将数据投递到指定的 URL。与轮询不同，webhook 实时推送数据，从而支持事件驱动的架构。数据

X

XPathXPath（XML Path Language）是一种用于从 XML 或 HTML 文档中选取节点的查询语言。相比单独使用 CSS 选择器，它提供了更强大、更灵活的文档树导航方式。网页抓取

大

大语言模型 (LLM)大语言模型是一种在海量文本数据上训练的神经网络，能够理解并生成人类语言。LLM 为 AI 助手、代码生成器和自主智能体提供动力。AI / MCP

代

代理轮换代理轮换是指在发起网页请求时循环使用多个代理 IP 地址的做法。它将请求分散到不同的 IP，以规避速率限制和基于 IP 的封禁。网页抓取

地

地理定向抓取地理定向抓取按特定国家、城市或语言的访客所见来采集页面或搜索结果，因为价格、结果和内容会因地点而异。网页抓取

动

动态内容动态内容是指在页面初始加载之后由 JavaScript 加载或生成的网页内容。这包括单页应用、通过 AJAX 加载的数据以及客户端渲染的内容。抓取动态内容需要能执行 JavaScript 的无头浏览器，例如通过 scrape_with_actions 模拟点击、滚动与等待。网页抓取

分

分页分页是将内容分散到多个页面的做法。在网页抓取中处理分页，意味着自动遍历所有页面以采集完整的数据集。网页抓取

工

工具使用工具使用是 AI 模型与外部工具、API 和服务交互以完成文本生成之外任务的能力。它将模型能力扩展到包括网页浏览、代码执行、数据获取等。AI / MCP

函

函数调用函数调用是语言模型在对话过程中调用外部函数或 API 的能力。模型决定何时调用函数、生成相应的参数，并处理返回的结果。AI / MCP

机

机器人检测网站通过对请求频率、IP 信誉、浏览器指纹和 JavaScript 行为等信号进行评分来识别抓取程序，然后拦截看起来像自动化的流量或向其发起质询。网页抓取

基

基于 credits 的定价基于 credits 的定价按每次 API 调用的工作量收取固定数量的 credits，你可以通过套餐或一次性充值购买 credits。行业基于 Schema 的提取基于 schema 的数据提取会将网页中的特定字段提取到你预先定义的结构中（通常是 JSON Schema），使每个页面都返回相同的结构。数据

价

价格监控价格监控是随时间自动追踪各网站产品和服务价格的工作。它使企业能够响应竞争对手的价格变化、优化自身定价并识别市场趋势。行业

检

检索增强生成 (RAG)RAG 是一种将信息检索与文本生成相结合的 AI 架构。它先从外部来源检索相关文档，再将其作为上下文供语言模型生成准确且有依据的回答。AI / MCP

结

结构化输出结构化输出是指以 JSON 等可预测、机器可读格式（而非自由文本）返回的数据。它使 AI 智能体和数据流水线能够进行可靠的下游处理。AI / MCP 结构化数据结构化数据是以预定义格式组织的信息，便于机器解析和理解。在网络上，它通常指嵌入在 HTML 页面中的 schema.org 标记。数据

竞

竞争情报竞争情报是对竞争对手、市场趋势和行业动态相关信息进行系统性采集与分析的工作。它为关于定价、定位和产品开发的战略决策提供依据。行业

浏

浏览器智能体浏览器智能体是一种操作真实网页浏览器的 AI 系统，它查看页面，然后像人一样点击、输入和滚动来完成任务。AI / MCP

内

内容迁移内容迁移是将内容从一个平台或系统迁移到另一个平台或系统的过程。它涉及从源端提取内容、将其转换为匹配目标格式，并加载到新系统中。行业

批

批量抓取批量抓取在一次请求中获取一组已知 URL，而不是每个页面调用一次，从而减少往返次数，让大型采集任务更易于管理。数据

嵌

嵌入式页面状态嵌入式页面状态是网站在自身 HTML 中附带的 JSON 数据，例如 Next.js 的 __NEXT_DATA__ 或 Redux store，页面的 JavaScript 读取它来完成渲染。数据嵌入向量嵌入向量是文本、图像或其他数据的稠密数值向量表示。它们以一种支持相似度搜索、聚类及其他机器学习操作的格式捕捉语义含义。AI / MCP

上

上下文窗口上下文窗口是语言模型在单次请求中能够处理的最大文本量（以 token 计）。它同时包含输入提示词和生成的输出。AI / MCP

实

实时网页数据实时网页数据是在需要时从实时网络获取的信息，而不是从存储的数据集或模型的训练数据中读取。行业

数

数据流水线数据流水线是一系列自动化步骤，用于将数据从源端采集、处理、转换并交付到目标端。它使数据能在系统之间持续流动，无需人工干预。行业数据治理数据治理是一套确保数据在其整个生命周期内得到妥善管理的政策、流程和标准框架。它涵盖数据隐私、合规、访问控制和质量标准。行业数据质量数据质量衡量数据集在多大程度上满足其预期用途的要求。关键维度包括数据的准确性、完整性、一致性、时效性和有效性。行业

速

速率限制速率限制是网站和 API 用来控制客户端在给定时间段内可发起请求数量的一种技术。它可防止服务器过载，并抵御滥用性抓取。网页抓取

提

提示词工程提示词工程是设计和优化给语言模型的指令以获得预期输出的实践。它涉及编写系统提示词、少样本示例和结构化查询。AI / MCP

托

托管抓取服务托管抓取服务替你运行浏览器、重试和解析器，团队只需调用 API，而无需维护自己的 Playwright 或 Puppeteer 基础设施。行业

网

网络爬虫网络爬虫是一种通过在页面之间跟随链接来系统性地浏览网络的程序。爬虫可以在整个网站或域名范围内发现并索引内容。网页抓取网页数据网页数据是指互联网上任何可公开访问的信息。它包括网站内容、社交媒体帖子、公开 API、政府记录，以及任何可通过网络协议获取的其他数据。行业网页抓取网页抓取是指从网站自动提取数据的过程。它通过程序化方式获取网页并解析其内容，从而采集结构化信息。网页抓取网页抓取 API网页抓取 API 是一种托管服务，按请求获取网页并以干净的数据形式返回其内容，你无需自行运行浏览器或解析器。网页抓取

微

微调微调是在特定数据集上对预训练语言模型进行进一步训练，以使其行为针对特定任务或领域专门化的过程。它将通用模型适配到有针对性的使用场景。AI / MCP

无

无代码网页抓取工具无代码网页抓取工具让你通过在页面上点选或描述所需内容来采集数据，由工具替你编写并运行提取步骤。行业无头浏览器无头浏览器是一种没有图形用户界面、可通过程序控制的网页浏览器。它像普通浏览器一样执行 JavaScript 并渲染页面，但在后台运行。网页抓取

线

线索富集线索富集是用公司规模、行业、技术栈和社交资料等附加数据点来补充基础线索信息的过程。它帮助销售团队对触达进行优先排序和个性化。行业

向

向量数据库向量数据库是一种专门设计用于存储和高效查询高维向量嵌入的数据库。它支持在数百万条嵌入文档之间进行快速相似度搜索。AI / MCP

验

验证码破解验证码破解是指用于绕过网站用来区分人类与机器人的验证码（CAPTCHA）挑战的自动化技术。这包括图像识别、基于令牌的破解以及浏览器指纹模拟。网页抓取

站

站点地图站点地图是一个列出网站上所有 URL 的 XML 文件，同时附带最后修改日期和优先级等元数据。它帮助搜索引擎和爬虫高效地发现并索引所有页面。网页抓取

住

住宅代理住宅代理通过互联网服务提供商分配给家庭宽带的 IP 地址转发请求，使流量看起来像普通访客，而非来自数据中心。网页抓取