术语表
01 / 19
网页抓取是指从网站自动提取数据的过程。它通过程序化方式获取网页并解析其内容，从而采集结构化信息。
网页抓取是 CrawlForge 通过 Model Context Protocol 提供的能力的基础。无需从网站手动复制数据，CrawlForge 的 fetch_url 和 extract_content 等工具会处理整个流程——获取页面、处理 JavaScript 渲染并返回干净的结构化数据。
对 AI 智能体而言，网页抓取对于访问训练数据之外的实时信息至关重要。CrawlForge 通过单一的 MCP 接口让这一切变得简单，无需构建和维护自定义的抓取基础设施。
02 / 19
网络爬虫是一种通过在页面之间跟随链接来系统性地浏览网络的程序。爬虫可以在整个网站或域名范围内发现并索引内容。
网络爬虫与抓取器的区别在于，它侧重于发现——找出站点上的所有页面，而非从单个页面提取特定数据。CrawlForge 提供 crawl_deep 用于按指定深度跟随内部链接，并提供 map_site 用于生成域名的完整 URL 清单。
这些工具对于内容迁移、SEO 审计以及构建全面数据集等场景至关重要——在这些场景中，你需要处理站点上的每一个页面，而不仅仅是已知的 URL。
相关术语: 网页抓取 · 站点地图 · Robots.txt · 分页
03 / 19
DOM 解析是将原始 HTML 转换为结构化文档对象模型（DOM）树的过程。这种树形表示让程序能够导航并从网页中提取特定元素。
CrawlForge 在获取网页时会解析 DOM，以在提取内容之前理解页面结构。正是这一点让 extract_structured 等工具能够基于 CSS 选择器或 schema 定义提取特定数据字段。
DOM 解析对于动态内容尤为重要，因为这类页面初始 HTML 与你在浏览器中看到的内容并不相同。CrawlForge 会在需要时使用无头浏览器渲染页面来处理这一问题，确保解析得到的 DOM 与真实用户所见一致。
04 / 19
CSS 选择器是一种用于选取并定位网页上特定 HTML 元素的模式。在网页抓取中，选择器精确指明要从页面结构中提取哪些数据。
CSS 选择器是告诉抓取器要提取哪些元素的主要方式。例如，".product-price" 会选取 class 为 "product-price" 的元素，而 "h1.title" 会选取带有 "title" class 的 h1 元素。CrawlForge 的 scrape_structured 等工具接受 CSS 选择器，精确锁定你需要的数据。
使用精确的选择器是构建可靠抓取流水线的关键。CrawlForge 支持完整的 CSS 选择器语法，使得定位深层嵌套或动态生成的元素成为可能。
05 / 19
XPath（XML Path Language）是一种用于从 XML 或 HTML 文档中选取节点的查询语言。相比单独使用 CSS 选择器，它提供了更强大、更灵活的文档树导航方式。
XPath 表达式可以在文档树中向上、向下和横向导航，因而适用于复杂的提取场景。例如，你可以根据某个价格元素的同级文本内容来选取它——这是 CSS 选择器无法做到的。
CrawlForge 在其提取工具中同时支持 XPath 和 CSS 选择器。当抓取 HTML 结构混乱的老旧站点，或需要根据文本内容而非 class 名称提取数据时，XPath 尤为有用。
06 / 19
无头浏览器是一种没有图形用户界面、可通过程序控制的网页浏览器。它像普通浏览器一样执行 JavaScript 并渲染页面，但在后台运行。
许多现代网站高度依赖 JavaScript 来渲染内容。简单的 HTTP 请求只能获取初始 HTML，会遗漏任何动态加载的内容。无头浏览器通过完整渲染页面（包括执行 JavaScript、加载 AJAX 请求和处理 CSS）解决了这一问题。
CrawlForge 在 stealth_mode 和 scrape_with_actions 等工具的幕后使用无头浏览器。这意味着你无需自行管理浏览器基础设施，即可获得完整渲染后的页面内容。
相关术语: 动态内容 · 网页抓取 · 验证码破解 · User Agent
07 / 19
代理轮换是指在发起网页请求时循环使用多个代理 IP 地址的做法。它将请求分散到不同的 IP，以规避速率限制和基于 IP 的封禁。
网站通过监控 IP 地址来检测和封禁抓取器。如果来自单个 IP 的请求过多，站点就会将其封禁。代理轮换通过让每个请求经由不同的 IP 地址路由来解决这一问题，使流量看起来像是来自许多不同的用户。
CrawlForge 在您自备的代理之间轮换：在 stealth_mode 的 proxyRotation 设置中传入列表，每个隐身上下文会取用下一个地址。CrawlForge 不运营自己的代理池。对于站点会主动防御抓取的竞争情报和大规模数据采集场景，这一点至关重要。
相关术语: 速率限制 · 验证码破解 · User Agent
08 / 19
速率限制是网站和 API 用来控制客户端在给定时间段内可发起请求数量的一种技术。它可防止服务器过载，并抵御滥用性抓取。
负责任的网页抓取需要遵守速率限制。在过短时间内发起过多请求会压垮服务器，并导致你的 IP 被永久封禁。速率限制也是一种常见的反爬虫措施，会返回 429（请求过多）HTTP 状态码。
CrawlForge 工具会通过限流请求并在触及限制时实施指数退避，自动处理速率限制。这意味着你的抓取任务能够可靠完成，无需人工干预来管理请求时机。
相关术语: 代理轮换 · Robots.txt · HTTP 请求头 · 验证码破解
09 / 19
验证码破解是指用于绕过网站用来区分人类与机器人的验证码（CAPTCHA）挑战的自动化技术。这包括图像识别、基于令牌的破解以及浏览器指纹模拟。
验证码是最常见的反爬虫防御手段之一。它们的形式从简单的文本挑战，到复杂的图像谜题，再到无形的行为分析不一而足。对于价格监控和竞争分析等正当的抓取场景，绕过它们往往是必要的。
CrawlForge 不破解验证码，也不伪造挑战令牌。stealth_mode 在指纹随机化的真实浏览器中渲染，从而降低出现挑战的概率；遇到挑战页面时会报告为被拦截，而不是绕过。
相关术语: 无头浏览器 · 代理轮换 · User Agent
10 / 19
Robots.txt 是放置在网站根目录的标准文本文件，它告诉网络爬虫哪些页面允许或禁止访问。它是机器人排除协议（Robots Exclusion Protocol）的一部分。
robots.txt 文件相当于一套面向爬虫的准则。尽管它不具法律约束力，但遵守它被视为合乎道德的抓取的标准做法。它规定了哪些路径禁止访问、抓取延迟偏好以及指向 XML 站点地图的链接。
CrawlForge 工具默认遵守 robots.txt 指令。在使用 crawl_deep 或 map_site 时，爬虫会在访问页面前检查 robots.txt，确保你的抓取活动符合站点所有者声明的偏好。
相关术语: 网络爬虫 · 站点地图 · 速率限制 · User Agent
11 / 19
站点地图是一个列出网站上所有 URL 的 XML 文件，同时附带最后修改日期和优先级等元数据。它帮助搜索引擎和爬虫高效地发现并索引所有页面。
站点地图无需通过跟随链接来发现页面，即可提供网站页面的完整清单。这使其对于全面抓取、SEO 审计和内容迁移等需要处理每一个页面的场景极具价值。
CrawlForge 的 map_site 可为任意域名生成站点地图，通过跟随链接和现有站点地图文件两种方式发现 URL。这为使用 batch_scrape 进行批量操作提供了可靠的起点。
相关术语: 网络爬虫 · Robots.txt · SEO 审计 · Schema 标记
12 / 19
User Agent 是在 HTTP 请求头中发送的字符串，用于标识发起请求的客户端软件。网站借此检测浏览器、机器人和抓取器。
每个 HTTP 请求都包含一个 User-Agent 请求头。网站会分析该请求头，以向不同客户端提供不同内容，并识别自动化流量。使用抓取库的默认 User Agent 是被封禁的捷径。
CrawlForge 会自动轮换 User Agent 字符串，并使其与真实浏览器配置相匹配。在 stealth_mode 中，User Agent 会与一致的浏览器指纹配对，以躲避高级反爬虫系统的检测。
13 / 19
HTTP 请求头是随 HTTP 请求和响应一同发送的键值对，提供有关本次通信的元数据。在抓取中，User-Agent、Accept 和 Cookie 等请求头对请求成功与否至关重要。正确设置请求头能让抓取工具模拟真实浏览器行为，降低被目标网站拦截的概率。
正确的 HTTP 请求头决定了一次抓取是成功还是被拦截。反爬虫系统会将缺失或不一致的请求头视为自动化流量的信号。真实浏览器会发送数十个请求头，而粗糙的抓取器可能只发送寥寥几个。
CrawlForge 会在每个请求中自动发送逼真的请求头集合。fetch_url 和 stealth_mode 等工具包含与真实浏览器行为相匹配的完整请求头配置，从而降低被检测的几率。
相关术语: User Agent · 速率限制 · REST API · API 端点
14 / 19
分页是将内容分散到多个页面的做法。在网页抓取中处理分页，意味着自动遍历所有页面以采集完整的数据集。
大多数网站会将大型数据集拆分为分页列表——搜索结果、产品目录、文章归档等。只抓取第一页的抓取器会遗漏大部分数据。分页可以是基于 URL 的（?page=2）、基于按钮的，或采用无限滚动。
CrawlForge 的 crawl_deep 会自动跟随分页链接，而 scrape_with_actions 可以处理基于 JavaScript 的分页，例如无限滚动和"加载更多"按钮。这确保了完整的数据采集，无需手动管理页面。
15 / 19
动态内容是指在页面初始加载之后由 JavaScript 加载或生成的网页内容。这包括单页应用、通过 AJAX 加载的数据以及客户端渲染的内容。抓取动态内容需要能执行 JavaScript 的无头浏览器，例如通过 scrape_with_actions 模拟点击、滚动与等待。
越来越多的网站使用 React、Vue 或 Angular 等 JavaScript 框架在客户端渲染内容。对这类页面发起简单的 HTTP GET 请求只会返回一个空的 HTML 框架，因为实际内容是在页面加载后由 JavaScript 注入的。
CrawlForge 通过在无头浏览器中渲染页面来处理动态内容。extract_content 和 scrape_with_actions 等工具会等待 JavaScript 执行完成后再提取数据，确保你获得与真实用户所见相同的内容。
16 / 19
网页抓取 API 是一种托管服务，按请求获取网页并以干净的数据形式返回其内容，你无需自行运行浏览器或解析器。
抓取 API 将最棘手的环节——获取、JavaScript 渲染、重试与解析——从你的服务器上移走。你发送一个 URL，即可取回 Markdown、HTML、链接或结构化字段，通常按请求计费。
CrawlForge 正是以这种方式同时通过 REST 和 MCP 工作。fetch_url（1 credit）返回原始响应；scrape（2 credits）通过一次页面加载返回 Markdown、HTML、文本、链接和元数据；batch_scrape（5 credits）在一次调用中处理多达 50 个 URL。AI 智能体通过 MCP server 访问同样的 31 个工具，因此智能体与你的后端代码发起的调用完全相同。
17 / 19
网站通过对请求频率、IP 信誉、浏览器指纹和 JavaScript 行为等信号进行评分来识别抓取程序，然后拦截看起来像自动化的流量或向其发起质询。
检测分层进行。网络层在任何页面加载之前检查 IP 地址及其信誉，Cloudflare 和 DataDome 等服务会对数据中心地址给出严苛评分。浏览器层检查指纹——请求头、字体、WebGL、navigator.webdriver 标志——以及页面的驱动方式。未通过检查时，会返回 403 或 429、验证码，或一个空壳页面。
CrawlForge 的 stealth_mode（5 credits）使用随机化的浏览器指纹渲染页面；设置 escalate: true 后，scrape 可在隐身浏览器中重试被拦截的请求。它不会破解验证码，也无法绕过登录和付费墙；托管 API 从数据中心地址发出请求，因此优先对网络评分的网站仍可能对其发起质询。每个请求都会遵守 robots.txt。
相关术语: 验证码破解 · User Agent · 速率限制 · 住宅代理
18 / 19
住宅代理通过互联网服务提供商分配给家庭宽带的 IP 地址转发请求，使流量看起来像普通访客，而非来自数据中心。
网站对住宅地址的信任高于数据中心网段，因此住宅代理被用于访问屏蔽云服务器的页面，或查看页面在其他国家/地区呈现的样子。它们比数据中心代理更贵，通常按流量计费。
CrawlForge 不运营住宅代理池。如果目标需要住宅代理，你可以在默认的 Chromium 引擎上通过 stealthConfig.proxyRotation 将自己的住宅或移动代理传给 stealth_mode（5 credits），该次调用中的每个隐身上下文都会使用它。不提供代理时，CrawlForge 的请求从其自有的托管地址发出。
19 / 19
地理定向抓取按特定国家、城市或语言的访客所见来采集页面或搜索结果，因为价格、结果和内容会因地点而异。
页面显示的内容可能取决于访客的 IP 位置、Accept-Language 请求头，或在网站上选择的国家/地区。搜索结果差异最大：同一关键词在伦敦和纽约的排名不同，在移动端和桌面端也不同。
CrawlForge 的 serp_rank（5 credits）可针对指定地点和设备检查 Google 排名，search_web（5 credits）可将结果限定为一种语言。要以特定语言请求页面，可向 fetch_url 传入 Accept-Language 请求头。localization 工具（2 credits）可审计页面的 hreflang、声明语言和地理标签，但不会经由其他国家转发请求：基于访客 IP 的拦截依然有效，除非你向 stealth_mode 提供自己的代理。