跳到正文
CrawlForge MCP

期刊

93 篇文章

关于 Web 抓取与 AI 工程的更新、教程和洞察

精选产品更新

CrawlForge MCP v6.7–v6.12：抓取受 Cloudflare 保护的网站

十一天六个版本，全都围着一个页面：Cloudflare 墙后面的那个。一次 Chrome TLS 尝试、一个通行凭证罐、一个会在浏览器里重试的智能体，以及终于真正路由的代理。

CrawlForge Team阅读时长 10 分钟

最新

  1. 01应用场景面向顾问的职位发布 API：直接读取招聘系统 · 4 分钟
  2. 02应用场景用于尽职调查的市场调研 API：逐条检验管理层的说法 · 4 分钟
  3. 03应用场景按量付费的线索补全 API：只为优质线索花钱 · 4 分钟
  4. 04应用场景面向代理公司的市场调研 API：一套配置，服务所有客户 · 4 分钟
  5. 05应用场景无需联系销售的线索补全 API：今天就补全第一条线索 · 4 分钟

文章归档

浏览 全部文章

93 篇文章

  • 教程

    4 分钟

    Claude Code 的 Reddit 爬虫：Claude 实际调用的是什么

    两次工具调用、10 credits、全程不需要任何 Reddit 凭证。还有一个最容易让人栽跟头的机制变化：一旦去掉 subreddit，搜索就会改走网页发现路线，而你传入的日期筛选也会跟着被静默丢弃。

  • AI 工程

    4 分钟

    自托管的网页搜索 MCP server

    大多数号称“自托管”的搜索 MCP server 只是把进程跑在本地。CrawlForge 可以让 search_web 指向你自己的 SearXNG 实例——以及，哪一部分仍然不是自托管的。

  • Web 抓取

    5 分钟

    永不过期的网页抓取 API credits

    大多数抓取 API 每月都会清空你没用完的 credits。CrawlForge 不会：一次性 credits 包低至每 1,000 个 $3 且永不过期，套餐 credits 还可结转。

  • Web 抓取

    6 分钟

    2026 年仍然可用的 Reddit API 替代方案

    Reddit 已于 2025 年 11 月关闭自助式 API 注册，reddit.com 也对抓取器全面封锁。本文坦诚对比 2026 年仍然可行的五条 Reddit 数据获取路线 — 包括那些我们自己并不出售的选项。

  • 教程

    6 分钟

    如何不用 API 抓取 Reddit（2026 版）

    2026 年，通往 reddit.com 的每一条直接路径都返回 403，连隐身浏览器也不例外，.json 小技巧同样已经失效。本文分步讲解真正可行的那条路线：通过社区归档搜索帖子、评论，并读取完整讨论串。

  • AI 工程

    6 分钟

    为 AI 智能体提供 Reddit 数据：MCP 路线

    未经修饰的真实观点都在 Reddit 上，而它又是全网对智能体最不友好的主流网站。本文讲解如何通过一个 MCP 工具，让你的 AI 智能体获得真正可用的 Reddit 搜索 — 帖子、评论和完整讨论串。

  • 产品更新

    5 分钟

    回答 3 个问题，领取 1,000 个免费 CrawlForge credits

    登录后完成我们 20 秒的产品问卷，我们就会向你的账户一次性添加 1,000 个免费 credits——前提是你已在 API 上使用过至少 250 个 credits。本文说明具体流程，以及哪些账户符合条件。

  • Web 抓取

    10 分钟

    Web scraping 关键词差距：2026 年 SERP 研究

    我们拉取了这个行业所竞争的关键词的真实 Google 自然排名。老牌词条是一座密不透风的商业堡垒，而 MCP 时代的词条根本没有任何商业守卫者。

  • 教程

    11 分钟

    如何用 MCP server 做关键词差距分析

    用 serp_rank 和 search_web 通过 MCP 搭建一套可复现的关键词差距分析：真实自然排名、竞争对手页面类型分类，以及那些让大多数关键词研究出错的陷阱。

  • 教程

    12 分钟

    在 Claude Code 里真正用起来 CrawlForge MCP

    装好了 CrawlForge，Claude 却从来不调用它？本文讲清楚让 MCP tools 在你的终端里稳定触发所需要的提示词、权限规则和 CLAUDE.md 配置。

  • AI 工程

    11 分钟

    2026 年面向 AI 智能体的最佳网页爬取工具

    按智能体就绪程度排名的 2026 年面向 AI 智能体的最佳网页爬取工具：MCP 原生工具发现、类型化 schema 与高 token 效率的输出。逐项对比 CrawlForge、Firecrawl、Apify 等主流方案的能力与定价。

  • 应用场景

    8 分钟

    用一个工具抓取 Amazon、LinkedIn 和另外 8 个站点

    scrape_template 为人人都想抓的 10 个站点提供预制、持续维护的抓取器。一次调用、结构化 JSON、1 credit。涵盖 Amazon、LinkedIn、GitHub 等站点的字段说明与调用示例。

  • AI 工程

    9 分钟

    用本地 LLM 提取网页数据（Ollama + CrawlForge）

    无需 API key，无需云端，数据不离开你的机器。用 extract_with_llm 配合本地 Ollama 从任何网站提取结构化数据。本教程涵盖本地模型选择、schema 定义、性能对比与完整代码示例。

  • Web 抓取

    10 分钟

    网页抓取：2026 年 Python 对比 MCP

    将 Python 抓取（requests、BeautifulSoup、Scrapy）与基于 MCP 的抓取进行对比。并排代码、性能基准，以及何时使用各自的方案，帮你判断哪种方式更适合你当前的项目与团队规模。

  • AI 工程

    10 分钟

    MCP 协议详解：2026 开发者指南

    了解 Model Context Protocol 的工作原理、它为何对 AI 智能体至关重要，以及如何借助架构图和代码示例构建 MCP server 与客户端。一篇面向开发者的 MCP 深入入门指南。

  • Web 抓取

    10 分钟

    2026 年最佳网页爬取工具：权威指南

    对比 2026 年的 12 款网页爬取工具，包括 CrawlForge、Firecrawl、Apify 和 Scrapy。涵盖功能、定价以及针对各类用例的推荐，帮助你按预算、技术栈与项目规模选出合适的方案。

  • 教程

    8 分钟

    如何在 LangGraph 智能体中使用 CrawlForge

    使用 LangGraph 和 CrawlForge 构建有状态的网页爬取智能体。本篇 TypeScript 指南涵盖图节点、状态管理以及条件化的爬取流程，从安装依赖到构建完整研究智能体，含可运行的代码示例。

  • 教程

    8 分钟

    如何在 Make 和 Zapier 中使用 CrawlForge

    把 CrawlForge 接入 Make（Integromat）和 Zapier，实现自动化网页抓取。借助 HTTP 模块、webhook 和工作流示例完成无代码配置。

  • 教程

    7 分钟

    如何将 CrawlForge 与 Dify 工作流结合使用

    在 Dify 中将 CrawlForge 添加为自定义工具，让你的 LLM 应用工作流具备 web scraping 能力。附带工作流示例的无代码与 API 集成指南，从 OpenAPI schema 导入到工作流调用几分钟完成。

  • 教程

    7 分钟

    如何在 Cursor 规则中使用 CrawlForge

    创建 .cursorrules 文件，教会 Cursor AI 高效使用 CrawlForge 工具。内含可直接使用的网页研究与数据提取规则，让 Cursor 自动选对工具并控制 credits 消耗。

  • 应用场景

    10 分钟

    大规模提取电商产品数据

    用 CrawlForge 从成千上万的电商页面中提取产品数据。大规模构建产品目录、监控库存并为比价引擎提供动力。

  • 应用场景

    10 分钟

    用 CrawlForge 构建 lead enrichment 引擎

    自动为销售线索补充公司数据、技术栈和联系方式。抓取公开的商业数据来甄别线索并优先安排触达。本指南用 CrawlForge 与 Claude 构建完整的线索增强管道，含完整的代码示例与 credits 成本分析。

  • AI 工程

    11 分钟

    如何用网页数据构建 RAG 流水线

    构建一个生产级 RAG 流水线：爬取网站、提取内容、对文本分块、生成 embedding，并提供检索增强的回答。

  • 应用场景

    12 分钟

    分行业网页抓取：2026 实战手册

    面向房地产、金融、电商、医疗健康和旅行的分行业网页抓取策略。涵盖数据目标、CrawlForge 工具与合规规则，每个行业均给出推荐工具组合、示例调用、常见数据源与 credits 成本估算，帮你快速落地。

  • 教程

    10 分钟

    如何用 Claude Code 抓取网站（2026 指南）

    用 Claude Code 和 CrawlForge MCP 从你的终端抓取任何网站。抓取页面、提取数据并绕过反爬虫，全程不到 2 分钟。本指南涵盖从零开始的安装配置、常用工具选择与多个可直接复用的实战抓取示例。

  • 教程

    9 分钟

    如何在 Cursor IDE 中使用 CrawlForge MCP 抓取网站

    把 Cursor IDE 变成网页抓取工作站。接入 CrawlForge MCP，无需离开编辑器即可从任意站点提取结构化数据。本指南涵盖安装步骤、mcp.json 配置、API key 设置与五个实战抓取示例。

  • 教程

    10 分钟

    如何在 VS Code 中用 GitHub Copilot agent 抓取网站

    为 VS Code 中的 GitHub Copilot agent 添加 web scraping 能力。配置 CrawlForge MCP，让 Copilot 能按需获取、提取并研究实时网页数据。本指南涵盖 mcp.json 配置、工具授权与实战示例。

  • 应用场景

    9 分钟

    用 CrawlForge 实现内容迁移自动化

    在 CMS 平台之间自动迁移网站内容。提取页面、保留结构，并在你的新系统中重建内容，无需重写。用 crawl_deep 与 extract_content 把数周的手工迁移压缩到数小时，附完整成本核算。

  • 应用场景

    10 分钟

    面向 AI 训练数据流水线的网页抓取

    用 CrawlForge 构建可投入生产的 AI 训练数据流水线。提取、清洗并结构化网页内容，用于微调 LLM 和训练 ML 模型。

  • 教程

    7 分钟

    如何在 Windsurf IDE 中使用 CrawlForge

    通过 CrawlForge MCP 为 Windsurf IDE 添加 31 个 web scraping 工具。无需离开编辑器即可抓取文档、采集参考实现、研究 API。

  • 应用场景

    9 分钟

    用 AI agent 实现实时竞争情报

    用 CrawlForge 和 Claude 构建一个 AI 驱动的竞争情报系统。每周监控竞争对手、追踪变化并生成战略洞察。涵盖 track_changes 配置、报告自动生成与 credits 成本核算。

  • 应用场景

    9 分钟

    用 CrawlForge MCP 自动化 SEO 审计

    自动运行全面的技术 SEO 审计。用 CrawlForge 爬取你的站点、检查元数据、查找失效链接并生成可执行的报告。

  • 教程

    7 分钟

    如何在 n8n 中使用 CrawlForge：工作流自动化指南

    将 CrawlForge MCP 连接到 n8n，实现自动化的 web scraping 工作流。构建无需代码的流水线，按计划提取、转换并加载网络数据。含节点配置步骤与三个可直接复用的实战工作流示例。

  • 应用场景

    9 分钟

    构建一个 AI 驱动的价格监控系统

    使用 CrawlForge 和 Claude 自动跟踪竞争对手的价格。在成千上万个产品页面上提取、对比价格并对变动发出告警。本教程含完整架构设计、可运行的代码示例、告警规则设置与 credits 成本核算。

  • 应用场景

    12 分钟

    使用 Claude 和 MCP 构建 AI 研究助手

    学习如何构建一个生产级的 AI 研究助手，它能够从多个网络来源搜索、提取、核实并综合信息。本指南使用 Claude 与 CrawlForge MCP，涵盖架构设计、工具编排、事实核查流程与完整代码示例。

  • AI 工程

    14 分钟

    为 AI 训练数据做网页抓取：2026 完整指南

    学习如何为 AI 训练采集、清洗和构建网页数据。涵盖合乎道德的抓取、数据质量以及 LLM 微调准备的最佳实践，并给出用 CrawlForge 构建训练语料管道的完整流程，从数据采集、清洗到格式化导出一步到位。

邮件订阅

及时获取最新洞察

将教程、产品更新与 Web 抓取技巧直接发送到你的收件箱。

拒绝垃圾邮件，随时可取消订阅。