面临的问题
从旧版 CMS 平台迁移内容意味着要在保留结构、元数据和格式的同时提取数千个页面。手动复制粘贴既容易出错又极其缓慢。
应用案例
01快速解答
用 CrawlForge crawl_deep(4 credits)沿内部链接遍历整个旧站点,再用 extract_text(每页 1 credit)提取去除导航和广告后的干净、易读内容。一次自动化运行即可迁移数百个页面,同时保留结构和元数据,并可随时重新运行。
02问题与方案
从旧版 CMS 平台迁移内容意味着要在保留结构、元数据和格式的同时提取数千个页面。手动复制粘贴既容易出错又极其缓慢。
CrawlForge 的 crawl_deep 会沿着内部链接遍历整个网站,extract_text 则从每个页面提取干净的内容。一次自动化运行即可迁移数百个页面。
03代码
1// Crawl legacy site and extract all content for migration2const crawl = await mcp.crawl_deep({3 url: "https://legacy-site.com/blog",4 max_depth: 3,5 follow_links: true,6 include_patterns: ["/blog/*"],7});8 9// Extract clean text from each discovered page10const pages = await Promise.all(11 crawl.urls.map(url =>12 mcp.extract_text({ url, preserve_structure: true })13 )14);15 16console.log(`Migrated ${pages.length} pages`);04工具链
05常见问题
04
使用 CrawlForge 的 crawl_deep 沿着内部链接遍历整个网站,再用 extract_text 从每个页面提取干净、可读的内容。一次自动化运行就能迁移数百个页面,同时保留结构和元数据。
crawl_deep 会返回每个页面的内容,你还可以搭配 extract_metadata 来保留标题、描述和 canonical。extract_text 和 extract_content 会剥离样板内容,让你迁移的是真正的正文,而不是导航和广告。
crawl_deep 会按照你设定的深度和页面数量上限,沿内部链接遍历整个网站或某个板块,因此一个作业就能处理数百到数千个页面。成本为每次 crawl 调用 4 credits,再加上每页的提取费用。
crawl_deep 为 4 credits,extract_text 为每页 1 credit。迁移几百个页面通常花费几百 credits——只是手动复制粘贴所耗时间的一小部分,而且如果需要重新运行也可以重复执行。
06继续探索
审计你的网站及竞争对手的元数据、失效链接、内容缺口与排名机会。返回覆盖每个抓取页面的结构化报告,便于逐项排查修复。
采集并结构化大规模网页数据集,用于微调和训练 AI 模型。使用 crawl_deep 爬取整站、extract_content 提取干净正文,导出可直接用于 LLM 训练的高质量语料,全程按 credits 计费、成本可预测。