可接受使用政策
关于合乎道德、合法且负责任地使用 CrawlForge 网页抓取工具的准则。我们的政策确保为所有用户和网站所有者营造一个公平、可持续的生态系统。
最后更新:December 2025
快速导航
本政策的目的
关于本政策
本可接受使用政策(AUP)规范您对 CrawlForge 网页抓取工具和服务的使用。其旨在:
- •保护网站所有者及其用户的权利和隐私
- •确保 CrawlForge 用于合法、合规的目的
- •维护我们基础设施的稳定性和性能
- •在整个行业内推广合乎道德的网页抓取实践
- •遵守适用的法律和法规(GDPR、CCPA、CFAA 等)
协议
通过使用 CrawlForge,您同意遵守本政策。违规行为可能导致账户被立即暂停或终止,且不予退款。
禁止的活动
使用 CrawlForge 时,以下活动被严格禁止:
非法内容抓取
请勿使用 CrawlForge 抓取、收集或分发非法内容,包括未经授权的受版权保护材料、违反隐私法律的个人数据,或侵犯知识产权的内容。
禁止使用的示例:
- ×未经许可抓取付费墙后的内容
- ×以违反 GDPR/CCPA 的方式收集个人数据
- ×采集受版权保护的材料用于再分发
绕过安全机制的企图
请勿试图绕过、规避或禁用目标网站上的安全措施、身份验证系统或访问控制。这包括试图利用漏洞或使用我们的工具进行未经授权的访问。
禁止使用的示例:
- ×绕过登录要求以访问私密内容
- ×利用网站漏洞或安全缺陷
- ×试图访问受限区域或管理面板
拒绝服务(DoS)攻击
请勿使用 CrawlForge 进行拒绝服务攻击、使服务器超负荷或故意损害目标网站。禁止以会降低网站性能的过量请求。
禁止使用的示例:
- ×发送数千个并发请求以使服务器不堪重负
- ×反复抓取相同页面以消耗带宽
- ×故意以高流量请求针对小型网站
为发送垃圾信息而采集数据
请勿为发送未经请求的通信(垃圾信息)、进行网络钓鱼或欺诈活动而收集电子邮件地址、电话号码或其他联系信息。
禁止使用的示例:
- ×为垃圾邮件活动抓取电子邮件地址
- ×采集电话号码用于自动拨号或短信垃圾信息
- ×收集个人数据用于网络钓鱼或身份盗窃
速率限制与合理使用
为确保所有用户的公平访问并维护系统稳定性,CrawlForge 实施以下速率限制:
Free 方案
60 个请求/分钟
每小时 3,600 个请求
Hobby 方案
120 个请求/分钟
每小时 7,200 个请求
Professional 方案
240 个请求/分钟
每小时 14,400 个请求
Business 方案
600 个请求/分钟
每小时 36,000 个请求
注意: 速率限制按 API 密钥强制执行。超出这些限制将导致 429(请求过多)响应。如果您需要更高的限额,请联系我们的销售团队了解企业级选项。
合理使用准则
尊重 robots.txt
请始终检查并尊重目标网站的 robots.txt 文件。如果某网站在其 robots.txt 中明确禁止抓取,请勿使用 CrawlForge 访问这些受限区域。
实施合理的延迟
请适当地分散您的请求。对于大多数网站,在请求之间添加 1-2 秒的延迟是避免使服务器超负荷的良好做法。
使用合适的工具
为您的使用场景选择最高效的 CrawlForge 工具。当 fetch_url(1 credit)即可满足需求时,不要使用 deep_research(10 credits)。这可减轻我们系统和目标网站两方面的负载。
监控您的影响
请留意您的抓取量及其对目标网站的潜在影响。如果您发现错误或速度变慢,请降低您的请求速率,或联系网站所有者征求许可。
尊重目标网站条款
您有责任确保您对 CrawlForge 的使用符合您所抓取网站的服务条款和政策。这包括:
- 阅读服务条款: 在抓取之前,查阅目标网站的服务条款和 robots.txt 文件。
- 征求许可: 如有疑问,请联系网站所有者以请求抓取活动的许可。
- 遵守 robots.txt: 尊重 robots.txt 文件中的指令,包括 crawl-delay 和禁止访问的路径。
- 限制请求量: 实施适当的延迟,避免以过量请求使目标服务器不堪重负。
- 尊重 API 替代方案: 如果某网站提供官方 API,请使用该 API 而非抓取 HTML 内容。
重要法律声明
CrawlForge 提供网页抓取工具,但您应独自负责如何使用这些工具。请确保您的抓取活动符合您所在司法管辖区的适用法律,包括但不限于《计算机欺诈和滥用法》(CFAA)、GDPR、CCPA 及版权法。
执行与账户暂停
违反本可接受使用政策可能导致以下措施:
1. 警告通知
对于轻微或首次违规,我们将发送警告通知,说明问题所在并要求采取纠正措施。
2. 临时暂停
对于重复或中度违规,在我们调查问题期间,您的账户可能会被临时暂停(通常为 7-30 天)。
3. 永久终止
对于严重违规(非法活动、安全漏洞、DoS 攻击),我们保留立即并永久终止您账户的权利,恕不事先通知,亦不退款。
4. 法律行动
对于从事非法活动或对 CrawlForge、我们的基础设施或第三方造成损害的用户,我们保留采取法律行动的权利。
申诉流程
如果您认为您的账户被错误暂停,您可以提交申诉至 support@crawlforge.dev ,须在暂停后 14 天内提出。请附上您的账户详情,并说明您认为该暂停不正确的理由。
举报政策违规行为
如果您认为有人在使用 CrawlForge 时违反了本可接受使用政策,或者您作为网站所有者正遭受来自某 CrawlForge 用户的滥用行为,请立即举报。
如何举报
- 电子邮件: support@crawlforge.dev
- 主题行: "AUP 违规举报"
- 请包含: 事件的日期/时间、IP 地址或 API 密钥(如已知)、被抓取的 URL,以及对违规行为的描述
我们认真对待所有滥用举报,并将在 48 小时内进行调查。所有举报均予以保密。
联系方式
对本政策有疑问?
我们随时为您解读我们的准则,并确保您负责任地使用 CrawlForge。
联系详情
- •电子邮件:support@crawlforge.dev
- •网站:crawlforge.dev
- •响应时间:48 个工作小时内