【导语:为防止 AI 公司大量爬取网站内容导致崩溃,网站管理员启用 Anubis 保护服务器。它采用工作量证明机制,增加爬虫成本,是临时解决方案,后续还将发展指纹识别等技术。】
当用户访问某些网站时,会看到“正在确认你是否为机器人”的画面,这是因为网站管理员启用了 Anubis 来保护服务器。AI 公司大量爬取网站内容的行为可能导致网站崩溃,让所有用户无法正常访问资源,Anubis 应运而生。
Anubis 采用了类似 Hashcash 的工作量证明机制(Proof-of-Work),该机制最初是为减少垃圾邮件而提出。对于单个用户,额外的计算负担微不足道,但对于大规模爬虫,累积成本会大幅增加,从而增加爬取难度。
Anubis 只是一个临时解决方案,其目的是争取更多时间用于指纹识别和识别无头浏览器,例如通过它们的字体渲染方式。这样就无需向更可能是合法用户的人展示挑战工作量证明页面。
Anubis 需要使用现代 JavaScript 功能,像 JShelter 这类插件可能会阻止这些功能,用户需为该域名停用此类插件。由于 AI 公司改变了网站托管的社会契约,不得不采取这种依赖 JavaScript 的保护机制,无需 JavaScript 的解决方案仍在开发中。
编辑观点:Anubis 的出现为网站抵御 AI 爬虫提供了有效手段,虽为临时方案,但工作量证明机制有一定创新性。后续新技术若能成熟,将更好平衡安全与用户体验。