在找到防止“模型意外行为”的办法之前,Anthropic 会在测试期间让其智能体保持离线。
该公司发布的一份报告详细介绍了“模型意外行为”,这些行为促使公司作出这一决定:
尽管这些行为造成的影响微乎其微,而且我们此前已在部分高风险评测和网络安全评测中关闭实时互联网访问。
但现在我们决定将这一措施扩大到所有内部评测,直到确认我们的安全和监控措施(详见本文的补救措施部分)能够可靠地发现此类行为。
即使模型本应在隔离环境中运行,它们仍能访问实时互联网,这一直是 AI 公司面临的问题。包括 Hugging Face 遭攻击事件在内的许多事件,都涉及本应无法访问互联网的智能体。然而,一次又一次,这些智能体都找到了绕过限制的巧妙办法。物理切断互联网连接无疑能提升 AI 测试的安全性,但也会削弱其效用。
这份报告也等于承认,Anthropic 往往并不清楚其智能体在做什么,也没有可靠的系统来监控它们的行为。切断互联网访问只是该公司为约束智能体采取的最新举措;此前,它还曾暂时暂停前沿模型的训练。