Anthropic已开始组织试用Chrome版Claude,这是一款可以代表用户操作浏览器的AI扩展程序。然而,该工具容易受到即时注入攻击,这些攻击可能会诱使其在未经用户同意的情况下执行有害操作。Anthropic意识到了这些风险,但无论如何,还是会发布该工具进行小范围测试。
5I0j>{U& }?Tz=hP Chrome扩展程序标志着Anthropic进军竞争激烈的基于浏览器的人工智能市场,该市场面临着Perplexity的Comet浏览器和OpenAI的ChatGPT Agent等竞争对手。由于意识到安全风险,Anthropic于4月推出的100美元和200美元Claude Max套餐仅限1000名用户使用。
Uy$?B"Z O_&Km[ 在测试中,该公司发现恶意行为者可以通过使用即时注入攻击,在近四分之一的时间内操纵Claude。这些攻击在网站、电子邮件或文档中嵌入隐藏指令,诱骗人工智能删除文件、窃取数据或发起未经授权的交易。
BtKbX)R$J Ce_l\J8G 在一个令人不安的测试案例中,一封伪装成雇主的伪造电子邮件指示Claude以所谓的“安全原因”删除用户消息。由于缺乏安全措施,人工智能遵循了隐藏的命令,并在未经确认的情况下永久删除了数据。
`^
uX`M/ "=* Anthropic声称已测试新的防护措施,在自主模式下将攻击成功率从23.6%降至11.2%。Claude现在需要用户批准才能执行购买、发布内容或共享敏感数据等高风险操作。用户还可以通过精细的网站权限来限制其访问范围。
<nF1f(ky iuEQ?fp 默认情况下,Claude无法访问金融服务网站、成人内容平台或盗版内容网站。这些限制有助于减少即时注入攻击的潜在危害,同时保留合法业务功能。
rq^VOK|L
J\\o#-H Anthropic淡化了这种风险,称其新的缓解措施将快速注入成功率降低到低于使用桌面Claude客户端的水平。
{(^%2dk83C s6_[H 尽管取得了这些进步,安全专家仍然对基于浏览器的AI代理的可行性持怀疑态度。独立研究员西蒙·威利森(Simon Willison)于2022年创造了“即时注入”一词,他称剩余的11.2%的攻击率是“灾难性的”,并质疑其是否真的能够安全实施。
2$?j'i! \yY2 mr 最近发生的竞争产品事件凸显了这些担忧。上周,Brave的安全研究人员通过恶意Reddit帖子操纵了Perplexity的Comet浏览器,获取了用户Gmail帐户的访问权限并触发了未经授权的密码恢复流程。
=kn-F T r~T3Ieb Chrome版Claude扩展程序扩展了Anthropic的“计算机使用”功能,使AI能够截取屏幕截图并控制鼠标完成任务。浏览器集成功能可实现更直接的网络交互,同时在多个标签页和网站之间保留对话上下文。
CM+/.y T ]s~%1bd
Anthropic计划利用有限的试点项目来识别更多攻击模式,并在更广泛部署之前完善安全措施。然而,该公司承认,目前的保护措施不足以满足广大消费者的需求,早期采用者将承担巨大的风险。
i,y7R?-K