微软研究院于11月10日介绍了通过修改模型植入后门的研究。公司称,在Lazarus实验中被修改的模型,可以在隐藏触发条件出现前正常运行;这使匈牙利企业使用AI代理时的采购与权限风险更加具体。
我们不会根据这项研究演示,宣称已经发生企业入侵事件。本文讨论的是实验展示的攻击可能性,并非已确认的匈牙利受害者或安全事故。
企业实际需要回答的问题是:谁能够将采购的模型与真正部署的版本对应起来?一次成功的测试对话,与交付路径及版本记录,提供的是不同类型的证据。因此,部署记录中可以分别列明功能测试结果和证明模型来源的信息,避免将不同验证事项混在一起。
审查权限时,应从系统可以执行的操作出发:它能够读取或修改哪些数据?与笼统的安全标签相比,这为决策提供了更具体的依据。
本报在Google Language Explorer介绍中讨论过语言数据,在Google表单新功能报道中介绍过企业回答处理。未来有意义的进展,可能包括独立重复该研究,以及对防御方法进行有记录的测试。