为大模型与智能体套上“紧箍咒”蚂蚁集团连发两款开源安全模型

封面新闻记者 张越熙
随着人工智能从单纯的紧箍咒内容生成迈向自主执行阶段,安全挑战的模型边界已从模型输出内容扩展至行为控制、权限管理及系统治理。体套团连智能体(Agent)开始具备自主调用工具、上蚂运行代码及规划任务的蚁集源安能力,大模型也逐步融合图像、发两文本等多模态信息。款开AI系统能力的全模不断拓展,在提升效率的紧箍咒同时,也引发了更为复杂的模型安全隐患。
7月13日,体套团连蚂蚁AI安全实验室正式开源智能体安全护栏 SingGuard-NSFA,上蚂并同步披露多模态安全护栏 SingGuard的蚁集源安详细信息。这两款模型分别针对“自主执行的发两智能体”与“多模态交互的大模型”两大核心场景,旨在构建更完善的款开底层安全防线。
智能体自主性越强,安全风险放大效应越明显
过去一年,提示词注入、权限滥用、恶意代码执行及数据泄露等安全事件频发。从 Amazon Q 的提示词投毒、Microsoft Copilot 的数据泄露,到开源智能体 OpenClaw 暴露出的提示词注入风险,一系列案例表明:智能体的自主性越强,其潜在的安全风险放大效应也越显著。
政策层面也在加速跟进:
* 2025年12月,OWASP 发布《智能体应用安全十大风险》,系统梳理了智能体特有的安全威胁图谱。
* 2026年5月,国家网信办、国家发展改革委、工业和信息化部联合印发《智能体规范应用与创新发展实施意见》,首次从国家层面对智能体安全治理提出明确要求。
在此背景下,蚂蚁此次开源两款安全模型,旨在解决传统内容审核体系难以覆盖的行为层面风险。随着智能体从“回答问题”走向“自主办事”,安全风险不再局限于内容合规,更体现在提示词注入、敏感信息窃取、恶意代码执行、资源耗尽及权限滥用等行为维度。
SingGuard-NSFA:构建智能体行为防护体系
针对智能体执行动作前的安全痛点,SingGuard-NSFA在请求拦截和响应兜底两端构建了实时行为安全防护体系。
- 标准化风险分类:基于 CIA(保密性、完整性、可用性)原则,结合 OWASP 等国际安全指南,SingGuard-NSFA 将智能体风险细分为 7大类、28个中类和185个具体场景。
- 大规模评测体系:建立了覆盖 133种语言、近10万条样本的智能体安全评测体系,确保检测的全面性与准确性。
- 双模式技术实现:
- 审计模式:逐条生成详细的风险分析报告,适用于事后审查与合规记录。
- 实时模式:单次风险判定耗时约 50毫秒,专为线上高并发场景设计,实现实时拦截。
- 灵活部署:提供 0.8B、2B、4B、9B四种模型规模,满足不同算力与部署需求。
SingGuard:应对多模态交互的复杂攻击
与智能体操作安全并行的另一条防线,是多模态交互场景下的内容安全。
今年6月,Anthropic 发布的旗舰模型 Claude Fable 5 在数日内即被研究者利用 Unicode 字符和西里尔字母替换敏感词,成功绕过安全护栏。这一事件揭示了一个严峻现实:当模型具备还原变形文字、图片及跨模态信息的能力时,传统的关键词识别式护栏已显得力不从心。
为此,蚂蚁推出了 SingGuard多模态安全护栏:
* 统一判断框架:面向文本、图片及跨模态内容建立统一的安全判断逻辑,有效识别攻击者将恶意动作隐藏在文字、图片等不同模态中的复杂攻击手段。
* 动态规则更新:支持运行时动态加载自然语言安全规则,无需重新训练模型即可完成规则迭代,极大提升了在规则持续演进、业务流量较大的生产环境中的适应性。
行业观点
中国信通院人工智能研究所安全治理部副主任呼娜英指出,随着大模型从内容生成迈向自主执行,AI安全正从单一的内容审核延伸至行为管控和系统治理。这已成为智能体规模化应用的重要基础能力,而此类开源安全模型的发布,将为行业提供关键的底层支撑。
(责任编辑:知识)
- 记者:青岛海牛确实有意向引进李嗣镕,但转会暂时还没有定论
- 诺基亚与英伟达推出行业首个商用AI-RAN平台
- 官方:齐达内时隔五年出山,正式接替德尚执掌法国国家队教鞭
- 破亿短剧改编院线!《好一个乖乖女》电影组讯上热搜
- BW2026首秀大放异彩 EVNIA弈威以双核电竞重塑行业生态
- 伊朗称美军再次袭击布什尔省
- 7月15日追剧日历,11部长剧和5部短剧更新,7部新剧待播或待定档
- 中泰将合作共建泰国首台离子阱量子计算机
- 暖心之举,梅努为一名患病的英格兰球迷圆梦观看世界杯半决赛
- 直线大跳水,欧洲巨头突然闪崩
- “你就是一普通中年妇女,装什么嫩啊!”女子伪装儿子女友被喷!
- 没有资本,肋骨断了,26版西游记直播团队凭什么单场破2500万?
- 为原创性、颠覆性科技树立风向标
- 莫让“实习焦虑”沦为收割陷阱
- 詹皇小女儿注册费城被辟谣!加盟概率仅存13% 首轮秀愈发拉胯添堵
- BW2026首秀大放异彩 EVNIA弈威以双核电竞重塑行业生态
- 触目惊心!知名平台被曝涉黄后,还有大量低俗色情内容
- 梅西第九座金球奖要来了?其获奖概率41%居首,亚马尔30%,凯恩16%
- 马斯克涉嫌违法发钱,曾在选举中向选民发放100万美元支票,或被提起刑事诉讼
- 北航CoLab团队:让AI机器人真正动起来,不只是训练好了
- 罕见!北京天空出现“火焰彩虹” views+
- 大战前夜,阿根廷突收到 “天降神兵”!英格兰,这次真要悬了 views+
- 全市场:图拉姆膝盖不适,他将缺席尤文首场热身赛 views+
- 半年出海千亿美元:国产创新药迎来“质变”时刻 views+
- 美国媒体,这次服了中国电网 views+
- 内娱为什么突然迷上了“下沉市场”? views+
- 伊朗:伊美谅解备忘录不再存在 views+
- 【特稿】“甜蜜”发现:银河系深处有糖 views+
- 乌军公布视频:无人艇抢滩登陆成功,机器人自主下船登上俄控海岸 views+
- 当大模型公司开始造手机 views+
