【猎云网（微信：ilieyun）北京】4月10日报道

近年来，机器学习作为人工智能行业的“重头戏”，得到了前所未有的发展，其中基于计算机视觉的人脸识别技术更是渗透到了社会生活的方方面面。然而，这些看似无比“聪明”的AI系统却时常会表现出“脆弱”的一面。

例如，在一些训练数据无法覆盖到的极端场景中，自动驾驶汽车的识别系统可能出现匪夷所思的决策，引发致人死亡的严重事故。

此外，这类极端情形也可能被恶意制造并利用，发动“对抗样本攻击”，即通过对输入数据进行细微的、肉眼无法察觉的修改就可以误导识别系统让其给出错误判断。比如百度、腾讯等研究机构就曾人为制作出误导自动驾驶汽车的“障碍物”，让车辆驶入逆行车道甚至面临撞击风险。

其实这些安全风险的背后都是由于现有的人工智能存在技术性缺陷，即算法漏洞，随着人工智能的落地应用逐步从语音识别、人脸识别等受限场景延伸至金融决策、医疗诊断、自动驾驶等关键核心场景，算法漏洞的威胁将愈发凸显出来。

为了解决以上问题，已经有科技公司开始了相关研究和应用开发，包括百度针对对抗样本开发的工具包AdvBox，IBM推出的检测模型及对抗攻击的开源工具箱ART（Adversarial Robustness Toolbox）。

最近，一家定位为“安全可控第三代人工智能”的创业公司，孵化自清华大学AI研究院的RealAI（瑞莱智慧）正式发布业界首个针对AI在极端和对抗环境下的算法安全性检测与加固的工具平台——RealSafe人工智能安全平台。与百度、微软推出的工具不同，RealSafe是目前算法安全领域出现的首个平台级产品。

业界首个AI模型“杀毒软件”，RealAI开辟全新商业赛道

据RealAI CEO田天介绍，不同于用AI技术赋能网络安全、安防等传统安全领域，算法安全关注的是人工智能本身的安全性，这一安全风险本质上由人工智能“技术短板”所导致，将是限制人工智能发展最明显的“软肋”。

目前学术界跟产业界都开始意识到算法安全的重要性，2018年中国信息通信研究院安全研究编制的《人工智能安全白皮书》中，将“算法安全”列为人工智能六大安全风险之一，只不过在具体的应对措施上，目前仍然存在诸多挑战。

第一，作为新兴领域，业界对于如何评价算法模型的安全性并没有清楚的定义。而随着攻防相互的发展，对抗样本等新型攻击手段层出不穷，而且变得愈发复杂，尤其在开源社区、工具包的加持下，高级复杂攻击方法快速增长，但是相关防御手段的升级却难以及时跟上。

第二，对抗样本等算法漏洞检测存在较高的技术壁垒，目前市面上缺乏自动化检测评估工具，而大部分企业与组织不具备该领域的专业技能来妥善应对日益增长的恶意攻击。因此，在潜在层面上，随着人工智能的大规模应用，算法漏洞带来的安全威胁将持续升级。

所以，田天表示，就如网络安全时代，网络攻击的大规模渗透诞生出杀毒软件，RealAI团队希望通过RealSafe平台打造出人工智能时代首个“杀毒软件”，帮助企业高效应对人工智能时代下算法漏洞孕育出的“新型病毒”。

从安全测评到防御加固，RealSafe高效应对算法威胁

据介绍，RealSafe平台提供从算法安全评测到防御加固整体解决方案，主要支持两大功能模块：模型安全测评、防御解决方案。

其中，模型安全评测主要为用户提供AI模型安全性评测服务。用户只需接入所需测评模型的SDK或API接口，选择平台内置或者自行上传的数据集，平台将基于多种算法生成对抗样本模拟攻击，并综合在不同算法、迭代次数、扰动量大小的攻击下模型效果的变化，给出模型安全评分及详细的测评报告。目前已支持黑盒查询攻击方法与黑盒迁移攻击方法。

防御解决方案则是为用户提供模型安全性升级服务，目前RealSafe平台支持五种去除对抗噪声的通用防御方法，可实现对输入数据的自动去噪处理，破坏攻击者恶意添加的对抗噪声。在外防御效果上，根据实测来看，部分第三方的人脸比对API通过使用RealSafe平台的防御方案加固后，安全性可提高40%以上。

而且为了帮助更大范围内的企业高效应对算法威胁，RealSafe平台还具备以下两大优势：

• 组件化、零编码的在线测评：相较于ART、FoolBox等开源工具需要自行部署、编写代码，RealSafe平台采用组件化、零编码的功能设置，免去了重复造轮子的精力与时间消耗，用户只需提供相应的数据即可在线完成评估，学习成本低，无需拥有专业算法能力也可以上手操作。

可视化、可量化的评测结果：为了帮助用户提高对模型安全性的概念，RealSafe平台采用可量化的形式对安全评测结果进行展示，根据模型在对抗样本攻击下的表现进行评分，评分越高则模型安全性越高。此外，RealSafe平台提供安全性变化展示，经过防御处理后的安全评分变化以及模型效果变化一目了然。

随着模型攻击手段在不断复杂扩张的情况下，RealSafe平台将持续提供广泛且深入的AI防御手段，帮助用户获得实时且自动化的漏洞检测和修复能力。

从数字世界到物理世界，RealAI落地更多安全周边产品

随着机器学习模型不断的升级演化，“对抗样本”已经演变成一种新型攻击手段，并且逐渐从数字世界蔓延到物理世界。

因此，除了针对数字世界的算法模型推出安全评测平台，RealAI团队也联合清华大学AI研究院围绕多年来积累的领先世界的研究成果落地了一系列AI攻防安全产品，旨在为更多场景保驾护航。

比如通过佩戴带有对抗样本图案的“眼镜”，黑客可以轻易破解商用手机的面部解锁，通过在胸前张贴特制花纹实现在AI监控下的“隐身”，以及通过在车辆上涂装特殊花纹躲避AI对车辆的检测。发现类似新型漏洞的同时，RealAI也推出相应的防御技术，支持对主流AI算法中的安全漏洞进行检测，并提供AI安全防火墙对攻击AI模型的行为进行有效拦截。

人工智能的大潮滚滚而来，随之而来的安全风险也将越来越多样化，尤其近年来因AI技术不成熟导致的侵害风险也频频发生，可以说，算法漏洞已逐渐成为继网络安全、数据安全后又一大安全难题。而RealSafe人工智能安全平台的出现，不仅在为垂直行业降低应对安全风险的门槛与成本，同时其标准化的平台级产品，也是AI安全这个新兴领域，迈向健康可控的重要标志。