旅游

AI安全问题不容忽视360发布AI安全风

2019-05-15 05:13:02来源:励志吧0次阅读

尽人皆知,深度学习是人工智能技术的核心卖点:通过摹拟人脑机制,机器也能够像人那样,自主学习海量高深的知识,从而获得常人没法企及的技能,帮助人类实现更为曼妙和科幻的场景。不过,向往虽然美好,但是随着一批深度学习应用逐渐开始变成现实,安全问题也渐渐显现出来。

日前,360安全研究院结合过去一年对深度学习系统安全性的详细研究,出具了《AI安全风险白皮书》。白皮书从深度学习系统软件实现的复杂度、深度学习系统模型的逃逸攻击和深度学习系统数据流中的安全威胁三个角度,详细解读了AI系统的安全威逼。

当前人工智能应用面临多方威逼

2017年以来,每次有关人工智能的报导都会让很多友由衷的感叹。比如谷歌AlphaGo与李世石、柯洁等国际围棋大师对弈,将这些围棋好手挑落马下。像围棋这类复杂多变的棋盘游戏,几乎代表了人类的智慧。AlphaGo能够在千变万化的棋局中,选择对自己更加有利的步数,继而赢得棋局,靠的便是深度学习算法对场上局势进行研判。

不过,像AlphaGo这样的人工智能应用其实不与外界有直接的交互,或者是在封闭的环境下工作,因此遭到的安全威胁相对较小。但是,随着人工智能运用的普及,安全威胁会不断增加,更多的应用会把应用的输入接口直接或间接暴露出来。同时封闭系统的攻击面也会随着时间和环境而转化。

图1:深度学习算法与安全所斟酌的不同输出场景

目前公众对人工智能的关注,尤其是深度学习方面,缺少对安全的考虑,这是人工智能安全的盲点,近期很多对于深度学习的讨论主要停留在算法和前景展望的层面,并没有斟酌人为恶意造成或合成的场景;深度学习软件层面,很多是实现在深度学习框架上。然而系统越是复杂,就越是可能包括安全隐患。任何在深度学习框架以及他所依赖的组件中的安全问题都会威逼到框架之上的运用系统;另外,正如安全人员常说的,魔鬼往往隐藏于细节之中,任何一个大型软件系统都会有时限漏洞。考虑到深度学习框架的复杂性,深度学习运用也不例外。

深度学习逃逸攻击让AI系统迷了眼睛

同时,白皮书以逃逸攻击为例,解析了深度学习模型所存在的一些安全问题。所谓逃逸攻击,指的是攻击者在不改变目标机器学习系统的情况下,通过构造特定的输入样本以完成欺骗目标系统的攻击。只要一个机器学习模型没有完善学到判别规则,攻击者就有可能构造对抗样本以欺骗机器学习系统。

图2:稍加干扰因素 深度学习系统会将熊猫误认为长臂猿

白皮书中列举了Ian Goodfellow在2015年ICLR会议上提出的逃逸样本,样本使用了谷歌的深度学习研究系统,该系统利用卷积神经元络,能够精确区分熊猫和长臂猿等图片。

不过,攻击者对熊猫的图片稍加改造,增加了一些干扰因素。虽然这细微的差别并不会影响人类的判断,不过深度学习系统却把熊猫误认为了长臂猿。试想在具有图象识别功能的AI系统中,如果判断失误,AI系统就很有可能做出截然不同的选择,有可能导致非常严重的后果。

另外,基于机器学习的逃逸攻击主要是分为白盒攻击和黑盒攻击。白盒攻击需要获得机器学习模型内部的所有信息,然后直接计算得到对抗样本;黑盒攻击则只需要知道模型的输入和输出,通过视察模型输出的变化来生成对抗样本。

深度学习需谨慎降维攻击

此外白皮书指出,在深度学习的数据处理流程中,同样存在安全风险。攻击者在不利用平台软件实现漏洞或机器学习模型弱点的情况下,只利用深度学习数据流中的处理问题,就可以实现逃逸或者数据污染攻击。

图3:降维处理可能导致深度学习系统指鹿为马

比如,白皮书援用了Caffe平台自带的经典图片识别应用案例,案例使用了一张羊群的图片,辨认所用的神经元络是谷歌发布的GoogleNet,数据来自的ImageNet比赛。不过使人遗憾的是,Caffe的深度学习应用将羊群误判为狼。究其缘由,还是由于深度学习自身算法的问题。由于深度学习模型真正用到的数据都会是维度变化过的图片,即对图片进行了一些算法处理,其中包括近点抽取、双线性插值。这些处理的目的就是下降算法的复杂程度,并尽量保持图片原有的模样。

但是这些常用的降维算法并没有考虑恶意构造的输入。上面的攻击例子,则是针对常用的双线性插值构造的恶意攻击样本。根据白皮书的初步分析,几乎所有上流行的深度学习图片识别程序都有被降维攻击的风险。对于降维攻击的防范,用户可以采取对超越异常的图片进行过滤,对降维前后的图片进行比对,以及采取更加硬朗的降维算法等。

当前,人工智能的风潮席卷而来,人们醉心于新鲜事物带来的全新体验,却往往忽视了暗流涌动的安全问题。随着人工智能的普及,人工智能将面临来自多个方面的威胁:包括深度学习框架中的软件辨认漏洞、对抗机器学习的恶意样本生成、训练数据的污染等等。未来,作为国内的络安全公司,360将以更为开放、分享的心态,致力于帮助行业及厂商解决人工智能的安全问题,为我国人工智能的蓬勃发展保驾护航。

经期延长喝什么好
血瘀型经期延长怎么办
气滞血瘀型痛经
分享到: