警报！AIGC狂飙，小心你的银行信息被偷窥

在AI的赋能之下，金融、医疗、安防等领域的使用遍地开花。人们突然发现，AI技术似乎成了一种基础配置，各行各业都在大力引进AI。AI到底安不安全？这个问题想必是一直萦绕在每个人心底的。

据报道，最新安全专家表达可以使用人工智能生成的语音来哄骗银行的验证系统，可查看余额和近期转账笔录。

这个操作细思极恐，当不法分子利用AI技术，把握当事人的声音或者面部信息，从而合成某人的声音或者动态视频便可以骗取“安全系统”的信赖，直接就可以从对方的账户查到自己想要的信息。

随着技术开源、准则化工具的推出，制造一段虚假内容的门槛越来越低，因此近年网络社交平台上虚假视频的数量呈高速增长。而且随着技术的不断成熟，合成视频在清楚度、顺畅度、逼真度等各方面都有大幅提升，真假难辨的背后更是危害性的不断增强。

AI攻破AI

对于一个颠覆性科技成果的出现，人们轻易只看到狂欢，背后带来的安全性问题却经常被漠视。

近日，资深撰稿人约瑟夫·考克斯（Joseph Cox）在Vice平台发布文章，分享了他如何利用AI生成的语音成功进侵银行账号。

据悉，大多数美国和欧洲银行都提供了语音 ID 的登录方式，不过最新安全专家表达可以使用人工智能（AI）生成的语音来哄骗银行的验证系统。

约瑟夫·考克斯打电话给银行的服务热线，在电话接通之后他点击四周笔记本电脑上的一份文件，播放一段声音：" 检查我的余额 "。实际上这是使用AI生成的一段声音，并不是约瑟夫·考克斯自己的的声音。

约瑟夫·考克斯表达，他自己不敢信赖AI生成的声音真的奏效了，“我成功使用人工智能生成的声音进进银行账户。之后，我可以访问账户信息，包括余额和最近的交易和转账清单”，约瑟夫·考克斯说。

事实上，这样的语音生成其实并没有那么难以获得，GitHub上就有类似的项目。只需要从GitHub下载一个名为“Real-Time-Voice-Cloning”的AI项目，就能轻松克隆声音。实际原理就是一个实时语音克隆工具，通过AI的深度学习，只需要说话者几秒钟的原始音频，就能模拟该说话者的声音生成音频并进行说话。

展开全文

约瑟夫·考克斯的实验打破了这样一个想法，即基于语音的生物识别安全并不能妥善保护用户隐私。一些专家也唤吁银行完全舍弃语音认证，因为滥用人工智能语音可能会导致欺诈和账户黑客进攻。

当AI用于诈骗，解决只能靠AI。

在2021年一家名为Pindrop的安全初创公司公布，它已经筹集了9000万美元，通过一个AI平台来解决AI语音克隆这一问题。该公司表达，该AI平台可以通过分析近1400种声音属性来验证来电者或语音命令是否合法，从而识别最复杂的模拟和黑客企图。Pindrop所建立的要害是，让一个声音的“指纹”不仅仅是你发出的特定的音调，还包括如何说话、通常在哪里打电话、声音的空间，甚至是常用设备。只有将所有这些与你确定的“正常”环境相匹配，才能被该系统认定为真实。

约瑟夫·考克斯的实验并不是个别案例，随着智能科技的发展，近年来AI诈骗开启了“狂飙”之路，层出不穷。

深度合成技术大大降低了信息造假的难度

2021年6月，一个“网络科技公司”法人马某就以某电竞网络科技公司作为创收的平台，联合满某等人通过非法渠道大量收购捆绑了公民个人信息（包含公民身份证号、照片）的游戏账号。

他们通过使用AI技术破解“人脸识别”系统侵犯个人信息，将非法获取的公民照片制造动态人脸，然后利用特殊处理的手机“劫持”摄像头，使系统不启动摄像头，而是获取之前做好的视频，最后通过了认证，借非法出售捆绑公民信息的游戏账号从中非法牟利。

他们使用特定方法犯罪嫌疑人通过出售、出租相关游戏账号以及提供售后破解服务方式非法获利3万余元，交易流水60余万元，买卖个人有效账号共897条，身份证号码（包含照片）432条。

2021年9月24日，广西玉林警方一举将这个团伙捣毁，这也是广西首个通过破解人脸识别技术侵犯公民个人信息犯罪团伙。

当前，“人脸识别”技术，已被广泛运用于生活中。“人脸识别”自带的天然属性，使其拥有媲美人类指纹的唯一性，因而往往被设置为完成各类事项的终极验证环节。

但在大规模落地的同时，人脸识别系统也面临安全挑战，比如轻易受到对抗样本进攻，即通过对人脸图像做微小的改动，就能够哄骗识别系统作出错误的推断，破坏人脸认证系统，可能引发重大缺失。

在2022“互联网之光”博览会上，海淀企业北京瑞莱聪明科技有限公司演示的“换脸术”便引来了众多人的驻足。张嘴、摇头，摄像头在捕捉到看众的动作后，屏幕上原本静态的人像瞬间“动”了起来，动作幅度和真人完全一致，还能眨眼和露齿微笑，仿真度很高；甚至看众拍完一张照片后，几分钟内就能生成一段视频，将看众的脸自动替换掉某影视剧中知名演员的脸。

据瑞莱聪明技术专家介绍，这背后摘用的是深度合成技术，利用深度学习、虚拟现实等生成合成类算法，制造图像、音频、视频等信息。

与此同时，专家也表达，这项技术却存在着安全隐患。

就目前来看，我们现在安全系统的验证主要通过AI识别技术实现，如人脸识别、语音识别。而目前触发的安全事件则是通过AIGC（AI生成），如AI生成图片、生成视频、生成语音。

其中，人工智能识别技术的实现主要基于机器学习和深度学习技术，其中最核心的技术点是神经网络模型。

对于人脸识别技术，其原理是通过摘集图像数据，利用计算机视觉技术提取出人脸的特征信息，并将这些信息编码为向量或矩阵形式。然后，通过练习深度神经网络模型，将这些特征与身份信息进行关联，从而实现对人脸的自动识别。在实现过程中，需要考虑光照、姿态、表情等多种因素对人脸特征的影响，以及保护用户隐私的问题。

对于语音识别技术，其原理是通过摘集语音信号，对其进行数字化处理并提取出其声学特征，然后将这些特征输进到深度神经网络模型中进行练习，从而实现语音识别。在实现过程中，需要解决噪声、口音、说话速度等多种因素对语音信号的影响，以及提高识别正确率和效率的问题。

除了深度神经网络模型，人工智能识别技术还需要借助大规模数据集、特征提取算法、模型练习算法等多种技术来支持其实现。

而AI生成技术主要基于深度学习中的生成模型，其中最主要的是生成对抗网络（GAN）模型。

对于AI生成图片技术，其原理是通过练习一个生成器网络和一个判别器网络，让它们在对抗的过程中相互学习和提升，最终生成逼真的图像。生成器网络接受随机噪声或其他输进，输出一张图片；判别器网络则评估这张图片是否真实，生成器网络通过反馈机制来优化生成的图片。这样，通过不断练习生成器和判别器，生成器就能够生成高度逼真的图片。在实现过程中，需要考虑图像的辨认率、颜色、纹理等特征，并保持生成图片的多样性。

对于AI生成动态视频技术，其原理与生成图片类似，但是需要考虑时间序列上的连续性，即生成一系列逼真的视频帧。这需要在生成器和判别器之间设计适宜的架构，以及适宜的缺失函数来保持视频的连续性。在实现过程中，需要考虑视频的帧率、辨认率、场景和物体的运动等特征，以及保持生成视频的真实性和顺畅性。

对于AI生成语音技术，其原理是通过练习一个神经网络，将文本或其他形式的输进转化为逼真的语音。这需要在神经网络中设计适宜的声学特征提取和语音合成算法，以及考虑声音的音高、音色、语调和发音等特征。在实现过程中，需要解决音频信号的质量、连续性和自然度等问题。

除了生成对抗网络（GAN）模型，AI生成技术还需要借助大规模数据集、适宜的缺失函数和优化算法、模型架构等多种技术来支持其实现。

虽然这些技术乍看起来对于普通人来说很难实现，但随着技术开源、准则化工具的推出，制造一段虚假内容的门槛越来越低。

可以看到，AI识别和AI生成（AIGC）在技术原理上都依靠于深度学习技术，特别是神经网络模型。它们共用的底层技术包括数据预处理、特征提取、模型练习和优化等方面。

虽然AI识别和AIGC在底层技术上有很多共性，但它们的主要区别在于任务的不同。

就拿此次AI生成语音攻破银行系统事件来说，银行的语音识别主要是通过识别已有的事物来进行分类、识别、检测；而专家通过AI技术生成的语音则是基于模型生成新的事物或场景，包括图片、视频、语音等。

因此，在AI识别和AIGC任务的实现过程中，会有一些不同的技术和算法被使用，例如在AIGC中需要考虑生成的多样性、连续性和可控性，而在AI识别中需要考虑鲁棒性、正确性和泛化能力等问题。

据工商银行金融研究院安全攻防实验室主管专家苏建明介绍，人脸识别流程依次是动作活体检测、现场人脸摘集、人脸特征上送、静默活体检测、人脸比对，对应的典型进攻分别是打印照片进攻、ROM注进摄像头劫持进攻、报文篡改进攻、高精度伪造进攻、人脸合成对抗进攻。

假如黑产分子利用“AI换脸”破解线上银行的人脸核验系统，通过表情操纵让照片做出“张嘴、眨眼、摇头”等指令性动作，再让智能设备不启动摄像头，直接底层注进合成的动态人脸视频，绕过活体检测，便可顺利破解人脸识别。这一方式也轻易被不法分子用于盗刷银行卡、非法办理手机卡等诈骗场景。除了哄骗机器外，还可以通过伪造电话语音、视频通话画面等哄骗真人，诱惑转账、实施敲诈等。

用魔法打败魔法

任何事物客看上都有两面性，人工智能也不例外。一方面，它为技术的探索和发明提供了空间。另一方面，它也为犯罪、哄骗，以及欺诈提供了可能性。

目前，AIGC生成内容对当前AI识别的挑战主要体现在以下几个方面：

1、对抗样本进攻：通过对已有的练习模型进行修改、添加噪声等手段，使其在识别新的输进数据时产生误判，这对于基于AI识别的安全系统来说是一种重要的挑战。

2、多样性和可控性：AI生成的图片、视频、语音等内容具有更高的多样性和可控性，这意味着在识别过程中需要考虑更多的转变和可能性，增加了AI识别的难度和复杂度。

3、数据质量和可信度：由于AIGC生成的内容并非真实的物理世界中的数据，因此其质量和可信度存在一定的风险和不确定性。假如将其用于要害领域，例如医疗、金融、军事等，可能会带来严重的安全问题和缺失。

假如利用AIGC生成的图片、视频、语音骗过相关的安全系统，将对目前以生物识别为基础建立的安全体系带来极大的影响。生物识别技术在实现上已经相对成熟，被广泛使用于各个领域。但假如这些技术被AIGC生成的虚假数据所进攻，将可能导致系统的误判、失效和瘫痪，从而给人们的生命和财产安全带来浩大威逼。

因此，针对AIGC生成内容对AI识别的挑战，可以摘取以下措施来升级AI生物识别系统：

如通过多种生物特征进行识别，目前的生物识别系统主要以人脸识别和语音识别为主，但随着AIGC技术的发展，这些特征越来越轻易被伪造。因此，可以引进其他生物特征，如指纹、虹膜、静脉等，增加识别难度，提高安全性。

还可以加强算法研究，算法是生物识别系统的核心，需要不断研究和开发更加先进的算法。例如，可以摘用深度学习等新技术来提高识别正确率和对抗进攻的能力。

除此之外，可以引进人工智能安全技术，如对抗样本练习、可阐明性机器学习等，提高生物识别系统的抗进攻能力和可靠性。摘用多因素认证技术，如结合生物识别和密码识别等，提高认证的安全性和可靠性等。

统筹发展和安全是每项新技术发展过程中面临的必然问题，如何实现高水平发展和高水平安全的良性互动，也是当前人工智能产业发展的重要命题。

针对开放环境下的人工智能系统面临的诸多安全挑战，北京航空航天大学软件开发环境国家重点实验室副主任刘祥龙表达，目前人工智能算法及系统的安全性短缺科学评测手段，难以有效评测完全的人工智能模型和算法能力。

在他看来，从技术上来看应形成从安全性测试到安全性分析与安全性加固的完全技术手段，最终形成准则化的测试流程。未来的人工智能安全应该围绕从数据、算法到系统各个层次上的全面评测，同时配合一套整体的从硬件到软件的安全可信计算环境。

文：媛媛 余小鱼 / 数据猿