全球首个运行在Android手机上的Stable Diffusion末端侧演示

（ChinaIT.com讯）根底模子正在席卷AI行业。根底模子指基于海量数据停止大规模操练的大型神经收集，进而能以高性能表示适应普遍的后续使命。时髦的根底模子Stable Diffusion是一个十分超卓的从文本到图像的生成式AI模子，可以基于任何文本输进，在数十秒内创做出传神图像。Stable Diffusion的参数超越10亿，迄今为行次要限于在云端运行。对此，高通手艺公司工程手艺副总裁侯纪磊和高通手艺公司产物治理高级副总裁Ziad Asghar结合撰文，介绍高通AI Research若何操纵高通AI软件栈（Qualcomm AI Stack）施行全栈AI优化，初次在Android智妙手机上摆设Stable Diffusion。

上图为Stable Diffusion操纵文本提醒：“穿盔甲超等心爱的毛绒绒猫兵士、传神、4K、超细节、V-Ray衬着、虚幻引擎” 生成的图像。

高通AI软件栈撑持的全栈AI优化

高通AI Research不只在开展全新AI研究工做，也率先在商用末端上展现概念验证，为在现实世界中的手艺规模化利用展平道路。高通全栈AI研究指跨利用、神经收集模子、算法、软件和硬件停止优化，并在公司内停止跨部分协做。针对Stable Diffusion，侯纪磊和Ziad Asghar团队从Hugging Face的FP32 1-5版本开源模子进手，通过量化、编译和硬件加速停止优化，使其能在搭载第二代骁龙8挪动平台的手机上运行。

展开全文

通过全栈AI优化，完全在末端侧高效运行Stable Diffusion。

为了把模子从FP32压缩为INT8，该团队利用了高通AI模子增效东西包(AIMET)的操练后量化。那是基于高通AI Research创造的手艺所开发的东西，目前已经集成进新发布的Qualcomm AI Studio中。通过让模子在高通公用AI硬件上高效运行，并降低内存带宽消耗，量化不只可以进步性能，还能够降低功耗。自适应舍进(AdaRound)等先辈的高通AIMET量化手艺可以在更低精度程度连结模子准确性，无需停止从头操练。那些手艺可以利用于构成Stable Diffusion的所有组件模子，即基于Transformer的文本编码器、VAE解码器和UNet。那关于让模子合适于在末端上运行至关重要。

高通AI软件栈将更优异的AI软件产物聚集到一个软件包中，搀扶帮助OEM厂商和开发者在高通产物上创建、优化和摆设其AI利用，足够操纵高通AI引擎的性能。

关于编译，该团队操纵高通AI引擎Direct框架将神经收集映射到可以在目标硬件上高效运行的法式中。高通AI引擎Direct框架基于高通Hexagon处置器的硬件架构和内存层级停止序列运算，从而提拔性能并最小化内存溢出。部门上述加强特征是AI优化研究人员与编译器工程团队配合协做的功效，以此来提拔AI推理时的内存治理。高通AI引擎中所做的整体优化可以显著降低runtime的时延和功耗，而那一亟需的趋向也同样存在于Stable Diffusion上。

凭仗密切的软硬件协同设想，集成Hexagon处置器的高通AI引擎可以释放行业领先的边沿侧AI性能。撑持微切片推理的最新第二代骁龙8挪动平台有才能高效运行像Stable Diffusion如许的大模子，而且下一代骁龙估量还将带来更多提拔。此外，因为构成Stable Diffusion的所有组件模子都摘用了多头重视力机造，为加速推理而面向transformer模子（如MobileBERT）所做的手艺加强发扬了关键感化。

那一全栈优化最末让Stable Diffusion可以在智妙手机上运行，在15秒内施行20步推理，生成一张512x512像素的图像。那是在智妙手机上最快的推理速度，能媲美云端时延，且用户文本输进完全不受限造。

Qualcomm AI Studio 将目前的所有东西整合到一个全新的GUI中，同时还有可视化东西，以简化开发者的利用体验。

上图为Stable Diffusion操纵文本提醒：“野外河谷和山脉间的日式花园，高细节，数字插图，ArtStation，概念艺术，磨砂，锐聚焦，插图，戏剧性的，夕照，炉石，artgerm、greg rutkowski和lphonse mucha的艺术做品”生成的图像。

边沿侧AI的时代已经到来

跟着AI云端大模子起头转向在边沿末端上运行，高通打造智能网联边沿的愿景正在加速实现，几年前还被认为不成能的工作正在成为可能。那很有吸引力，因为通过边沿AI停止末端侧处置具有诸多优势，包罗可靠性、时延、隐私、收集带宽利用效率和整体成本。

虽然Stable Diffusion模子看起来过于浩荡，但它编码了大量语言和视觉相关常识，几乎能够生成任何能想象到的图片。此外，做为一款根底模子，Stable Diffusion能做的远不行根据文字提醒生成图像。基于Stable Diffusion的利用正在不竭增加，例如图像编纂、图像修复、风气转换和超辨认率等，将带来实在的影响。可以完全在末端上运行模子而无需毗连互联网，将带来无限的可能性。

扩展边沿侧AI

在智妙手机上运行Stable Diffusion只是起头。让那一目标得以实现的所有全栈研究和优化都将融进高通AI软件栈。凭仗高通的同一手艺道路图，高通AI Research可以操纵单一AI软件栈并停止扩展，以适用于差别的末端和差别的模子。

那意味着为了让Stable Diffusion在手机上高效运行所做的优化也可用于高通赋能的其他平台，好比条记本电脑、XR头显和几乎任何其它末端。在云端运行所有AI处置工做成本昂扬，因而高效的边沿侧AI处置十分重要。因为输进文本和生成图像始末无需分开末端，边沿侧AI处置能在运行Stable Diffusion（和其它生成式AI模子）时确保用户隐私，那关于利用消费级和企业级利用都有浩荡的益处。全新AI软件栈优化还将有助于削减将来在边沿侧运行的下一代根底模子产物的上市时间。基于上述研究和优化，高通AI Research可以实现跨末端和根底模子停止扩展，让边沿侧AI实正无处不在。

高通AI Research在根底研究范畴实现打破，并跨末端和行业停止扩展，以赋能智能网联边沿。高通AI Research与公司所有团队通力协做，将最新AI开展功效和手艺集成到高通产物之中，让尝试室研究所实现的AI朝上进步可以更快交付，丰富人们的生活。

*高通AI Research为高通手艺公司所属的项目规划。

*高通AI模子增效东西包（AIMET）是高通立异中心公司的产物。

*高通品牌产物是高通手艺公司和/或其子公司的产物。

来源：高通中国