窄带高清画量加强之生成式细节修复
让更佳视觉感触感染更广，更普惠。
兮墨｜手艺做者
阿里云窄带高清素质上是一种转码量量优化手艺，是一套以“人眼主看感触感染更优”为基准的视频编码手艺。研究的是在带宽受限的情状下，若何逃求更佳的视觉感触感染，即人眼感触感染的主看量量更优。
视频画面量量提拔往往需要利用适宜的画量加强手艺来实现，在手艺分析前，我们先主看体验两个客户案例视频，视频右侧为窄带高清画量加强输出。
视频仅限于演示手艺计划效果
01 “视频高清化”大趋向
视频是信息闪现和传布的次要载体。从早期的625线模仿电视信号，到后来的VCD、DVD、蓝光、超大尺寸电视等，用户对高操行画面无行境的逃求鞭策着视频手艺的不竭朝上进步和财产的兴旺开展。据揣测，将来小我消费者收集流量的80%以上和行业利用流量的70%以上都将是视频数据。
当下，跟着视频拍摄和视频播放展现设备的软、硬件设置装备摆设和性能不竭晋级，消费者关于视频画量的要求越来越高：从360p到720p再到1080p，如今正全面跃升至4K，而且8K的脚步正在迫近。
在视频娱乐场景中，视频画量是影响用户互动体验的关键因素，高清视频往往比低清视频包罗更多的细节和信息，给用户的视频互动带来更好的体验，那也促使了用户对视频画量的要求越来越高。
视频消费者一旦适应了高清视频所带来和以往纷歧样的感触感染和体验，例如：高清视频能够将光线、量感、人物皮肤、纹理等细节复原得更为实在，关于“渣”画量的容忍度就会越来越低。
做为立异的排头兵，互联网视频网站正拿出各类应敌手段称心消费者的需求，提拔画量仿佛成为视频网站争取IP之外的新战场。
当下，国表里支流的视频网站、APP已经全面普及1080p，1080p已经成为一种标配。一些视频平台，例如爱优腾、B站、YouTube，部门节目内容也供给了4K版本。
02 助力“最初一公里”的画量优化
视频从摘集到分发再到末端消费者停止播放看看，中间要履历复杂的视频处置和传输链路。完全的处置和传输链路凡是包罗以下几个环节：
l 摘集/编码：内容供给方摘集的视频起首会被编码为特定的格局；
l 编纂/剪辑/重编码：对原始素材停止多样化的编纂/剪辑操做，停止二次创做，然后重编码输出；有的营业场景可能会包罗屡次剪辑处置；剪辑/编码完成的视频会被上传至办事端；
展开全文
l 云办事端转码：视频在上传到云办事器后，为适应差别的收集情况和播放末端凡是会在云端停止转码（本文所讨论的窄带高清转码即发作在该环节，以更高的压缩比闪现更高量量的视频）；
l 云发布：内容分发收集（CDN）；
l 播放端：视频经由内容分发收集（CDN）加速分发，通过解码最末在内容消费方的末端设备上实现播放；
l 多平台播放：手机，Pad，OTT，IPTV，Web；
图1 视频处置和传输链路
从视频处置角度来看，窄带高清云转码是视频内容触达末端消费者的最初一个处置环节；从客看现实上来说，是视频内容消费消费全链路的“最初一公里”。
从传输角度来看，在视频消费和消费全链路，各环节之间数据的流转有多种形式：SDI有线线缆体例、无线蜂窝挪动通信、互联网以及卫星通信等。
差别数据传输计划在传输情况不变性和带宽存在浩荡的差别，因而，为了能在带宽受限的链路长进行不变的视频传输，一定要对视频信号停止深度编码压缩，而编码压缩势必会带来差别水平的画量损伤。
举个例子：常见的视频流规格：1080p, 60 fps, YUV 4:2:0, 8-bit，raw data码率为1920*1080*1.5*8*60 = 1.49Gbps
上述提到的传输体例中，只要3G-SDI有线线缆可支持该码流的实时传输。而视频内容触达末端消费者的体例一般是经由互联网停止分发，码率需要掌握在10Mbps以下，因而意味要将原始视频压缩上百倍。
综上所述，从整个视频处置和传输链路来看，视频内容从摘集到末端播放，要履历多个视频编纂、处置、重编码的操做。而每一次处置/编码操做或多或少城市对视频的画量产生影响，凡是会损伤画量。
因而，当下即使是利用最新的视频摘集设备（能够输出高画量的原始视频信号），末端消费者侧也纷歧定包管能体验到高画量，原因就在于中间处置环节的画量损耗。
窄带高清云转码做为整个视频处置链路的最初一个处置环节，其输出码流画量效果即为最末分发至末端消费者的画量效果。因而，假设在该环节利用安妥的画量加强手艺，能够必然水平上填补前序视频处置环节所产生的画量损伤，起到优化画量的感化。
03 画量加强应该优先处理什么问题？
视频画量加强手艺大致能够分为三大类：
l 色彩/亮度/比照度维度加强：色彩加强（色域，位深，HDR高动态范畴）、往雾、低光照/暗光加强等；
l 时域维度帧率加强：视频帧率变更/智能插帧；
l 空域维度细节复原/加强：往压缩失实、辨认率倍增、降噪/往划痕/往亮斑、往闪烁、往模糊、往抖等。
视频加强手艺在产物落地层面，目前比力热门的抉择是将老旧视频素材高清化，例如年代比力长远的片子、电视剧、动画片和MV/演唱会视频等。
老旧影视素材普及存在：划痕、噪点/霉斑、闪烁、细节模糊、运动挈尾、色彩暗淡或者只要黑白等问题，能够通过往噪、往脏点/划痕/霉斑、往模糊、往闪烁、辨认率/帧率倍增以及色彩加强（黑白上色）等处置，如许能够全面提拔素材的整体看感。
然而，因为每个老旧素材所面对的画量问题差别很大，且目前的手艺程度关于有的画量问题还难以给出令人称心的效果，因而老旧素材高清化处置过程必需引进人工干涉。
人工干涉表现在两个方面：一是对老旧素材画量问题停止诊断，并设置装备摆设安妥的处置模子和处置流程；二则是对模子处置成果停止人工审查，并做恰当的精修和微调。
窄带高清画量加强手艺落地抉择原则
窄带高清云转码做为一种全主动，无人工干涉的视频转码功课，所摘用的视频画量加强优化手艺也需要做到全主动，无需人工参与。我们认为在抉择产物化标的目的时，所集成的视频加强手艺应该称心以下几个前提：
l 视频加强手艺能够实现全主动，无需人工干涉：老旧素材高清化目前还需要太多的人工干涉，不契合该原则；
l 相关手艺具有普遍的适用范畴：低光照/暗光加强和视频往抖在部门场景也有需求，但在视频转码场景，有那类画量问题的视频占比十分少；
l 继续的刚需：该手艺可带来消费者可感知的画量提拔，且其处理的问题在将来5-10年城市继续存在，因而能够构成继续的刚需。
处理消费链路引进的画量缺失
根据上述原则，我们最末抉择在窄带高清转码中集成的画量加强手艺为：空间维度细节修复，处理视频消费链路产生的画量缺失，即屡次编码压缩招致的画量缺失。
从整个视频处置和传输链路来看，我们再详细阐发一下产生画量缺失的环节有哪些：
1.信号源自己的画量问题
l 传输链路招致的低码率：在视频消费流程中，传输链路的带宽凡是有必然的限造，为了优先包管顺畅，不能不摘用低码率。典型场景有：跨国境曲播流；大型赛事活动现场信号远间隔传输，无专线保障；以及无人机航拍实时信号。典型的码率设置例如1080p 50fps 4-6M，曲播场景凡是是硬件编码，输出的码流有明显的编码压缩缺失；
l 内容版权/贸易形式招致的低码率：因为视频版权或者贸易形式问题，视频版权方给到分发渠道只要低码率信号源；
l 原始视频素材履历过屡次编码压缩，已经有明显的画量缺失问题。
图2 低码率信号源画量问题：有明显的编码块效应
2.编纂/剪辑及二次创做引进的画量问题
l 剪辑软件编码压缩引进的画量问题。
在UGC短视频范畴，各人凡是习惯利用手机剪辑APP来停止视频剪辑，剪辑APP会挪用手机硬件编码来做完成衬着视频的编码输出；但手机的视频编码才能比力受限，且差别型号手机的编码压缩性能差别很大，因而很随便呈现编码压缩后画量欠好的情状，即使输出码率高达20M@1080p，如下图；
l 推流东西重编码压缩引进的画量问题。
在一些营业场景，例如网红博主陪你看球，演播室或者讲解主播会将原始信号畅通过OBS拉流到当地，叠加讲解，再推流上云；OBS的重编码会再次损伤原始视频的画量。
图4 主播讲解，OBS推流码率6M，辨认率1920x1080画面存在大量编码压缩招致的边沿锯齿/毛刺，以及模糊
从需求继续时间来看，因为传输带宽的限造，在整个视频生成流程中，视频编码压缩是一个无法制止的处置操做，而有压缩就不成制止引进画量损伤，因而，面向编码压缩缺失的画量提拔会是一种继续性的需求。
04 面向编码压缩缺失的画量加强手艺
从学术的角度来看，处理消费链路引进的画量缺失，次要研究的手艺包罗：往压缩失实以及超辨认率重建。往压缩失实次要处理编码压缩招致的块效应，例如边沿毛刺和细节丧失/模糊问题；超辨认率重建能够消弭处置链路中可能引进的空间辨认率降摘样，并提拔画面整体锐度和清晰度。
学术界对图像超辨认率重建手艺的研究已经继续了几十年。早期的办法大多基于空域/时域重构手艺，后来开展到基于样例的进修办法，比力有代表性的计划有：（1）基于图像自类似性的办法；（2）基于范畴嵌进的办法；（3）基于字典进修/稀少表达的办法；（4）基于随机丛林等。但曲到基于卷积神经收集（CNN）的超辨认率手艺鼓起，才让该项手艺在处置效果和性能方面到达可商用的程度，从而在工业界得到普遍存眷和利用。
第一个将基于CNN的图像/视频超辨认率手艺停止产物化落地测验考试的当属一家喊Magic Pony的创业公司。该公司在CVPR 2016上做了一个其时十分炫酷的demo - Real-Time Image and Video Super-Resolution on Mobile, Desktop and in the Browser [1, 3]。
第一次将基于CNN的视频超辨认率手艺移植到了挪动平台（三星手机和iPad），能够对游戏曲播画面停止实时的超辨认率加强处置，显著提拔源流的画量。该项手艺很快引起了Twitter的存眷，并在很短的时间内就完成了对该公司的收买 [2]。
然后，跟着第一届NTIRE超辨认率角逐 - NTIRE 2017 Challenge on Single Image Super-Resolution [4]的举办，越来越多的公司起头存眷基于CNN的图像超辨认率手艺，从那之后，那方面的落地利用也如雨后春笋般地涌现。
l 常规CNN往压缩失实处置：那个面部有点假
固然基于CNN的图像超辨认率手艺可获得远超越往手艺的处置效果，但其产物化过程仍是存在很多问题。一个典型的问题是：基于MSE/SSIM缺失函数操练得到CNN超辨认率模子（也即常规CNN超辨认率模子），重建生成的图像往往会贫乏高频细节信息，从而显得过光滑，主看感触感染欠安。
下面三个例子为一个典型的常规CNN超辨认率模子到达的处置效果：
常规CNN超辨认率模子对编码压缩形成的块效应、边沿锯齿、毛刺等artifacts有比力好的光滑感化，从而使得整个画面看起来愈加清洁，但画面贫乏细节和量感，次要表现在面部区域，有比力明显磨皮效应。因而，在对画面细节有要求的营业场景，例如PGC内容消费，用户凡是会抱怨：面部磨皮太明显，有点假。
图5 常规CNN模子处置效果示范
处置之后编码artifacts被有效往除，画面比力清洁光滑，但贫乏细节和量感，例如：人像区域的头发/眉毛/胡子/皮肤颗粒感/嘴唇纹理等细节；空中草地纹理细节以及晚会节目视频中演员服拆、道具细节丧失。
l 基于GAN的处置计划
为领会决常规CNN超辨认率模子欠缺细节、过光滑的问题，学术界在2017年提出了基于生成匹敌收集（GAN）的超辨认率计划：超辨认率生成匹敌收集（SRGAN）[5]。SRGAN在模子操练过程中，额外利用判别器对模子输出成果的纹理实在性停止辨别，从而使得模子倾向输出具有必然细节纹理的成果。
如下图所示，基于MSE的模子倾向输出光滑的成果，而基于GAN的模子倾向输出有必然纹理细节的成果。
图6 基于GAN的SR计划
来源：论文Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network
基于GAN的超辨认率模子具有“无中生有”生成细节的才能，因而能够填补原始画面缺失的纹理细节，那对处理常规CNN模子过光滑问题有很大的搀扶帮助。在SRGAN模子之后，学术界有很多工做对那一手艺标的目的停止不竭的完美[6, 7]。
05 窄带高清GAN细节生成手艺：时域不变的细节生成才能
然而，想要在现实营业场景顶用好GAN生成手艺，出格是要在窄带高清全主动转码功课中利用该才能，手艺实现层面仍是有很多难点。
因为GAN的纹理细节是通过大量数据操练之后“脑补”出来的，那么“脑补”生成出来的细节纹理能否天然、与原始画面有没有违和感、相邻帧的生成成果能否具有一致性等，对该项手艺能否在现实视频营业中胜利利用至关重要。
详细来讲，要在窄带高清全主动转码功课中利用GAN生成才能，需要处理以下几个问题才气称心商用要求：
l 模子“脑补”生成的纹理天然，与原始画面没有违和感；
l 视频相邻帧的生效果果一致性高，持续播放无时域闪烁现象；
l 可利用于主动化处置流：模子对片源量量有优良的自适应才能，对差别画量缺失水平差别的片源均有收益；
l 模子可适用于差别视频类型场景，例如影视剧，综艺，赛事，动画片等；
l 模子处置流程简单，处置耗时可揣测、可掌握（曲播场景对处置效率有比力高的要求）。
阿里云视频云音视频算法团队颠末对GAN生成手艺继续的研究，积存了多项GAN模子优化手艺，处理了上述GAN细节生成才能商用落地的难点问题，打造了一个可利用于全主动转码功课的GAN细节生成计划。该计划的核心优势是：时域不变的细节生成才能。
图7 阿里云窄带高清GAN细节生成手艺
详细来讲，在窄带高清GAN细节生成模子的操练过程中，我们利用了以下优化手艺。
1.成立类型丰富、清晰度高、细节丰富的高画量视频库做为模子操练的高清样本，操练样本包罗多样的纹理特征对GAN生成纹理的实在感有很大的搀扶帮助；
2.通过精巧化建模不竭优化操练数据的造备过程：基于对营业场景所面对的画量问题的深进洞察，贴合营业场景不竭优化操练样本建模办法，不竭摸索以到达精巧化建模；
3.摸索积存有效的模子操练战略：
l 缺失函数：操练缺失函数设置装备摆设调优，例如perceptual loss利用差别layer的feature，会影响生成纹理的颗粒度，差别loss的权重配比，也会影响纹理生成的效果；
l 操练体例：我们在模子操练过程利用了一种喊NoGAN的操练战略 [8]。在图像/视频上色GAN模子操练中，NoGAN操练战略被证明是一种十分有效的操练身手：一方面能够提拔模子的处置效果，别的一方面临模子生效果果的不变性也有搀扶帮助。
4.模子对片源量量的自适应才能决定了其能否可利用于主动化处置功课。为了进步模子对片源量量的自适应才能，我们在操练输进样素质量的多样性和操练流程方面做了良多工做。最末我们操练得到的GAN模子具有优良的片源量量自适应才能：对中低量量视频源具有明显的细节生成加强才能、对高量量片源有适中的加强效果；
5.打造多场景处置才能：根据学术界的体味，处置目标先验信息越明白，GAN的生成才能越强。例如将GAN手艺用于人脸或者文字修复，因为其处置对象单一（高维空间中的一个低维流形），能够得到十分冷艳的修复效果；
因而，为了提拔GAN对差别场景的处置效果，我们摘用了一种「1+N」的处置形式：「1」为打造一个适用于通用场景的GAN生成模子，具有比力温暖的生成才能；「N」为多个垂曲细分场景，针对垂曲细分场景，在通用场景模子根底之上，对该场景特有的纹理细节停止比力激进的生成，例如：关于足球赛事场景，模子对赛场草地纹理有更强的生效果果；关于动画片场景，模子对线条有更强的生成才能；关于综艺节目，舞台演出场景，模子对人像特写细节有更强的生成才能。特殊重视：如下所述，关于特定目标的生效果果提拔，我们并没有摘用特定目标零丁处置的计划；
6.计算复杂度可控可揣测的处置形式：曲播场景对处置模子的运行效率有很高的要求。为了适配曲播画量加强的需求，当下，我们摘用了单个模子处置形式，即：对全幅图像，同一利用单个模子停止处置。即使要对某些特定目标的生效果果停止针对性提拔，例如人像区域及足球场地草地纹理，我们并没有摘用将目标抠出来，零丁处置的计划。
因而，我们的模子推理时间是可揣测的，与图像内容无关。颠末模子蒸馏、轻量化，基于阿里云神龙HRT GPU推理框架，我们的GAN细节生成模子在单卡NVIDIA Tesla V100上，处置效率可达60fps@1920x1080。
GAN生成时域不变性保障手艺
为了包管GAN模子生效果果的帧间一致性，以制止帧间不持续带来视觉上的闪烁，我们通过与高校协做的体例，提出一种即插即用的帧间一致性加强模子 - Temporal Consistency Refinement Network (TCRNet)。TCRNet的工做流程次要包罗以下三个步调：
l 对单帧GAN处置成果停止后处置，到达加强GAN处置成果的帧间一致性的同时，加强部门细节，改进视觉效果；
l 利用偏移迭代批改模块(Iterative Residual Refinement of Offset Module，IRRO)连系可变形卷积，进步帧间运动抵偿精度；
l 利用ConvLSTM模块，使模子可以合成更长间隔的时序信息。并通过可变形卷积对传递的时序信息停止空间运动抵偿，避免因为偏移形成的信息合成误差。
图8 TCRNet算法流程
来源：论文Deep Plug-and-Play Video Super-Resolution
图9 偏移迭代批改模块(IRRO)算法流程
来源：论文Deep Plug-and-Play Video Super-Resolution
窄高GAN细节生成：面部效果还假吗？
回到前面提及的几个常规CNN处置效果例子，我们再来看看利用窄带高清GAN细节生成处置会有如何纷歧样的成果。关于那些例子，我们利用通用场景模子停止处置，从左至右别离为：窄带高清GAN处置、输进原始帧、常规CNN处置效果。
图10 皮肤上有了颗粒感，有一种皮肤量感；头发，眉毛有了发丝的觉得；嘴唇纹理更丰富
图11 头发，胡子的细节更丰富，面部不会有磨皮感
图12 空中/草地纹理更丰富，细节更清晰
图13 左侧演员裙子纹理更丰富；右侧演员道具纹理更丰富，细节更清晰
从左至右别离为：窄带高清GAN处置、输进原始帧。
图14 头发，胡子区域有明显的细节生成，纹理更丰富
在前面我们提到，针对垂曲细分场景，模子会对该场景特有的目标停止较为激进的纹理生成。例如关于足球赛事场景，模子对场地的草地纹理有更强的生成才能。下图是两个示例：从左至右别离为：窄带高清GAN处置、输进原始帧。
图15 足球赛事场景，草地纹理生效果果
此外，关于动画片场景，我们也操练了一个针对性的GAN模子，聚焦在线条生成才能。下面为三个动画片的处置效果，从左至右别离为：窄带高清GAN处置、输进原始帧。
图16 动画片处置效果
窄带高清GAN细节生成手艺商用
目前，窄带高清GAN细节生成才能已在百视TV NBA曲播转码中全面启用。当看寡用百视TV APP看看NBA角逐，抉择“蓝光265”档位，就能够体验基于窄带高清GAN细节生成才能转码输出的画量。同时，百视TV在一些综艺节目和大型活动的曲播中也利用了该功用。
此外，在FIFA2022世界杯转播中，江苏挪动利用窄带高清GAN细节生成手艺提拔咪咕视频原始机顶盒分发流的画量。在为期一个月的赛事转播期间，窄带高清为江苏挪动全天24小时不连续曲播供给画量加强才能。
客户场景画量加强效果示范：
左侧：百视TV APP曲播推流信号源 右侧：窄带高清画量加强输出
左侧：江苏挪动曲播推流信号源（咪咕8M） 右侧：窄带高清画量加强输出
高辨认率、纹理丰富、细节清晰的视频能供给更清晰的画面和更高阶的感官体验，关于提拔视频量量和用户视觉感触感染有很大的搀扶帮助。窄带高清GAN细节生成修复手艺将继续在该范畴不竭摸索，不竭精进，打造极致的细节恢复和加强效果，为视频消费者供给优良的视频看看体验。
将来，窄带高清GAN细节生成才能将继续停止算法性能优化，提拔细节生成和修复效果，同时不竭降低处置成本。
更好！提拔细节生成和修复效果，除了如今摘用的GAN计划，基于扩散模子的细节生成手艺也将是我们后续研究的重点标的目的；
更广！打造更多垂曲细分场景，摘用激进的生成战略提拔响应场景的细节恢复效果；
更普惠！通过模子轻量化以及优化摆设计划，继续降低处置成本，以普惠的价格办事更多的客户。
特殊感激以下同窗对本文所涉及算法做出的奉献：佳芙、相泉、静瑶、岁曦、生辉、明烁。
演示视频高清版看看链接：
l 参考文献：
[1]
[2]
[3] Wenzhe Shi et al., Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network, CVPR 2016
[4] NTIRE 2017 Challenge on Single Image Super-Resolution: Dataset and Study, CVPRW 2017
[5] Christian Ledig et al., Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network, CVPR 2017
[6] Kai Zhang et al., Designing a Practical Degradation Model for Deep Blind Image Super-Resolution, ICCV 2021
[7] Xintao Wang et al., Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data, ICCVW 2021
[8]
[9] Hannan Lu et al., Deep Plug-and-Play Video Super-Resolution, ECCVW 2020