沙雕AI动画“石头剪刀布”火遍全网！但动画人实的需要焦虑吗？
做者 / Pel
编纂 / 彼方
“一种十分食后期的转描动画。”
那两天，一个喊做《石头剪刀布》的动画短片突然在动画圈子里火了起来。
影片讲述了一对双胞胎王子通过“石头剪刀布”的形式争夺王位继续权的故事。此中令人捧腹的无厘头剧情以及模仿日式动画的沙雕表演，让良多人印象深入。
但它的火爆，最次要还不是因为讲了什么故事，而是因为——
那是一部利用AI东西造造的动画。
在AI大举“攻占”围棋、绘画、文书等范畴之后。再一次，连「动画」如许一个流程相当复杂的行当，也要被“代替”了吗？
展开全文
我晓得你可能很焦虑，但能够先别焦虑。本篇推送，学术趴就为列位分享那部AI动画的「造造难点」「造造流程」以及我们的「看后感受」。无妨先一路来看一看那部动画是怎么做的，造造方是活泼于特效范畴的YouTube博主Corridor，发布那部动画的同时，他们也公开了本身的造造幕后。
领会之后，或许你不只能加深对AI动画的理解，还会发现：至少那部片子的造造背后并没有什么惊六合抽泣鬼神的AI进化，次要仍是现有手艺的整合，有很多“取巧”的成分，无妨说——是一种十分食后期的转描动画——AI仍是我们挥洒创意的东西啦。
*动画短片原网址：
*幕后揭秘原网址：
01
手艺难点
那部短片造造的整体构想是——把实拍影像酿成动画。只不外手段不是让动画师「转描」也不是用高贵仪器「动捕」，而是用机器进修模子Stable Diffusion把图像逐帧转化为动画风气。
没错，图像参考来自实拍，不是用关键词间接生成的，所以不会呈现“画不来手”的情状。
听上往很简单，我们都已见过AI绘画的能力，但此前为什么很少有成熟的动画做品呈现呢？
手艺难点之一在于消弭“噪点”。
AI（至少Stable Diffusion）转换图像画风的工做原理，就是通过公式和进修，获取图像数据，并添加噪点、删往噪点，再复原图片的过程。
我们都晓得实拍和动画的素质都是持续的图像，问题在于AI给每一帧转换风气之后，帧与帧差别相当之大，跟尾起来的成果相当【奇异、不畅】
假设在一段时间内冻结噪点，就能够得到较为持续的画面，但成果会很有涂抹感，细节也时隐时现；
他们的处理计划是逆向操做，间接把本来的画面帧生成噪点图，再把噪点图笼盖在原视频上，噪点就不会过于随机地改动，也不会不断停在原地。
① 通俗的效果
② 锁定噪点的效果
③ 反转噪点的效果
手艺难点之二在于连结画风
动起来之后，仍然会碰着“闪烁”的问题，每一帧的画面风气其实不同一。
他们的处理计划，是用Stable Diffusion操练风气模子，摘用了Nitrosocke的Diffusion模子，将图像调整成特定风气。
用那种模子生成的“迪士尼风气”和“双城之战风气”
为进一步处理各类五官、褶皱的细节混在一路的缺陷，他们会专门操练单个演员的模子（同一绿幕布景+服化道），提拔帧与帧的持续性。
假设还不敷连接清晰，就利用往闪烁的特效插件。
接下来就能够“拍”动画了。
02
流程介绍
step1 “拍”动画！
起首，最灵魂的编剧、分镜、演出编排，仍然是由人类创做的。
然后录造台词、预备服拆（corridor间接抉择网购廉价礼服，出格是他们选了有良多纽扣的衣服，此中复杂的纹理在手绘动画中其实不常见）。
预备好之后，在绿幕面前摆外型，截取单帧。（不配口型，只需不断阿八阿八）
全程只要两小我负责摄影和打光，事实他们想要靠近的手绘动画量感，其光影原来就不会太复杂。
step2 操练每个演员的模子
根据上述原理，让AI根据实拍逐帧“转描”实拍的画面。用Stable Diffusion操练可以将【演员】与【模仿风气】对位转换的模子
他们对标的风气是日本动画名做《吸血鬼猎人D》（我们曾颁发文章深度解析过那部做品，点击阅读：赛璐珞动画的巅峰之做——绮丽两字远不敷以描述它），截取了上百个差别角色/物件、差别景此外截图用于操练。
此中碰着一个问题：演员有胡子，而《吸血鬼猎人D》里的角色大多没有，间接生成会很紊乱。处理计划即是再做几个演员形象的动画滤镜，跟《吸血鬼猎人D》截图一同放进材料库操练。
step3 现实生成图像
在那一环节，创做者化身“召唤师”，用添加关键词、肃清关键词、往返调整细节数值的办法，将实拍画面批量生成为24帧每秒的“动画”。那可能是全程最无聊最机械的一个环节。
操做界面
调教好风气之后的效果
此中会有1-2帧略显跳跃，corridor的处理计划也相当简单粗暴，将镜头放进视效合成软件Fusion，加进防闪烁插件，设置为fluoro light形式，一个节点不敷，就再贴一个。
肉眼觉得足够顺畅之后，将角色从绿幕中抠出来，帧率减半变成12，使其更像动画、更天然。
step4 处置布景
利用虚幻引擎里的场景（封锁教堂），根据想要的效果微调衬着和光照。找到合适当做布景的场景，截取4张图片。把截图丢给Stable Diffusion，输进关键词（见下图），进一步转换画风。
step5 合成
将前景的角色和布景合成在一路，添加特写效果。把四张布景贴在一路，高速横向运动，增加模糊效果；需要特写时候拉近到下图中有窗户的位置；加进light rays插件，模仿光照效果。
找几个三维物件（蜡烛台），转换成动画风气，放在摄影机前景，增加模糊效果，使镜头更有摄影机扭转的实感。最初在关键位置加一两条手绘效果线。
⬇️⬇️最末的效果。
step6 剪辑
剪辑，导出。
快乐的造造团队，只需十余人就在几个月内摸索出办法，造造了7分多的动画
03
看后感受
从手艺层面上来讲，那个动画的消费流程并没有对手艺底层做出较大改革，更多能够视为一次现有手艺的整合样例。比拟于一味衬着焦虑情感，我们在连结隆重看察立场的根底上，也看到了目前AI在动画消费傍边的局限。
一方面，固然没有在视频傍边明言，但造造团队之所以抉择“石头剪刀布”如许的题材，应该仍是因为那个题材涉及的镜头与场景其实不复杂——我们在片中大多看到的是单一角色呈现的场景，角色之间也没有停止间接的交互；分镜方面，镜头的调度和设想也相对简单。
再进一步，片中大量利用了针对《吸血鬼猎人D》那部做品的摘样。目前关于AI操练的版权争端尚未有定论，如那一流程的利用场景扩展，也势必引起相关的争端。
不外上述的那些局限能否会在短期内被打破，我们尚未可知，或许很快我们就会看到那种“AI转描”动画迎来宽广的商用前景。笔者不由憧憬，例如筹备拍摄某部实人剧集的同时，片方也礼聘艺术家（群体）造造大量绘画素材，用于投喂操练模子——然后通过算法将实人影视改为动画，同步推出形似神不似或神似形不似的动画版？
以及，过往就有部门动画人倡导“转描动画也有美学”，好比《怪猫菲力兹》《指环王》动画版导演拉尔夫·巴克希和《爱在破晓拂晓前》《阿波罗10½号：太空时代的童年》导演理查德·林克莱特，但那种抉择始末未能成为动画行业的支流，或许有产能效率的因素，或许有审美惯性的因素。假若攫取实拍素材造形成的动画大行其道，那种比传统动画更奇异/违和的视觉风气，或许会开辟动画艺术新的道路？
你觉得AI将在何种水平上影响动画的开展？
— 点击图片阅读更多超卓内容 —
油管超人气动画师，来学术趴开课啦！
ChatGPT会代替人类吗？3部动画答复你
研究日本动画绕不开的学术巨著，末于引进！