【UI设想】大厂AI绘画现实运用案例
AIGC全称AI Generated Content，是操纵人工智能手艺来生成内容，AIGC绘画属于AIGC的分收。
近半年，以Midjourney和Stable Diffusion为代表的AIGC绘画迎来发作式开展，掀起了一场消费力革命。
Midjourney和Stable Diffusion强大的创造力和无与伦比的高效性，使设想师通过它们提拔消费力成为了一定。然而Midjourney和Stable Diffusion做为开放性东西，自己具有随机性与不成控性，良多设想师很难在工做中运用，仅沦为娱乐东西。
本篇文章基于网易ASAK设想团队现实运用案例，带你废除AIGC绘画东西的不成控性，让它们成为你设想路上披荆棘的神器。
通过Midjourney和Stable Diffusion已落地项目类型分类，全文纲领如下：
01 设想提效
02 活动弹窗设想
03 勋章图标设想
04 IP设想
05 KV/海报设想
06 场景设想
07 动画分镜设想
08 物料设想
09 设想师跋文
展开全文
设想提效
当未利用Midjourney和Stable Diffusion时，凡是设想师流程如下：
在设想参考阶段，设想师需要找大量的参考图，那一过程需要0.5-1天。设想师基于设想参考，完成设想初稿，那一过程至少需要1天。
而Midjourney+Stable Diffusion在整个设想流程中，能够极大地缩短概念风气、设想初稿和设想末稿的频频沟通时间。如下图所示：
利用Midjourney或Stable Diffusion间接生成设想图，设想师再做细节优化。整个设想流程提拔效率25-55%。
活动弹窗设想
先运用ChatGPT获取弹窗的设想构想，从多角度切进设想，使设想计划更完美，如下图所示：
通过ChatGPT阐发后，我们能够从中提取的关键词：黑金、高级感、精致、量感。
陆续具象延伸，再添加宝石、荣耀感、坚硬感和钻石等关键词。为了让元素愈加立体，能够带上3D和三维衬着器等相关关键词。
转化成对应的英文后，关键词如下：
Prompt: Shining gemstone, high class, noble sense, glory sense, 3D, hard, diamond, Octane Render
Negative prompt: Low saturation, deformity, sketch, blur
将初稿中的钻石图放进Stable Diffusion图生图功用。输进关键词，反复幅度调到5以下，频频多批量产出后挑选出想要的成果，如下图所示：
通过Stable Diffusion生成更有量感和高级感的设想主体元素，节约大量设想细节的时间。下图为初稿、AI辅助和末稿:
勋章图标设想
Midjourney和Stable Diffusion也能够造造勋章图标。
勋章一般需要简化版和精巧版，用于差别尺寸的利用场景。
以网易大神梦幻西游武神坛勋章为例，借助Stable Diffusion，只需要输出简化版本的设想，让Stable Diffusion往深进描绘。
然后用生成最称心的图陆续下一轮描绘，以到达最贴合本身需求的出图。
勋章自带荣誉感属性，因而能够从那个构想动身，得到宝石、金属量感、闪烁感和高级感等关键词。转化成对应的英文关键词如下：
Prompt: Metallic texture, Shining gemstone, high class, noble sense, glory sense, 3D, hard, diamond, Octane Render
Negative prompt: Low saturation, deformity, sketch, blur
输进对应的关键词后，得到设想图如下所示：
IP设想
在设想IP前期，设想师需要先确定IP的利用场景，根据利用场景来确定IP的角色动做。
在那一阶段，设想师能够通过Stable Diffusion输进相关动做的关键词，来提取灵感参考。
以网易大神IP霸哥为例，讲解若何用Stable Diffusion造造IP素材。
下图1是设想师手绘草稿，下图2是最末Stable Diffusion完成的IP。
第1步：绘造角色动做线稿
确定好角色动做后，起头给角色绘造草图线稿。我们给霸哥设定的动做是单手持玩具枪，眼神坚决地看向前方。如下图所示：
重视：草图线稿更好较为清洁连接，以免AI识别不完全，招致输出的图片出错（示例图的草稿仍是有些随意，定见本身做的时候再精巧一点）。
第2步：抉择并下载适宜模子以及插件
那一阶段，我们需要连系IP形象的特征，有针对性地抉择模子和插件。
考虑到霸哥形象整体呈圆形，风气偏心爱，挠住角色的那些特征，我们能够往到C站（civita）上抉择相对应的模子。
我们抉择的大模子是：MeinaMix；Lora插件是：blindbox。（模子抉择不是独一的，有觉得合适的也能够测验考试利用。）
第3步：设置controlnet面板
在文生图界面，往下滑找到ControlNet那一栏（要先安拆摆设好controlnet插件），将绘造好的线稿草稿上传至响应位置。并将启用勾选上，假设线稿图片布景为白色，能够把反色形式也一路勾选。
接着鄙人方的预处置器和模子上，抉择好canny（边沿检测）以及control_any3_canny [95070f75]模子。
有时候模子展现不出来能够点击旁边的刷新按钮，刷新一下就有了，那一步十分重要，切记不要忘记设置！不然输出的模子会与线稿没什么联系关系。
设置好后，其余的参数能够不动，也能够根据本身的需求做调整。
第4步：输进关键词并设置参数
关键词如下图所示：
Prompt：(masterpiece),(best quality),(ultra-detailed), black body, thick red lips, The body is a black ball with thin arms, wearing white gloves on its hands It has round black eyes, and short legs with red shoes, Wearing a display screen on the head, Holding a toy gun in its hand lora:blindbox_V1Mix:1
Negative prompt：(worst quality, low quality, medium quality:1.4), low-res, (bad_prompt_version2:0.7), easy negative, bad-hands-5, red hands, white shoes, EasyNegative, text, blob
身体的颜色，四肢举动的颜色和嘴巴特征次要描述了霸哥的形象特征。
摘样办法（Sampler）上，因为我们想做的是三维模子，所以抉择偏写实风气的DPM++2M Karras（该摘样办法不惟一）。其余参数没有特定要求，可根据输出的图片效果乖巧调整。
第5步：产出图片/后期调整
前期出图可能效果会有些误差，那时候能够乖巧调整一些参数，并多生成几次。挑选出最接近霸哥形态的图片停止后期处置即可。下图为此中一个生成示企图：
KV/海报设想
1.KV设想
在设想前期，设想师期看得到的画面是：先觉在中心操控着魔法球，两边的魔法狼群围绕着她，然后中心散发光线，头发飘动为画面的核心。
此中风气关键词：暗黑风，神异，狼人，夜晚，哥特。
连系chatpgt转化成故事描述，获得精准关键词。
根据Midjonrney的语言描述：客看描述+风气。
此中客看描述如下：
A beautiful seer is holding a glowing magic ball in the center of the picture, with orange-red hair fluttering around her, surrounded by a group of transparent blue magic wolf heads
插画风气如下：
Illustration, Drawing, Hand-Drawn, Isometric, Saturated, Split-Complementary-Colors, 2-Dimensional, Rays of Shimmering Light
利用Midjonrney v5输进关键词后，不竭调试后得到如下图所示：
上述图片风气非平面插画类，那么陆续优化关键词，此次加进关键词：Graphic illustration（平面插画）从头放在Midjonrney里面，而且把引擎模子改成niji得到如下图：
将上述AI生成的图，给营业方评估风气，如许需求方能够更清晰曲看地觉得后续设想风气，有利于提出更有定见性的定见。最初设想师从气氛、构图和整体细节停止调整。完成线稿后，基于线稿快速实现设想末稿。
下图1为线稿，下图2为最末稿：
假设没有Midjourney的话，那么设想师至少需要出一版设想初稿给营业方，营业方根据设想初稿提修改定见。
有了Midjourney，能够快速实现脑海画面，拥有更多更快试错时机。
在那个流程中Midjourney承担着设想初稿的施行角色。
2.海报设想
设想团队接到狼人杀游戏赛事的3张倒计时天数海报。
需求风气：暗黑哥特漫画风气手绘。
营业方期看设想交付时间为3-4天。然而一张纯手绘的时间需要2天（三张则是6天），时间完全不敷，所以需要借助AIGC来进步效率，做到准时交付。
接到需求后，设想起头了前期提案。先用Midjourney完成我们的设想表达，让需求方更清晰曲看地觉得到设想稿的风气感。
我们以倒计时还有1天的海报为例。
第1步：实现脑海画面
海报构想画面：狼人变身，一条光柱表达1的形式。关键词如下：
A transformed beam of light soars into the sky, amazing Abigail Larson style, Illustration, Hand-Drawn, Macro, Depth of Field, Dichromatism, 2-Dimensional --iw 0.5 --s 1000 --ar 9:16
画面重点关键词：光柱
固然上述生效果果图不太完美，但能够让需求方更清晰曲看地觉得到设想稿的标的目的。
第2步：根据已确认标的目的，布景图造造
因为古堡和大月亮构图已较为常见，所以我们间接用Midjourney停止根底的布景绘造，关键词如下：
Abigail Larson, an original painting of a scene, a broken village in the middle of the night, a white full moon in the night sky, clouds and mist around the moon, dark blue background --ar 2:4
画面重点关键词：古堡，月亮。
第3步：最末细化绘造，完成做品
从生成图中挑选数张，拔取每一张凸起的处所停止合成、重造笔触和添加细节后，得到如下图所示的布景图：
最初加上狼人和光束变身特效后，停止简单排版就完成了末稿。
倒计时还有2天和3天运用类似上文kv设想构想，最末三张交付稿如下所示：
根据传统提案过程，需要觅觅大量参考，然后合成拼集出一张接近效果的图，三张海报的提案需要可能1.5天。
如今利用Midjourney停止批量出图，写出对应的关键词，出来的效果十分接近最初闪现的觉得，0.5天就能完成三张提案效果图。而且需求方能清晰领会到最初效果，更快做出审核。
三张手绘倒计时海报，在Midjourney辅助下，从7天摆布的工做量缩减到3-4天，关于设想和量量都有较为正向的反应，值得陆续深进研究并在工做中妥帖。
场景设想
1.倩女幽魂虚拟演播厅
以倩女幽魂演播厅概念图设想为例，讲解Midjourney是若何定向掌握，生成设想师和营业方想要的设想稿。
倩女幽魂此次的太一斗魂坛，需求方想要的风气元素是唐朝建筑、墨子机关元素和整体以红色建筑为主。
设想师起头测验考试用Midjourney做前期框架搭建。
第1步：关键词生成概念图
起头以宏伟的中国式建筑和红色机关等关键词跑图。对应的关键描述如下：
Chinese palaces surround the central stage, there are mechanical gears on the building, Chinese style, red, Volume cloud, Volume light
然后调整关键词如下图所示：
Many red Chinese-style buildings surround the central stage, and there are mechanical gears on the buildings, clear structure, Volume cloud as background, Magnificent atmosphere, Unreal Engine 4
生成新的概念图如下图所示：
第2步：优化关键词
上述生成的概念图固然有红色中国风建筑和机关元素，但擂台的觉得不敷强烈，贫乏建筑缠绕的觉得。
从头修改了关键词加进擂台和建筑围绕中心舞台等元素，关键词如下：
Many red Chinese-style buildings surround the central stage, and there are mechanical gears on the buildings, Clear structure, Volume cloud as background, Magnificent atmosphere, Unreal Engine4, --ar 16:9
第3步：精选效果图合成初稿
上面几张概念图已经比力接近我们想要的效果。
最初设想师停止二次修改、合成和手绘后得到设想稿，如下图所示:
第4步：Midjourney快速修改
需求方审核后，需要暂时调整整个构图，画面改成悬空建筑擂台，空中需要漂浮的岩石，所以我们修改了关键词为悬空擂台、漂浮在空中的中国风建筑等。关键词如下：
A piece of Chinese architecture floating in the sky, the building is built on floating rocks, the center of the rock is a stage, and the buildings surround the stage --ar 16:9
此次改动假设不借助Midjourney，我们就要大面积从头造造，而利用Midjourney来造造浮空岛的场景，只需要将我们之前合成好的建筑场景后期替代进往。
颠末多张类似的推演，我们得到了一张合适通事后期手绘合成的图，做出的设想图如下所示：
设想稿颠末需求方顺利通事后。交付给AR部分停止舞台搭建工做。
第5步：AR虚拟搭建演播厅
AR部分搭建演播厅的设想图，如下所示：
下图虚拟演播厅中的讲解桌也是利用类似的AI辅助流程完成的造造：
2.AR气氛概念参考
AR手艺在电竞赛事利用中已经相当普及，AR即加强现实，为电竞供给了全新表示形式。
此次长时无间赛事，因为场地空间的限造，设想师期看通过AR场景与舞台效果连系，让看寡和用户有更好的看赛体验。
第1步：投喂风气图
用前期赛事KV草图和官方概念图投喂到Midjourney中，下图为投喂图：
第2步：生成场景图
共同关键词如下：
Mountain forest style, concept art, sunshine, been invaded, god ray, there is Tiger Mountain in the distance, and there is a waterfall on the mountain on the right, high detail, hyper quality, scene type, high resolution, with waterfall, forest style, sunshine, god ray, scene type, waterfall on the right, concept art, and stage in the mid shot, foreground close to water, wooden bridge in the foreground, dilapidated wooden bridge, tiger mountain and bandits in the foreground, --ar 16:9
我们胜利地生成了山林主题的场景概念图，如下图所示：
第3步：合成初步效果
连系赛事舞台设想造造的衬着图，如下所示：
将Midjourney生成的概念图与舞台设想造造的衬着图合成后，最末的舞台整体效果，如下：
第4步：三维建模和UE场景搭建
在上述根底上，停止三维模子造造以及UE场景搭建，构成最末的赛事场景效果图，如下图所示：
动画分镜设想
设想师手绘的动画分镜图，如下图所示：
上述分镜较为简单，测验考试运用Stable Diffusion来停止上色优化。
第1步：优化controlnet可识别范畴
根据已有手绘分镜，根据利用场景利用controlnet插件功用：seg（语意朋分）和canny（线稿）。那两个功用在脚本利用中频次较高。
第2步：体例①利用controlnet的语意朋分功用，实现画面分区
手绘分镜的P1/P5/P9/P10利用的是seg功用。通过在Photoshop中划分颜色来告诉AI那部门要的是什么物体。
以P8为例，两侧为墙壁 #787878，空中为地板#503232，中间为人物#96053e（可通过ADE20K_classes表格来获取色值信息）。
在手绘图上可能划分好颜色区域后添加到Stable Diffusion的controlnet中，因为我们在Photoshop中已经做了一些前期工做，所以就不消启用预处置形式，间接抉择seg模子然后预处置。
起头添加tag，我们拿到的脚本是角色慌张地逃跑，那么我们能够优化为“有一个在往前跑，暗中深处，神异，紫色等词来描述翻译后得到：There is a person running back, deep in the dark, mysterious, purple. Tag交给Stable Diffusion来生成。
第2步：体例②利用controlnet的线稿功用，停止区域上色
以手绘P12为例，我们利用的是canny（线稿）形式。间接把草图给到controlnet，优化词为：紫色的章鱼触手从空中出来、碎石、破裂、两颗棋子。翻译后得到英文关键词如下：
Purple octopus tentacles come out of the ground, gravel, broken, two pawns
上图中的P6是契合我们的需求，将P6利用图生图中做二次细化，如下图所示：
第3步：上色气氛分镜输出
运用Stable Diffusion来停止上色气氛，让需求方更曲看地领会整个分镜效果，同时能够为后续视觉静态稿供给气氛参考。
物料设想
游戏赛事中的奖杯是设想需求中不成或缺的一环。设想师能够操纵Midjourney和Stable Diffusion停止大量的前期素材储蓄。
以下是需求之外，完成对赛事奖杯的素材储蓄。
第1步：利用Midjourney生成灵感素材
下图是利用Midjourney生成的各类奖杯概念图。
第2步：绘造草图
根据Midjourney生成的概念图，设想师手绘生成奖品草图。
第3步：Stable Diffusion二次创做
根据草图，利用Stable Diffusion精准掌握上色，完成最末的奖杯素材，如下图所示：
那些储蓄能够为后期其他设想项目供给素材，进一步提拔设想效率。
设想师跋文
Midjourney和Stable Diffusion的兴起，招致良多设想师焦虑，担忧被代替。通过上面的案例能够看出Midjourney和Stable Diffusion只能完成项目中的一部门，无法做到独立完成项目，都需要设想师二次创做。
早期UI设想师的东西是Photoshop。后面呈现高效的Sketch。到现在设想师利用更高效的协同东西Figma。
而AIGC素质上仍是提效辅助东西，需要设想师往掌握更精湛的操做技能。
决定设想的成败历来是人，而不是东西。