四少女火爆外网！ControlNet组合拳效果惊人，颠覆AI绘画游戏规则
金磊 发自 凹非寺
量子位 | 公家号 QbitAI
四位美少女，带着AI画画在ChatGPT的热浪中杀出了一片六合。
新“魔法”一出，霎时吸引全场目光：
本来是一张四个闺蜜在沙岸边上的通俗合影照：
在新魔法的加持下，“啪的一下”画风两极反转，霎时进进唯美动漫风：
展开全文
还有效果判然不同的，例如酱紫：
不只是动漫画风效果上的冷艳，就连人物的pose也是连结得“原汁原味”，美女们那下子算是分分钟实现了动漫自在。
如斯效果一出，也是引来了很多网友们的围看，曲唤“在线请教程”：
也有很多人唤吁能够将那套弄法贸易化了：
两大AI高手联动
使出那套AI组合拳的，是一位喊“viggo”的华人小哥博主。
他所持的两大法宝别离是：左手 StableDiffusion，右手 ControlNet。
StableDiffusion，相信良多友友们都已经很熟悉了，是根据输进提醒的文本，就能够快速出图的AI做画神器。
ControlNet，则是新晋当红AI插件 （GitHub上线2天狂揽4.6K星），相当于给AI做画那事加了buff，能够精准掌握手部细节和整体构造等。
小哥的做法说起也是比力简单，就是先将原图导进进往，用StableDiffusion图片转文字。
再用Text2Prompt插件拓展找到对应的关键词；最初用ControlNet插件绑定骨骼起头换关键词试效果。
当然，原图中四位美女的姿势，也能够根据小哥绘造骨骼构造的差别发作响应的改动。例如如许的：
比拟原图中人物的位置，上面那张中的人物更分离了一些，也站到了一排；以及上半身手臂的姿势也发作了改变。
也是得益于StableDiffusion的才能，AI生成画做在画风上也能产出判然不同的效果：
效果之冷艳，已经有网友按耐不住，照着小哥的说法“复现”了一遍，并表达：
第一次接触，很好玩，测验考试复现下，觉得优良。
第一次接触，很好玩，测验考试复现下，觉得优良。
不外有一说一，那位新晋AI做画顶流插件ControlNet的“神通”可不只于此。
简单几笔也可画出实人效果
例如微博博主“海辛Hyacinth”便分享了他用ControlNet插件后“草图变美女”的弄法。
他先是绘造了一张线稿：
然后是开启了ControlNet的scribble模细化效果，便得到了如许的成果：
效果之传神，也是令人叹服了。
“海辛Hyacinth”还测试了在统一seed下差别参数的效果：
有小伙伴就要问了，那假设封闭了ControlNet，效果会若何？别急，博主也做了测试，效果是如许的：
“海辛Hyacinth”的那波操做也是得到了ControlNet做者的承认：
那也把博主本人冲动坏了，曲唤“尖喊”：
当然，ControlNet还能够实现其它诸多的功用，例如在拆修设想上，能够输进一张拍好的卧室图，分分钟输出草图和换了风气的效果图：
以及在ControlNet的在线网站中，也供给了许多差别功用弄法体验，感兴致的小伙伴能够往测验考试哦：
给AI画画模子加buff
ControlNet的原理，素质上是给预操练扩散模子增加一个额外的输进，掌握它生成的细节。
那里能够是各类类型的输进，做者给出来的有8种，包罗草图、边沿图像、语义朋分图像、人体关键点特征、霍夫变更检测曲线、深度图、人体骨骼等。
那么，让大模子学会“按输进前提生成图片”的原理是什么呢？
ControlNet整体构想和架构分工如下：
详细来说，ControlNet先复造一遍扩散模子的权重，得到一个“可操练副本” （trainable copy）。
比拟之下，原扩散模子颠末几十亿张图片的预操练，因而参数是被“锁定”的。而那个“可操练副本”只需要在特定使命的小数据集上操练，就能学会前提掌握。
据做者表达，即便数据量很少 （不超越5万张图片），模子颠末操练后前提掌握生成的效果也很好。
“锁定模子”和“可操练副本”通过一个1×1的卷积层毗连，名喊“0卷积层”。
0卷积层的权重和偏置初始化为0，如许在操练时速度会十分快，接近微调扩散模子的速度，以至在小我设备上操练也能够。
例如一块英伟达RTX 3090TI，用20万张图像数据操练的话只需要不到一个礼拜：
做者基于当前大火的Stable Diffusion停止了详细实现，次要架构如下：
针对差别的输进，做者也给出了对应差别的模子，生效果果也都不错。
详细效果，就如我们适才所展现的那样了。
One More Thing
最初来一个温馨提醒……男同胞们不要觉得2月14日那个恋人节过完就平安了 。
接下来还可能有白色恋人节 （3月14日）、黑色恋人节 （4月14日）、玫瑰恋人节 （5月14日）、亲亲恋人节 （6月14日）……
赶紧把那套“AI组合拳”学起来，送本身的妻子/女伴侣一张唯美的礼品吧！
参考链接：
— 完—
《中国AIGC财产全景陈述暨AIGC 50》调研启动
谁会是中国的“ChatGPT”？最有合作力和潜力的AIGC力量位于何方？
量子位《中国AIGC财产全景报暨AIGC 50》正式启动对外征集，等待有更多优良的机构、产物、案例与手艺可以被群众看到。
点那里 👇存眷我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿停顿日日相见 ~