陆续“消亡”画家？AI组合拳，倾覆媒体创做形式！
ControlNet的走红还要从那张背影照谈起。
一个女孩，在伴侣圈发布了一张和三名伴侣在沙岸合影的背影照。很通俗的日常分享，照片有美感，但不多！
然后，一位名为@viggo 的大佬看到了那张照片，操纵AI绘画停止了一些加工并发到社交软件上，继而引起了一场关于AI绘画的轩然大波。
viggo操纵AI绘画前后停止了两次照片加工。第一次，他生成了两张极具美感的漫画照片，一改原图的暗淡，整个画面面目一新。最让人骇怪的是，AI并没有扼杀原图的姿势，而是将极大水平地保留了四位姑娘的姿势，好比右边第二位女孩是背动手的，那在生成的做品中也保留了下来。
也许是看到了网友们的热情，vigg
o紧接着又停止了第二轮的创做。此次的效果更为冷艳，无论从画面的条理感、线条感仍是场景特效的利用，都让人面前一亮。
展开全文
跟着本身画做的走红，viggo很敞亮地分享了造造办法。他自曝是借助了StableDiffusion和ControlNet的力量。
寡所周知，Stable Diffusion是一款高性能模子，它生成的图像量量更高、运行速度更快、消耗的资本以及内存占用更小，是AI图像生成范畴的里程碑。
01
那ControlNet是什么呢？
一个插件，它能对图像停止切确掌握和调整。
ControlNet是一种基于掌握点的图像变形算法，次要用于数字图像处置、计算机视觉和计算机图形学等范畴。此外，它还能够根据给定的掌握点对图像停止非线性变形，从而实现对图像的切确掌握和调整。
我们先来看ControlNet的根本构造。ControlNet把持神经收集块的输进前提，从而进一步掌握整个神经收集的整体行为。那里「收集块」指的是一组神经层，它们被放在一路做为一个构建神经收集的常用单位，例如resnet块、多头重视力块、Transformer块。
概念笼统，一路看看它的出图效果吧！
1、Canny边沿检测：通过从原始图像中提取线稿，生成不异构图的图像。
2、深度检测：通过提取原始图像中的深度信息，能够生成具有同样深度构造的图。
3、带有语义朋分的ControlNet：
4、HED边沿检测图示
02
ControlNet强大在哪儿？
——高度精巧
它的优势在于可以在不失实的情状下对图像停止高度精巧的调整。比拟于其他基于网格或外形的图像变形算法，ControlNet的变形效果愈加天然和光滑，可以更好地适应图像的特征。
简单来说，那一手艺能够为AI扩散模子增加一个额外的输进，对AI的输出标的目的停止限造。好像在一看无际的戈壁上修建了道路与指示牌，为丢失标的目的的游览者供给了前行的标的目的。
在ControlNet呈现前，AI画师们想要产出具有特定特征的图像，就必需在“魔法咒语”上大下功夫——用户经常需要加上一系列的动做、位置润色词语来描述图中角色的姿势、肢体特征等，即使如许，出图也仍然需要大量的命运成分。而操纵ControlNet，AI能够通过草图、人体关键点特征、深度图、人体骨骼等特征按图索骥，产出称心特定要求的图片文件。
开篇提到四个女孩背影的生成，根据viggo的说法，他是先用 StableDiffusion图片转文字，再用Text2Prompt插件拓展找关键词，最初用ControlNet插件绑定骨骼起头换关键词测验考试效果。
良多人认为，Stable Diffusion的发布是AI绘画生成开展过程中的一个里程碑。它给群众供给了一个可用的高性能模子，不只生成的图像量量十分高，运行速度快，而且有资本和内存的要求也较低。不需要任何复杂的操做，只需要抉择关键词，它就会创造出极具视觉效果的图像。
而ControlNet的呈现处理了AI绘画的痛点。用关键词生成图片不免会有所瑕疵，出格是在细节方面，而ControlNet能改进图生图效果，深进到很细微的处所。
不行于此，它还能实现线稿转全彩图，输进一张线稿图，得到的是填充好的图。
总之，用Stable Diffusion生成高量量的大图，辅以 ControlNet锦上添花，一张叹为看行的AI绘画就搞定了。
当然，它的强大远不行于此，除了能生成静态的图像，还能生成动态的视频！
03
ControlNet视频化构想
近期，#AI一键魔改视频#成为新近热议话题之一。其实，那就是ControlNet的视频版。它能够通过线稿提取、姿势检测，或模子识别等等体例，生成同样构图的画面。
好比，我们熟悉的IKUN、《泰坦尼克号》等都可一键生成魔改视频！
ControlNet的视频化构想有良多：
办法一：将原视频一帧一帧地导出，然后利用 ControlNet 转换每一张图片的风气。公认最繁琐的体例没有之一！
办法二：跟 EbSynth 连系，通过利用 ControlNet 生成关键帧。相较前一种，便利很多。
办法三：将ControlNet手艺和Pix2PixVideo手艺连系，开发了撑持ControlNet的视频生成在线演示版，目前最简易的生成体例。
利用界面很简单，将原始视频导进，起首会将视频拆解成帧序列，并利用ControlNet中的Openpose模子检测出人体pose图，随后根据文本生成新的人像，因为有了pose图的掌握，能够使人体姿势连结稳定。
可见，跟着手艺的更新迭代， 会有越来越多类似ControlNet的手艺涌进市场，很多人认为画师职业正面对着浩荡威胁。
04
ControlNet不该让画师停行想象
而是助其更好地掌握笔刷运做
跟着AI绘画引进的ControlNet，将会带来一系列的影响。那项手艺可以搀扶帮助机器完成更多的使命，进步消费力进步绘画量量和效率、加强人机交互、以及供给新的视觉体验。同时，那也意味着传统的艺术家可能会面对合作压力。
跟着越来越多的企业起头利用AI绘画来绘造图像，ControlNet手艺也起头进进人们的视野。目前，许多企业都在测验考试利用ControlNet手艺来改进本身的图像绘造手艺，并期看通过利用那项手艺来获得更多的合作优势。适用行业包罗建筑行业、机械造造业、能源行业、医疗行业、政府机关等行业。
各人普及认为如许能够更好地掌握笔刷的“运动”，而且能够更切确地绘造出想要的图像。
总之，ControlNet关于人工智能和AI绘画的开展具有重要影响力，但绝不是让人类画师失往想象力的！将来，ControlNet的开展趋向是更具前瞻性的。
后附ControlNet安拆教程：
前提：你要将AI绘画的WebUI更新到最新版本
拉取：
下载：
目次
下载：
目次
如今你的ControlNet已经安拆完毕！
详细利用教程选举B站视频：
ChatGPT 问答
问
AI绘画目前有哪些缺陷？
答
目前人工智能
欠缺创造性：AI绘画目前只能根据已经存在的图像或数据生成新的图像，欠缺人类的创造力和想象力。固然AI能够通过深度进修等办法提取出图像的特征和风气，并生成响应的图像，但AI贫乏曲觉、感情和创造力，难以创做出具有特殊个性的艺术做品。
画面不实在：AI绘画固然能够生成传神的图像，但是在细节和纹理方面仍然存在不敷，有时候生成的画面不敷实在，随便被辨认出来。
依靠数据：AI绘画需要依靠大量的数据停止操练，贫乏数据会影响生成图像的量量。同时，生成的图像也随便遭到数据的限造，很难创造出超越数据范畴的新图像。
模仿不敷：AI绘画有时候只是简单地复造和反复已经存在的图像或风气，欠缺立异和打破，很难做到实正的模仿。
对话交互才能不敷：目前AI绘画还欠缺对话和交互的才能，无法与用户停止实正的互动和创做，难以称心用户的个性化需求。
做者：李琰敏 排版：骆伟玲
图片源于Q仔互联网冲浪所得，如有侵权，后台联络，Q仔滑跪删除~