小伙伴们大家好,想必很多小伙伴都刷到过各种各样的AI动画片段吧,包括自主设置的AI动画以及将已有的视频转化为AI形式的,相信细心的小伙伴们会发现,其实这些操作,其基础原理,不都是来自于Stablediffusion的“图生图”么?本期内容,我将一步一步为大家说明,如何通Stablediffusion来制作一份属于自己的-AI动画
在这期内容开始之前,我希望先给大家看一个视频,当然,这期内容我会教大家如何一步一步,将这个视频制作成AI动画的:
<iframe id="jvsQxbQf-1705483396468" frameborder="0" src="//i2.wp.com/live.csdn.net/v/embed/360256" allowfullscreen="true" data-mediaembed="csdn"></iframe>
AI动画生成素材01
一:AI动画的形成原理
原理阐述:
众所周知,动画,也就是视频,其实也是一张张连续的图片组合,连贯的图片组合不断播放,也就成为了动画,这部分基理我们将之称之为:帧、比如60帧的视频就是指这个视频每秒的图片迭代张数是60张,同理,30帧的意思就是每秒图片迭代张数是30张。
那么通过图生图产生AI动画的原理是:将一个视频的每一帧都拆解成图片,并将每一张图片重新绘画成我们想要的风格或者样式,最终拼接到一起,不就形成了一个新的视频么?
当然,目前也有很多AI动画的插件出现,有的很轻便简洁,也有不错的产出效果,如MOV2MOV、Animatediff等,那么这期介绍的插件,和以上的插件有什么不同呢?首先让我们来看看以上插件的问题吧
问题分析:
(1)时间长、消耗大:我们来算一算,假如一个5秒的60帧视频,我们拆分开来就是300张照片,也就是说我们如果需要将之生成为一个新的视频,需要重新绘制300张图片出来,再将之缝合到一起,这样带来的问题就是--对电脑的显卡要求非常之高,亦或者是生成一个短短5秒的视频,需要耗费你大量的时间。
(2)闪烁和不稳定:其次,我们知道,AI图生图功能是随机的,它并不一定会让你每一张图片都和之前的一样甚至连贯起来,那么最后生成的图片拼接起来,可能不是你想象的那样,反而是各种五花八门的东西串在一起,类似于另一种--瞬息全宇宙。
(3)自由度:比方说我们想要更精确的控制动画里面的模型风格、姿势、色彩、背景等,正常我们都是辅以Lora、controlnet来进行创作,但是有些插件尚不支持两款插件的使用,以至于我们的创作性并没有那么高。
那么如何解决以上三个问题呢?在这里我要为大家带来的AI动画生成插件就是:Ebsynth Utillity
二:Ebsynth Utillity简介
插件概述:
(1)这款插件首先会将我们的视频,按帧拆分为各种图片,然后,会从中隔段挑选出关键帧(若有图片显著变化,会挑取变化前后画面作为关键帧),随后,在图生图重绘中,只重绘挑出来的关键帧,比如5秒60帧的视频,挑出来50个关键帧,那么其将原本需要重绘的300张图片,降低到这50个关键帧来进行操作,极大的提高了AI产生动画的效率
(2)在相关的应用里,它会自动再将这50帧关键帧之间,自动产生新的帧以帮助我们生成新的视频,这一步你可以放心,在新产生的帧里,它会紧密联系前后帧来生成,所以也极大的降低了单张图片生成时的那种随机性
(3)对于要求高的朋友,它内置蒙版功能,比如你只想让一部分东西变化,那么你可以使用蒙版功能,自动扣出你想要的东西,然后只让这一部分来形成AI动画
安装说明:
(1)在电脑上安装FFmpeg
这是一款轻量级的视频编解码工具
下载方式:通过官网或者我为大家准备的安装包安装即可
【1】FFmpeg官方网站:FFmpeghttps://ffmpeg.org/
【2】在云端汇官网搜素Ebsynth,本期内容所有需下载的东西我已经做成了一个安装包,解压到电脑即可:云端汇ZAL本网站“云端汇”旨在服务各类亟需提升自我,继续学习,深造学习,准备或者正在创业的人群,以优质的文章、课程,最新最全的内容,为每一位会员提供最优质的学习服务,致力于完善各类目学习资源的平台,以满足大家需求为主,本站将保持每日更新的进度,以保障最佳的服务。http://www.yunduanzz.com/
解压到电脑后,我们需要打开软件包的bin文件夹,复制路径,打开系统属性的环境变量,在path项中添加该路径即可。
记住添加后要把确定都点上哦~
随后重启电脑,按住win+R,输入cmd,在命令界面输入“ffmpeg -version”如果弹出来版本信息,就说明安装成功了。一定要重启电脑哦!
(2)在电脑上安装Ebsynth软件
下载方式:
Ebsynth官网下载:https://ebsynth.com/https://ebsynth.com/云端官网搜索Ebsynth下载:云端汇ZAL本网站“云端汇”旨在服务各类亟需提升自我,继续学习,深造学习,准备或者正在创业的人群,以优质的文章、课程,最新最全的内容,为每一位会员提供最优质的学习服务,致力于完善各类目学习资源的平台,以满足大家需求为主,本站将保持每日更新的进度,以保障最佳的服务。http://www.yunduanzz.com/这款软件将帮助你在生成关键帧后,补充关键帧之间的帧画面,下载解压即可,无需额外操作
(3)在你的Stablediffusion上安装Ebsynth Utillity插件
如果是秋叶大神的整合包,在启动器里面的拓展直接搜索下载即可!
当然,如果实在不想下载,去云端官网我整合的安装包内,直接解压到你的SD插件文件内也行。
(4)在你的电脑上安装transparent-background
这一步相当、相当、相当重要!请各位小伙伴务必严格按照操作步骤进行,因为很多小伙伴最后什么都安装好了,结果蒙版产生不了,视频无法生成,都是这一步的原因!
【1】添加秋叶安装包的python路径到你电脑系统的环境变量中。具体操作为(win10系统为例):
1-1 鼠标右击电脑桌面“此电脑”图标,选择“属性”菜单,弹出“设置”对话框。
1-2 点击右边的“高级系统设置”,弹出“系统属性”对话框。
1-3 点击下方的“环境变量”按钮,弹出“环境变量”对话框。
1-4 找到下方“系统变量”中的变量“path”条目,然后双击该条目,弹出“编辑环境变量”对话框。
1-5 添加秋叶安装包python两个环境变量路径。比如我的秋叶安装包的根目录是:D:sd-webui-aki-v4.1,那么我需要添加的两个路径为:
D:sd-webui-aki-v4.1python
D:sd-webui-aki-v4.1pythonScripts
【2】添加一个名为ckpt_base.pth的模型到以下路径:
C:UsersAdministrator.transparent-background
(注意:Users文件夹我的电脑显示文件夹名为“用户”,“.transparent-background”文件是我手动创建的,注意前面有个“.”。)
“ckpt_base.pth”文件的下载地址为:https://pan.quark.cn/s/c775822943ee
【3】打开python文件夹,然后选中文件夹地址栏,全选为蓝色,删除后,输入CMD,然后出现以下:
E:Stable Diffusion V4sd-webui-aki-v4.1python>
然后再输入python.exe -m pip install transparent-background
E:Stable Diffusion V4sd-webui-aki-v4.1python>-python.exe -m pip install transparent-background
然后你就能看到Successfully installed timm-0.9.2了
这就意味着transparent-background已经成功安装了。
三、AI动画生成
操作了这么多,终于可以开始生成动画了吧!
是的,现在我们进入Stable Diffusion的界面,点击Ebsynth Utillity插件,会发现其中有8个步骤,其实这八个步骤就是在帮助你一步一步将你的视频转化为AI动画(拆分,提取关键帧,重绘关键帧,图片放大修复,脚本导入,帧图片补充,生成视频,背景调整)
先配置我们的文件吧!
文件配置好后,我们点进插件设置,我将一一为大家讲解8个步骤的玩法:
(1)步骤1:拆分
我们进入步骤一,其他的不用管,但是如果你挑选的是包含人物类型的视频,想抓取人物出来,并对人物进行一个单独的绘制以保证他不与图像里其他的要素融合,以至于AI绘画过程中出现偏移,或者固定你的背景,让它不至于在后续生成中出现闪烁,建议调整蒙版阈值到0.05-0.1之间,然后点击生成,你就会发现你的工程文件夹里,会多出两个文件夹:
一个是拆分的帧图片(fremal文件夹)
一个是拆分各帧的蒙版图片(mask文件夹)
(2)步骤2:提取关键帧
步骤一结束,我们进入第二步,第二步操作界面,我们什么都不用点,相信我,在绝大多数情况下,它已经为你配置出了最优解,点击生成
我们会发现工程文件夹内又多出了一个文件夹,里面就是提取出来的关键帧
当然,如果你对它提取出来的关键帧不满意,也可以选择自己再添加帧图片进去,这对后面的操作是没有影响的。
(3)步骤:3:关键帧重绘
点击第三步,发现它会提示一段提示词出来,这个提示词的意思就让让你去图生图,构建一个自己想要的重绘方式。
我们进入图生图,随便抽一张关键帧送入,然后开始布置自己的大模型、Lora和controlnet、关键词
记住,这里提示你要将图片的宽高设置为它推荐的数值,按照它的数值设置即可
直到你生成一张满意的图片后,固定随机种子,在下方的脚本中,找到Ebsynth Utillity,点击,他就会将脚本与图生图的设置连通,开始为你将所有关键帧全部按照你的设定重绘。
(4)步骤3.5:颜色校正
如果要求不是特别严格,AI绘画会帮助我们搭配好我们想要的色彩结构,所以这一步一般不用勾选跳过
(5)步骤4:图片放大
小伙伴们应该记得,我们在第三步将视频帧图片的大小按照它的提示进行了修改,那么这一步,我们将在后期处理这一栏目,将所有重绘后的关键帧图片进行放大和高清修复
点击,它会提示你进入“后期处理”
在后期处理填入你的输入文件夹,输出文件夹,配置好你的图片大小及放大模板后,点击生成,他就会自动将我们每一帧关键帧图片放大到原视频大小了。
(6)步骤5:Ebsynth脚本导入
点击第五步,会发现界面什么都没有变化,但是我们进入我们的工程文件夹,会发现其中多了两个尾缀是ebs的文件:
这两个文件将在后面帮助我们生成关键帧与关键帧之间的帧图片
(7)步骤6:帧图片补充
进入工程文件夹,点击0000的ebs,选择打开方式,选择到我们之前安装的Ebsynth软件
进入应用程序后,直接点击Run ALL,它会在你的工程文件夹内生成很多歌文件夹,点进文件夹,会发现其内都是生成的帧图片
后缀ebs的脚本有好几个,从0000开始依次往下进行,待全部的帧图片完成,我们进行下一步
(8)步骤7:帧图片融合-AI动画生成
在我们帧图片全部生成之后,我们进入步骤7
选择好我们要的视频格式,点击生成,即可得到我们配置的AI动画了!
(9)步骤8:背景更改
这一步主要是我们自己有选好背景板,想添加进我们的AI动画里,在选项框添加背景目录路径,其他的默认,然后选择生成,它就会再次生成更换背景后的AI动画了
好啦,看完这么多内容,想必有些小伙伴已经懵了不少,但是我想说的是,将前面基础文件配置后,大家试着生成一个视频,会发现,其实整个操作都是很简单的
复杂的原因其实是--我们尚未具备生成AI动画的基础,那么既然你想要去自己生成一个AI动画,打基础当然是最不容易的啦,希望大家能够耐心看完,并且一步一步配置,最终收获到自己产出的AI动画!
四、成果展示
以下是我根据以上几步下来后,生成的AI动画:
<iframe id="HeYWxFjO-1705488203837" frameborder="0" src="//i2.wp.com/live.csdn.net/v/embed/360257" allowfullscreen="true" data-mediaembed="csdn"></iframe>
AI动画生成素材02
后续我也会更新其他AI动画产生的方法,就麻烦大家点点关注,方便查收后续更新的内容哦~
如果有其他问题出现,大家可以在评论区提出,我会一一回复大家的,本期内容就到此结束啦、
更多精彩内容,请访问云端官方网站了解:
云端汇ZAL本网站“云端汇”旨在服务各类亟需提升自我,继续学习,深造学习,准备或者正在创业的人群,以优质的文章、课程,最新最全的内容,为每一位会员提供最优质的学习服务,致力于完善各类目学习资源的平台,以满足大家需求为主,本站将保持每日更新的进度,以保障最佳的服务。http://www.yunduanzz.com/