目录

什么是Heygen?

Heygen注册

Video Translation(视频翻译 完美口型同步)

实现原理详解

视频翻译部分

完美口型同步部分


什么是Heygen?

Heygen是一款在线工具,可帮助您生成具有完美口型同步的 AI 代言人视频。

Heygen注册

https://www.heygen.com/

点击链接,进入官网,在主页中点击“Get started for free”。

在登录界面,以选择Google Chrome、谷歌邮箱账号登录。

生成完美口型同步的 AI 代言人视频(及其实现原理详解)-LMLPHP

生成完美口型同步的 AI 代言人视频(及其实现原理详解)-LMLPHP

Video Translation(视频翻译 完美口型同步)

进入官网主页后,在左侧栏目中可以看到 Video Translation

这个工具,不仅仅能翻译视频,甚至还能模仿说话者的语调、调整口形。之前爆火的说英文就是用这款工具制作的。

点击Video Translation,上传需要翻译的视频文件,点击选择翻译语言,如果视频有多人对话,还得选择人数,最后点击“Translate this video!”。

视频翻译一般需要静等5-10分钟,可以查看生成后的文件,点击下载保存即可。

生成完美口型同步的 AI 代言人视频(及其实现原理详解)-LMLPHP

实现原理详解

视频翻译部分

(1)语音识别

视频中的音频被捕获并输入到语音识别系统。

系统使用深度学习模型,如循环神经网络(RNN)或Transformer模型,来分析音频信号,识别其中的语音内容。

识别出的语音内容被转换为文本形式,即语音转文字。

(2)机器翻译

将语音识别得到的文本输入到机器翻译系统。

系统利用大规模的平行语料库和神经网络模型,学习源语言和目标语言之间的映射关系。

翻译模型将源语言文本转换为目标语言的文本。

(3)语音合成

翻译后的目标语言文本被输入到语音合成系统。

系统根据文本内容生成相应的语音波形。

生成的语音波形被转换为音频文件,即文字转语音。

完美口型同步部分

(1)面部追踪与识别

使用计算机视觉技术,在视频帧中检测和追踪人脸的关键点,特别是嘴巴部分的轮廓和形状。

通过分析视频帧,提取嘴巴的实时动态信息。

(2)口型模型建立

基于语音合成得到的音频文件,提取音素、音调和语音时长等语音特征。

结合面部追踪得到的嘴巴动态信息,建立口型模型。该模型描述了不同语音特征对应的嘴巴形状和运动模式。

(3)口型生成与动画合成

根据口型模型和语音特征,实时生成与语音内容相匹配的嘴巴动画。

使用面部动画技术,将生成的嘴巴动画与原始视频中的人脸进行合成。

调整动画的速度、幅度和细节,以确保口型与语音的精准同步。

(4)时空对齐与优化

对生成的口型动画进行时空对齐,确保其与原始视频中的面部动作保持一致。

对口型动画进行优化处理,如平滑过渡、消除抖动等,以提高视觉效果和用户体验。

04-28 01:55