“让霉霉中文开口跪”的AI有开源平替了 每月立省350

能让霉霉中文开口跪、郭德纲用英语说相声的那个AI——有开源平替了！这是用它让罗翔进行英文普法的效果，张三李四“要素齐全”：以及英文讲人生哲理“你的内心有没有幽暗的成分”（cr:linexiongjielin）：相比起来，虽然和原产品（也就是HeyGen）有一点差距，但是网友的评价是：也还可以。XyC品论天涯网

XyC品论天涯网

主要有了它，咱们在本地就能无限玩视频翻译，直接好处那可就是每月立省350～（手动狗头）XyC品论天涯网

毕竟，HeyGen再厉害，也只有2分钟免费时长。XyC品论天涯网

XyC品论天涯网

△ HeyGen收费情况XyC品论天涯网

具体瞧瞧。XyC品论天涯网

HeyGen开源平替来了XyC品论天涯网

这个视频翻译平替名叫MyHeyGen，来自b站UP主：@ai浮世绘。XyC品论天涯网

XyC品论天涯网

除了英文，MyHeyGen还支持转法语、日语等共计16种语言。XyC品论天涯网

视频翻译的三个流程：音频翻译、翻译校正和视频唇纹合成，它全部一个流程解决。XyC品论天涯网

如果你想亲手试试，步骤也不复杂。XyC品论天涯网

大概流程是先环境准备：XyC品论天涯网

需要分别去Huggface申请个token、去百度翻译申请个AppKey，并下载权重和checkpoints文件。XyC品论天涯网

然后就可以gitclone安装了。XyC品论天涯网

开始测试之前，记得将你要翻译的视频下载保存到本地。XyC品论天涯网

然后在执行命令中提供其保存路径+想要翻译成的语言代码（比如’en’代表英语）+翻译好的视频保存路径就可以坐等了。XyC品论天涯网

命令的完整格式如下：XyC品论天涯网

pythontranslate.py原视频文件路径目标语言代码-o保存路径XyC品论天涯网

有网友实测成功：XyC品论天涯网

XyC品论天涯网

不过，还是必须得满足16G显存才ok，以及windows用户可能需要自己再解决一下兼容问题（up主该视频底下有人提供了方法）。XyC品论天涯网

如果这些都不行，可以再等等colab实现，up主表示在测试中了。XyC品论天涯网

效果方面，可以发现MyHeyGen音色复刻得很是到位，用了最新的语音克隆开源技术XTTSv2。XyC品论天涯网

XyC品论天涯网

投喂给AI一个明星的采访视频，它就能克隆其中的声音讲不同的话。XyC品论天涯网

至于MyHeyGen的缺点，大家看完表示也明显。XyC品论天涯网

比如有人反映口形有一些不同步，有人则吐槽遇上面部大幅活动就容易“抽风”（如本段开头的“这英”）等等。XyC品论天涯网

但整体玩一玩还是ok的。XyC品论天涯网

OneMoreThingXyC品论天涯网

仔细一翻，HeyGen的开源替代品还真不少。XyC品论天涯网

有俄罗斯程序员也在业余时间做了一个：HeyGenClone。XyC品论天涯网

XyC品论天涯网

用的是谷歌翻译，可以支持上百种目标语言，但只支持原语言为英文的视频。XyC品论天涯网

由于只给了一个很短的俄语效果展示，不是很好评鉴，这里就不放视频了～XyC品论天涯网

参考链接：XyC品论天涯网

[1]https://twitter.com/dotey/status/1722543725459452211XyC品论天涯网

[2]https://twitter.com/gorden_sun/status/1722439866112463163XyC品论天涯网