VideoLingo 是一站式视频翻译本地化配音工具，旨在生成 Netflix 级别的高质量字幕，告别生硬机翻，告别多行字幕，还能加上高质量的配音，让全世界的知识能够跨越语言的障碍共享。通过直观的 Streamlit 网页界面，只需点击两下就能完成从视频链接到内嵌高质量双语字幕甚至带上配音的整个流程，轻松创建 Netflix 品质的本地化视频。
主要特点和功能：
-
🎥 使用 yt-dlp 从 Youtube 链接下载视频
-
🎙️ 使用 WhisperX 进行单词级时间轴字幕识别
-
📝 使用 NLP 和 GPT 根据句意进行字幕分割
-
📚 GPT 总结提取术语知识库，上下文连贯翻译
-
🔄 三步直译、反思、意译，媲美字幕组精翻效果
-
✅ 按照 Netflix 标准检查单行长度，绝无双行字幕
-
🗣️ 使用 GPT-SoVITS 等方法对齐配音
-
🚀 整合包一键启动，在 streamlit 中一键出片
-
📝 详细记录每步操作日志，支持随时中断和恢复进度
-
🌐 全面的多语言支持，轻松实现跨语言视频本地化
与同类项目的主要区别：绝无多行字幕，最佳的翻译质量
ru_demo.mp4 |
sovits.mp4 |
OAITTS.mp4 |
当前输入语言支持和示例：
| 输入语言 | 支持程度 | 翻译demo |
|---|---|---|
| 英语 | 🤩 | 英转中 |
| 俄语 | 😊 | 俄转中 |
| 法语 | 🤩 | 法转日 |
| 德语 | 🤩 | 德转中 |
| 意大利语 | 🤩 | 意转中 |
| 西班牙语 | 🤩 | 西转中 |
| 日语 | 😐 | 日转中 |
| 中文* | 🤩 | 中转英 |
*中文需单独配置whisperX模型，详见源码安装，并注意在网页侧边栏指定转录语言为zh
翻译语言支持大模型会的所有语言，配音语言取决于选取的TTS方法。
只需 5 分钟即可在 Colab 中快速体验 VideoLingo：
VideoLingo 提供 一键简易包 和 源码安装 两种本地安装方式，请参考安装文档：English | 简体中文
-
UVR5 人声分离对系统资源要求较高，处理速度较慢。建议仅在拥有 16GB 以上内存和 8GB 以上显存的设备上勾选使用此功能。注意：对于BGM过吵的视频，如果不在 whisper 前进行人声分离，很可能会导致单词级字幕黏连，在最后的对齐步骤抛出错误。
-
配音功能的质量可能不完美，归根结底是因为语言结构差异、以及源语言与目标语言之间的语素信息密度不同。为获得最佳效果，建议根据原视频的语速和内容特点，选择相近语速的 TTS。最佳实践是使用GPT-SoVITS训练原视频声音，然后采取
模式3:使用每一条参考音频进行配音，这样能最大程度保证音色、语速、语气的吻合，效果见 demo。 -
多语言视频转录识别仅仅只会保留主要语言，这是由于 whisperX 在强制对齐单词级字幕时使用的是针对单个语言的特化模型，会因为不认识另一种语言而删去。
-
多角色分别配音暂不可用，whisperX 具有 VAD 的潜力，但是具体需要一些施工，暂时没有开发此功能。
- VAD 区分说话人，多角色配音
- 翻译风格自定义
- 用户术语表
- 提供商业化服务
- 配音视频唇形同步
本项目采用 Apache 2.0 许可证。使用本项目时，请遵循以下规定：
- 发表作品时建议（不强制要求）标注字幕由 VideoLingo 生成。
- 遵循使用的大模型和TTS条约进行备注。
- 如拷贝代码请包含完整的 Apache 2.0 许可证副本。
我们衷心感谢以下开源项目的贡献，它们为 VideoLingo 的开发提供了重要支持：
- 加入我们的 QQ 群：875297969
- 在 GitHub 上提交 Issues 或 Pull Requests
- 关注我的 Twitter：@Huanshere
- 访问官方网站：videolingo.io
如果觉得 VideoLingo 有帮助，请给我们一个 ⭐️！