3分钟得到专属AI声音:OpenVoice 完整免费实现语音克隆
【免费下载链接】OpenVoiceInstant voice cloning by MIT and MyShell. Audio foundation model.项目地址: https://gitcode.com/GitHub_Trending/op/OpenVoice
OpenVoice 是由 MIT 与 MyShell 联合开发的语音克隆模型,输入几秒参考人声,就能用相同音色生成多语言的 AI 语音,且免费用于商业项目。
OpenVoice 能做什么
它做的事情可以概括为一句话:把"这个人说话"变成"你这个人说话"。OpenVoice 只负责克隆音色(tone color),语气、情感等风格交给基础 TTS 模型控制,两者解耦后既能还原声音,又方便调节表达。V2 版本在音质和语言覆盖上做了升级,并采用 MIT 许可证。
- 音色克隆:只提取参考音频的音色特征,输出几乎同音色的语音
- 风格可调:情感、口音、节奏、停顿等参数独立控制,互不干扰
- 多语言输出:V2 原生支持英语、中文、日语、韩语、西班牙语、法语
这些场景都在用它
📚有声内容制作——作者或播客主把自己的声音克隆出来,把文章批量转成有声读物,不用反复进录音棚。
🎬视频解说配音——短视频创作者用固定人声给不同视频配音,换文案不换声音,风格更统一。
📱个性化语音助手——开发者为 App 或智能设备定制专属播报声,替代千篇一律的系统默认音。
🌐多语言内容扩展——同一段内容用同一音色翻成多种语言,适合出海账号和外语教学素材。
语音克隆原理:一图看懂音色分离
流程可以拆成三步:基础 TTS 先把文本合成为一段"陌生人"语音;音色提取器从参考音频里取出音色特征;最后的音色转换器把前者"换皮"成参考人的音色。换句话说,内容和音色是分开生产的,所以改风格不用重录参考音,换音色不用改文本。
第一次出结果的两条路径
最快路径(零安装):项目文档 docs/USAGE.md 中列出了官方已部署的在线服务,覆盖英音、美音、中文、日语、韩语等多种语言版本,打开页面上传参考音频、输入文本即可试听,全程不需要装任何东西。
本地部署(进阶):适合需要二次开发或离线运行的用户,完整步骤见 官方使用说明。
git clone https://gitcode.com/GitHub_Trending/op/OpenVoice cd OpenVoicepip install -e . python -m openvoice_app --share第二条命令会启动一个本地 Gradio 网页,参考音频、文本、风格都在页面上直接选。仓库自带 demo_part1.ipynb(风格控制)、demo_part2.ipynb(跨语言克隆)、demo_part3.ipynb(V2 用法)三个示例,照着跑一遍就能理解整条调用链。
关键参数调节说明
| 参数 | 作用 | 推荐设置 |
|---|---|---|
speaker | 决定情感与口音风格,可选 friendly、cheerful、excited、sad、angry、shouting、whispering 等 | 首次运行用default |
speed | 语速倍率,影响生成音频的长短节奏 | 1.0,耳语等风格可降到0.9 |
language | 基础 TTS 的语言,需与文本语种一致 | V1 支持 English / Chinese,V2 另有西、法、日、韩 |
tau | 音色转换强度,越大越贴近参考音色 | 默认0.3,偏淡时适当调大 |
一个常见误区:换语言不是改文本,而是换基础 TTS 模型——中文内容要用中文 base speaker 先生成,再套音色。
源码结构速览
- openvoice/api.py:对外接口,
BaseSpeakerTTS负责文本合成,ToneColorConverter负责音色提取与转换 - openvoice/models.py:核心网络定义,包含语音合成与音色转换模型
- openvoice/se_extractor.py:从参考音频中分离并缓存音色特征
- openvoice/utils.py:音频切分、文本处理等通用工具函数
- openvoice/ 下的
text/、attentions.py、transforms.py:文本音素化与模型组件,一般不用动
常见问题
Q:参考音频要多长、要多干净?A:几秒即可,但要求单人、无背景音乐、无长段静音,质量直接决定克隆效果。
Q:会连口音和情感一起克隆吗?A:不会。OpenVoice 只克隆音色,口音和情感由基础 TTS 决定,通过speaker参数调整。
Q:支持哪些语言?A:V2 原生支持英语、中文、日语、韩语、西班牙语、法语;其他语言可接入对应语言的基础 TTS 模型。
Q:可以商用吗?A:可以。V1 与 V2 均为 MIT 许可证,商业和研究用途都免费。
Q:生成声音像或不像,怎么排查?A:先对照 docs/QA.md 检查参考音频是否含噪、过短或混音,并确认没有复用旧的处理缓存。
下一步建议从 官方使用说明 的在线服务试一版效果,遇到报错再翻 docs/QA.md;确定要本地部署时,按文档完成安装后先跑通 demo_part1 示例,再逐步替换参考音频和风格参数。
【免费下载链接】OpenVoiceInstant voice cloning by MIT and MyShell. Audio foundation model.项目地址: https://gitcode.com/GitHub_Trending/op/OpenVoice
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考