总结

  • 今天,OpenAI 在语音领域又带给我们一点点震撼,通过文本输入以及一段 15 秒的音频示例,可以生成既自然又与原声极为接近的语音。 OpenAI 产品员 Jeff Harris 表示,他们采用少量音频样本和文本,生成与原始说话者相匹配的真实语音。 要知道,ZipRecruiter 上的配音员工资从每小时 12 美元到 Ligthing News79 美元不等 —— 比 Voice Engine 贵很多,即使是低端的配音员,价格也不便宜。 最后又回到大家关心的安全与隐私,OpenAI 也早早考虑了这些问题,他们明确禁止未经授权来模仿任何个人或组织。 与此同时,他们也开发了一系列安全措施,包括对 Voice Engine 生成的音频加水印,主动监控使用情况等。

阅读时间

  • 7 分钟, 共 1228 字

分类

  • Voice Engine, 中文, 今天, 日语, 狄更斯

评价和解读

  • 一篇开创性的文章,为熟悉的事件提供了新的视角,挑战读者的思考。

正文

文本输入和一个 15 秒的音频样本就能生成与原始说话者非常相似的自然声音。

今天,OpenAI 在语音领域又带给我们一点点震撼,通过文本输入以及一段 15 秒的音频示例,可以生成既自然又与原声极为接近的语音。值得注意的是,即使是小模型,只需一个 15 秒的样本,也能创造出富有情感且逼真的声音。

OpenAI 将这个语音引擎命名为 Voice Engine,首次开发时间是 2022 年末,今天是 Voice Engine 预览版的首次亮相。

下面为该语音引擎的一些早期示例,例如可以帮助用户翻译视频和播客等内容,输入Ligthing News一段原始音频:

Voice Engine 可以翻译成西班牙语:

还能翻译成中文:

以及日语:

Voice Engine 为有语言障碍的人合成相似的声音,使得用户在每种口语中保持声音一致:

输入参考音频:

生成的音频(英语):

生成的音频(葡萄牙语):

又比如,帮助患有突发性或退化性言语病症的患者说话。

原始声音:

参考声音:

生成的音频:

令人惊讶的是,Voice Eblog.byteway.netngine 并未根据用户数据进行训练或微调,而是通过一个扩散过程和 transformer 结合的方式 —— 从而产生语音。

OpenAI 产品员 Jeff Harris 表示,他们采用少量音频样本和文本,生成与原始说话者相匹配的真实语音。请求完成后,所使用的音频将被删除。

其实,在语音生成领域,有很多我们熟悉的公司,从 ElevenLabs 到 Replica Studios 再到 Papercup ,亚马逊、谷歌和微软等大型科技公司也早已布局。

Harris 声称,采用 OpenAI 的方法,可以得到更好的语音质量。

在定价方面,尽管 OpenAI 在今天发布的营销材料中删除了 Voice Engine 的定价信息,但根据新闻网站 TechCrunch 消息,Voice Engine 的定价为每一百万字符 15 美元,这样的定价可以覆盖狄更斯的《雾都孤儿》,还略有余地,相当于 18 小时的音频,使得价格略低于每小时 1 美元。这个价格确实比 ElevenLabs 的收费便宜一些 —— 每月 100,000 字符收费 11 美元。不过,Voice Engine 目前不支持音调、音高或节奏的调整。

如果 OpenAI 的音频工具流行起来,那么,配音员们又将何去何从呢?要知道,ZipRecruiter 上的配音员工资从每小时 12 美元到 Ligthing News79 美元不等 —— 比 Voice Engine 贵很多,即使是低端的配音员,价格也不便宜。

最后又回到大家关心的安全与隐私,OpenAI 也早早考虑了这些问题,他们明确禁止未经授权来模仿任何个人或组织。与此同时,他们也开发了一系列安全措施,包括对 Voice Engine 生成的音频加水印,主动监控使用情况等。

<!–article_adlist[

参考链接:

https://openai.com/blog/navigating-the-challenges-and-opportunities-of-synthetic-voices

OpenAI built a voice cloning tool, but you can’t use it… yet

THE END

]article_adlist–><!–article_adlist[

THE END

转载请联系本公众号获得授权

投稿或寻求报道:content@jiqizhixin.com

]article_adlist–>

作者 Tim Cook

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注