Stable Audio: 体验文生音乐功能

设计干货

文章部分来源网络，仅供学习。

2024-05-28浏览 16591,401 字 · 约 5 分钟

…

在Stable Audio，您可以免费体验其文生音乐功能。只需先填写提示词，然后设置时长，点击生成按钮，等待30秒左右就完成了，拿来做视频的背景音乐完全没有问题。写提示词时要详细描述您想要的风格、流派、乐器以及相关的情绪和氛围细节，可以多用描述性的短语。

一、Stable Audio是什么？

Stable Audio是Stability AI推出的AI生成音乐平台，您只需输入描述性文本提示以及所需的音频长度即可生成高质量的音乐和音效。您可以通过文本提示直接生成摇滚、爵士、电子、嘻哈、重金属、民谣、流行、朋克、乡村等20多种类型背景音乐。例如，输入迪斯科、鼓机、合成器、贝司、钢琴、吉他、欢快、115BPM等关键词，就能生成背景音乐。

二、Stable Audio的网站地址：

官网地址：https://www.stableaudio.com/
论文地址：https://arxiv.org/abs/2402.04825
项目Demo：https://stability-ai.github.io/stable-audio-demo/
GIthub仓库：https://github.com/Stability-AI/stable-audio-tools

三、Stable Audio的技术原理：

稳定音频模型是由几个不同部分组成的潜在扩散模型，类似于稳定扩散：变分自动编码器 (VAE)、文本编码器和基于 U-Net 的条件扩散模型。VAE 将立体声音频压缩为数据压缩、抗噪声和可逆有损潜在编码，与使用原始音频样本本身相比，可以更快地生成和训练。文本编码器使用 CLAP 模型，允许文本特征包含一些有关单词和声音之间关系的信息。时序嵌入允许用户指定输出音频的总长度。Stable Audio 的扩散模型是基于Mosai中使用的模型的 907M 参数 U-Net，它使用残差层、自注意力层和交叉注意力层的组合来对基于文本和时序嵌入的输入进行去噪。

四、Stable Audio的音乐试听：

音乐
- 提示：史诗般的预告片音乐激烈的部落打击乐和铜管乐令人振奋的声学循环。 120 BPM。
- 提示：迪斯科、鼓机、合成器、贝司、钢琴、吉他、器乐、Clubby、Euphoric、芝加哥、纽约，115 BPM。
音效
- 关上门。高品质、立体声。
- 烟花。高品质、立体声。
- 跑车驶过。高品质、立体声。
- 摩托车路过。高品质、立体声。

五、Stable Audio的主要特点：

潜在扩散模型：由几个部分组成，包括VAE、文本编码器和基于U-Net的条件扩散模型。
高效的音频表示：使用重度下采样的音频潜在表示，实现更快的推理时间。
文本提示条件：使用CLAP模型设置文本提示，允许文本特征包含与单词和声音之间关系的信息。
时序嵌入：允许用户指定输出音频的总长度。
数据集：使用超过800,000个音频文件组成的数据集，包含音乐、音效和单一乐器茎，以及相应的文本元数据。

六、Stable Audio的产品价格：

Free：每月可免费生成20个音乐，最大时长45秒，不能用于商业用途；
Pro：11.99美元/月，每月可生成500个音乐，最大时长90秒，可用于商业用途；
Studio：29.99美元/月，每月可生成1350个音乐，最大时长90秒，可用于商业用途；
Max：89.99美元/月，每月可生成4500个音乐，最大时长90秒，可用于商业用途。

七、如何使用Stable Audio？

打开Stable Audio官网https://www.stableaudio.com/；
注册账号，可使用Google账号快速登录；
登录后，在左侧输入文本提示词，右侧即可播放生成后的音频，音频模型默认为Audio Sparx V1；
在对话框内输入音乐风格、节奏等文本提示，设置生成音频的长度；
点击生成，稍等片刻即可获得自定义音频，支持在线播放和下载。

八、Stable Audio的常见问题解答：

Q1：什么是Stable Audio？
- A：Stable Audio是一个允许您使用人工智能音乐生成模型创建音乐的网站。
Q2：这个模型是根据什么数据训练的？
- A：Stable Audio背后的人工智能模型是根据我们的合作伙伴AudioSparx的音乐进行训练的。
Q3：为什么我在手机上听不到任何音频？
- A：检查您的手机是否处于静音模式。
Q4：关于此项目的支持，我可以联系谁？
- A：您可以发送电子邮件至hey@stableaudio.com。
Q5：这个模型是开源的吗？
- A：我们将很快开源一个基于不同数据的音乐生成模型。
Q6：生成的每一段音频都是唯一的吗？
- A：对于每次使用Stable Audio生成声音文件时，我们的人工智能模型都会创建一些独特的东西。您不会得到两次相同的音频。
Q7：在Creator许可下生成的音乐的具体允许用途是什么？
- A：Creator许可证使您能够将生成的音频用于个人商业项目和音乐发行，其中包括音乐流媒体平台、社交媒体、个人播客、视频和月活跃用户 (MAU) 低于 100,000 的商业产品。
Q8：我可以在商业项目中使用音乐吗？
- A：是的，如果您属于专业订阅级别。请参阅我们的服务条款和定价页面了解更多详细信息。