作者 | 虞景霖
编辑 | 邓咏仪
(相关资料图)
美东时间8月2日,Meta发布了一款开源人工智能(AI)工具AudioCraft,可以根据用户给出的文本提示创作音频和音乐。
相较于AI在生成图像、视频、文本的应用,AI生成音乐领域的发展相对落后。这是由于生成高质量的音频需要对不同类型的信号、模块进行不同层级的建模,加上该领域开源的代码较少,可以说是AI生成内容中最具挑战性的领域。
本次AudioCraft以开源的形式进行发布,目的也是为了能够让“研究人员和从业人员能够使用自己的数据集训练自己的模型,减少由于训练数据的局限性带来的偏误,推动AI生成音乐或音频的发展。”
AudioCraft包括AudioGen、EnCodec(改进版)和MusicGen三个核心部件。通过MusicGen和AudioGen,AudioCraft可以将用户给出的文本指令转变为任何类型的音频或者音乐,再由EoCodec(改进版)进行优化。
AudioGen是一个AI生成音频模型。它能够扩展现有音频,或者通过文本提示生成音频,例如生成狗叫声、汽车喇叭声或者木地板上的脚步声。此外,AudioGen还能从声学角度区分不同对象的声音,对其进行分类。Meta使用公开的音效素材对该模型进行训练。
EnCodec(改进版)是一个基于神经网络的音频压缩解码器,能够帮助用户生成人工痕迹更少、更高质量的音乐,还能对音频文件进行无损压缩。
MusicGen是Meta在今年6月初推出的开源AI模型,能够根据文本提示生成音乐。Meta使用自有或经过授权的音乐对其进行训练,累计使用约40万个音频及文本素材,训练总时长超过20000小时。
MusicGen和AudioGen生成音频/音乐
尽管Meta使用了多个音频素材对模型进行训练,但Meta也承认,用于训练AudioCraft的数据集缺乏多样性,素材大多为西式音乐,且使用的文本提示语言仅限于英语。通过AudioCraft生成的音乐质量尚不足以取代专业人士制作的商用音乐。
Meta本次采取的策略类似于此前发布Llama 2大语言模型——无需商业授权即可使用。因此,AudioCraft的开源发布可能可以吸引大量用户,而不仅只是那些对文本生成音频感兴趣的用户,扩大Meta的知名度。
根据Meta的FAIR团队介绍,与早期文本生成音频的AI模型相比,AudioCraft大大简化了生成流程。用户能够使用AudioGen和MusicGen进行音频生成,甚至可以从头开始开发自己的文本生成音频模型。
Meta并不是第一家AI生成音乐的公司。此前,OpenAI曾在2020年推出AI音乐生成器Jukebox,谷歌在今年发布的音乐生成模型MusicLM,其他常见的类似模型还有Riffusion、Mousai和Noise2Music等。
标签:
《征求意见稿》所称未成年人模式,是指适应未成年人身心健康发展规律和
1、悟空打太白金星:72斩,蓄满无双后一直重斩,虽然他一直瞬移到你后
近日住建部召开企业座谈会,表示下一步要进一步落实好降低购买首套住房
南亚新材:南亚新材关于续聘2023年度审计机构的公告
1 魔灵呼唤符文攻略的根底概念魔灵呼唤符文是一款十分具有策略性的手游
其中职工基本医疗保险基金(含生育保险)收入11046 51亿元,同比增长11
为进一步提升全市行政执法人员能力和水平,加强全市行政执法队伍建
《完美国际2》新版本今日正式上线,双线新服【天下】即刻启程,邀新朋
中央气象台8月2日06时继续发布台风蓝色预警:今年第6号台风“卡努”(
近年来,国家政策促进健身行业繁荣发展,科技进步也改变了健身市场原有
1、青岛人大主任公示2、青岛市人大常委会原副主任被双开3、以上就是关
当地时间7月31日晚,联合国负责巴勒斯坦难民事务的近东救济工程处发表
诸多的对于如何在快手直播,快手直播在哪里打开这个问题都颇为感兴趣的
亚冠第五轮开打,结果蔚山现代2-1击败了FC东京,这样一来,蔚山现代成
“C2551次列车请关门。”1日6时,C2551次“复兴号”动车组缓缓驶出北京
巴西专家表示,受历史和地缘等因素影响,拉美各国经济深受美国影响,“
7月5日,以“聚力金融服务,聚焦企业发展”为主题的2023年贵州省中小企
6月6日,抖音电商女装行业于上海举办趋势发布会,发布了 辣妹的夏天2023
【近岸蛋白与荣灿生物达成RA领域战略合作】7月6日,苏州近岸蛋白质科技
记者:伯恩茅斯将戈森斯视为引援主要目标,已与国米接触,柏林,国米,戈
步长制药公告全资子公司陕西步长制药有限公司获得陕西省药品监督管理局
该媒体透露,尽管切尔西、利物浦、曼城和巴萨有意,但当前巴黎正加速推
导读1、长江(古称江、大江等)位于中国境内,全长6,380公里,发源于中
组合轴承,组合这个很多人还不知道,现在让我们一起来看看吧!1、mapley
当1975年大众于日内瓦车展首度发布第一款前置前驱水冷引擎小型掀背车Po