dj音乐是什么意思NeurIPS的全称是“神经信息处理系统大会”(Conference and Workshop on Neural Information Processing Systems),是全球最受瞩目的 AI、机器学习顶级学术会议之一。 　　近日，在NeurIPS发表的一篇论文中，研究者提出了一个基于分析的综合学习框架，可以根据给定的音乐产生与之相匹配的舞蹈动作。 　　主要内容包括： 　　研究者首先介绍了从音乐到舞蹈的一种新的跨模态生成任务；其次，提出了一种新颖的“分解—合成”框架，将复杂的舞蹈与以音乐为条件的基本动作进行拆解组合；模型所呈现出的舞蹈不仅真实多样，而且风格匹配，节拍一致；最后，研究者提供了一个大规模的音乐和舞蹈相匹配的数据集，该数据集与源代码和模型一起可以从研究者网站上获得。GitHub： 　　https://github.com/NVlabs/Dancing2Music 　　随着音乐翩翩起舞是人类的本能。然而，学习创建“音乐—舞蹈”生成过程的模型是一个具有挑战性的问题。 　　衡量音乐和舞蹈之间的相关性需要付出巨大的努力，因为人们需要考虑音乐、舞蹈风格和节奏等多个方面。 　　此外，舞蹈本身是多模态的，一个姿势可能有多个动作。 　　在这篇论文中，研究者提出了一个基于分析的综合学习框架，可以从音乐中产生舞蹈。 　　在分析阶段，研究者将舞蹈分解成一系列基本的舞蹈动作，通过这些动作，模型可以学习如何移动。 　　在合成阶段，模型根据输入的音乐创建多个舞蹈动作，来形成一组完整的舞蹈动作。结果表明，该方法可以从音乐中合成真实、多样、与音乐风格一致且合拍的舞蹈动作。 　　图1：“分解—合成”框架的示意图 　　当人们听到某些音乐时，会不由自主地拍手、跺脚或扭动。日常生活中，音乐激发了人们舞动的热情。 　　通过即兴的动作，人们将其编为舞蹈。然而，只有通过适当的训练和不断的练习，专业的编舞者才能学会以充满艺术感的优雅且节奏优美的方式编排舞蹈。 　　因此，随着音乐跳舞是一个既需要天赋又需要后天习得的创造过程。本文提出了一个音乐舞蹈创作过程的计算模型。 　　受上述观察的启发，研究者使用先验知识来设计“音乐—舞蹈”框架，并使用大量成对的音乐和舞蹈数据对其进行训练。 　　这是一项充满挑战性同时也很有趣的生成任务，在艺术内容创作方面具有一定的潜力，如戏剧表演、艺术体操和花样滑冰。 　　此外，通过对人类将自身动作与音乐相匹配进行建模，可以更好地理解跨模态合成。 　　现有的方法将是合成任务转化为基于相似度的检索问题，创造力有限。因此，研究者决定从生成的角度来制定任务。 　　从音乐中合成舞蹈是一个极具挑战性的生成问题。 　　首先，为了使舞蹈和音乐保持同步，所产生的舞蹈动作必须超越给定的音乐风格和节拍，而要超出真实感。 　　其次，舞蹈本身是多模态的，也就是说，任何时候一个舞蹈姿势可能会伴随着各种不同的舞蹈动作。 　　最后，舞蹈中身体长时间在空间中运动，具有较高的运动学复杂性。 　　在本文中，研究者建议通过“分解—合成”框架从音乐中合成舞蹈。 　　这个框架首先学习在分解/分析阶段如何运动（即产生基本运动），然后在合成/合成阶段学习如何合成成套动作（即将基本运动组织成一个序列）。 　　在自上而下的分解阶段中，研究者使用运动节拍检测器对从真实舞蹈序列中对提取出的舞蹈单元进行归一化。 　　然后，研究者训练DU-VAE对舞蹈单元进行建模。 　　在自下而上的创作阶段中，给定了匹配的一段音乐和舞蹈，利用MM-GAN学习如何根据给定音乐编排舞蹈。 　　在测试阶段，研究者从输入的音乐中提取音乐风格和节拍，然后以循环方式合成一系列舞蹈单元，最后，将节拍检测器应用于生成的舞蹈单元序列输出舞蹈。 　　在给定的音乐播放时，研究者首先提取风格和节拍信息，然后根据音乐风格按顺序生成一系列舞蹈单元，最后根据提取的音频节拍来变换舞蹈动作。 　　图2：（a）从音乐和舞蹈中提取节拍。 对于音乐，通过节拍的强弱规律来提取周期性的节拍。 对于舞蹈，研究者计算偏移强度并提取运动节拍。 研究者举例说明了与匹配的音乐和运动节拍相对应的三个示例帧：侧臂抬起（红色），手抬起（黄色）和肘部伸出（紫色）。（b）舞蹈队的例子。 每个舞蹈单元的长度相同，并在特定的节拍时间内分配了运动节拍。 　　为了促进这种跨模态视听生成任务，研究者收集了超过71万小时的360K视频剪辑。数据中有三个代表性的舞蹈类别：“Ballet”、“Zumba”和“Hip-Hop”。 　　对于性能评估，研究者使用各种指标与强基准进行比较，来分析现实性、多样性、风格一致和节拍匹配。 　　除了原始姿势的表示，研究者还使用vid2vid模型对结果进行可视化，将合成的舞蹈转换为逼真的视频。 　　论文链接： 　　https://arxiv.org/pdf/1911.02001.pdf 　　dj音乐360