即兴音乐机器人Shimon 可以将莎士比亚的词演奏出来

即兴音乐机器人Shimon 可以将莎士比亚的词演奏出来

佐治亚理工学院的音乐技术专家吉尔·温伯格（Gil Weinberg）制造了一个名为Shimon的音乐机器人，它不仅能创作曲谱并实时表演，还可以与人类进行说唱“对话”，甚至帮助他们创作歌词。Shimon专为器乐而设计，旨在成为一种独特的器乐乐曲创作者。

计算机生成的音乐可以追溯到1950年代，当时早期的计算机使用算法来创作旋律。现代机器人可以使用机器学习技术来学习包括长笛和鼓在内的乐器。Shimon的早期版本可以演奏木琴并唱歌，它有一个球形的“头部”，在眼睛上方带有可以灵活活动的眉毛。现在，温伯格声称Shimon是第一个涉足说唱的即兴机器人，其独特的风格特征带来了独特的编程挑战。

说唱乐的最高成就在于歌词。这些词需要遵循一种令人愉悦的节奏旋律，同时传递出多层次的诗意复杂性。在最近发表在《第11届2020年计算创造力国际会议论文集》上的一篇论文中，温伯格的研究团队概述了如何让Shimon焕发生机。

当Shimon开始说唱时，软件会将其人类对手的口头歌词转换为文本。机器人的系统从中识别出关键字，并根据Shimon训练过的几个自定义单词数据集，使用深度学习模型生成新的歌词。这些数据集可以来自任何文本：Lil Wayne，JAY-Z或其他说唱歌手的作品；其他流派的歌词；甚至是非音乐文学作品。想象一下，如果莎士比亚或简·奥斯丁的词被演奏出来，听起来会怎样？Shimon可以为您模拟。

创作者说，西蒙设计的一个新颖元素是额外使用音素数据集来构思新歌词。音素是组成单词发音的不同发音单元。论文的第一作者，佐治亚理工学院的音乐技术专家理查德·萨维里（Richard Savery）说，将关键词分解成这些单元是将韵律融入歌词的最有效方法。Savery解释说：“单词之间的音素联系方式非常重要，有时甚至比单词的实际含义更重要。” 音素的训练数据集使Shimon能够以韵律搅动以关键字为中心的短语，然后机器人将有节奏的节拍叠加到其语音中。

Shimon的系统必须足够快才能实时响应，而又不影响性能质量。为了实现这一目标，研究人员做出了一些艰难的编程决策，例如将Shimon的响应词汇限制在3,000个单词左右，并缩短Shimon向其对手“监听”的时间长度。到目前为止，Shimon可以在不到七秒的时间内重新谱曲，同时可以改善诸如头部摆动和摆动眉毛等动作。硬件升级（例如功能更强大的图形处理单元）最终将使处理速度更快。

参与该项目的技术初创公司Descript的研究科学家Prem Seetharaman说，Shimon的技术中没有哪个组件是全新的，但是技术的关键在于重新对这些组件进行组装。Seetharaman说：“通常，该领域有很多分类，例如语音到文本，文本到语音，语音到音乐。” “该领域还在不断进步，以便人们能够使用这些[组件]并将它们连接到真正有趣的交互式系统中。”

除了Shimon的新颖性价值，Weinberg希望他的机器人能够为人们提供尝试新型音乐的机会。他说：“如果[Shimon]在没有人类的情况下做它的事情……作为一个完全自主的音乐系统，这对我来说并不有趣，” 他的目标是看到他的机器人“与[人类]交流和互动，并以令人惊讶的方式启发他们。” 温伯格以前从未写过歌词，但说西蒙使他第一次创作了歌曲。他补充说，他甚至已经收到饱受作家障碍困扰的作词人的帮助请求。

Seetharaman本人是娱乐音乐家，他还说，他对Shimon的技术可能为非音乐家带来的可能性感到兴奋。他说：“使用AI的工具可以减少艺术创造的障碍。”

但是，专业人员对此项技术还有所保留。里斯兰斯顿，一个说唱歌手和多媒体艺术家没有参与该项目，他说他热衷于与西蒙说唱，尤其是因为新冠肺炎大流行限制了与听众之间的现场互动。他说，人工智能可以实现的成就令人印象深刻，但同时也表明，机器人根本无法获得偶然出现的灵感。兰斯顿解释说，在录音过程中，错误有时会在最终录音中出现，但是，这些偶然的错误听起来却异常好听。他说，事故“释放了可能性，因为并不是所有事情都被计划了”。“但是你能教机器犯错误吗？”显然是不行的。