AI解析音乐与尼采如是说

我以AI物联网分析音乐，并利用其结果来驱动乐器的演奏，称之为MusicTalk。接下来就想训练大型语言模型（LLM），将文字与音乐互换，再将音乐用来诠释影像。最大的应用是电影配乐。

要将音乐智能化以配合影像，科技人必须对音乐的内涵有深入的认识。例如电影的配乐最让人印象深刻的是1968年电影《2001太空漫游》（2001: A Space Odyssey）中用史特劳斯（Richard Strauss, 1864～1949）演绎《查拉图斯特拉如是说》（Thus Spake Zarathustra）这首乐曲的开场。

《查拉图斯特拉如是说》是尼采（Friedrich Wilhelm Nietzsch, 1844～1900）的作品。它不同于一般哲学作品，而是以散文诗完成。尼采曾表示这本书实际上是一部「交响曲」，以一种伪圣经风格撰写，它包含许多含糊不清且充满诗意的神秘箴言。

我没读通这本书，肤浅了解其主要思想是，人类应该拥抱生活、自然、身体和物质存在，包括其中的乐趣和痛苦，而非寻求超越或来世的精神世界。生活即使伴随着所有的苦难，还是值得为了它的存在而生活。

许多艺术家和作曲家受到《查拉图斯特拉如是说》的影响，但很少有人像史特劳斯那样深切融入尼采的哲学观点。1896年时32岁的史特劳斯开始创作 《查拉图斯特拉如是说》乐章。当时尼采因三期梅毒的感染，已精神失常。史特劳斯将自己作品的各个部分以尼采书中不同章节命名。他尝试将尼采抽象的文字清晰地翻译成同样抽象的器乐音乐。该作品在完成后几个月内进行首演，其华丽的编曲、复杂的音乐纹理、大胆的和谐和具争议性的主题，引发激烈的批评和喝采。

《2001太空漫游》使用这首乐曲开场为外太空的日出配乐，符合史特劳斯描绘尼采书中开场的山顶日出情境。开场中的小号旋律呈现「自然」或「世界之谜」动机；它在整个乐曲中反覆出现，象徵着大自然的冷漠和神秘性： 在强烈的开场之后，号角的回应是一个宗教式的旋律，由分散的弦乐器精彩演奏。开场时音乐从柔和到逐渐增强，象徵着人类对一个完美、天堂般、精神上的自然替代的渴望。

有了《2001太空漫游》的例子，我尝试以MusicTalk反推史特劳斯的音乐，想找出他想表现的意涵，却遭遇极大困难。史特劳斯曾经开玩笑地说，他可以在音乐中诉说一切，即使人们无法理解，我就是那位无法理解的人，妄想以物联网驾驭史特劳斯的音乐。

《查拉图斯特拉如是说》太过深奥，AI处理不来。我决定放弃好高骛远的做法，由小朋友听得懂的《彼得与狼》训练MusicTalk，总算有初步成果。这是一个基于物联网的创新音乐乐器检测系统。MusicTalk 引入了一种名为亮度特徵基础Patchout的新颖机制，以提高乐器检测的准确性，并超越现有解决方案。

MusicTalk首次系统性地将单个乐器检测器作为物联网设备进行整合，为与其他物联网设备的交互管理提供有效的方法。我们在MusicTalk中引入一个通用音频整形器，融合各种音乐公开数据集，如Audioset、OpenMIc-2018、MedleyDB、URMP和INSTDB。

我们利用Grand-CAM分析Mel-Spectrograms来优化 MusicTalk中ViT Patchout和CNN的组合，以实现前所未有的准确率。例如，小提琴检测的精确率和召回率分别达到96.17%和95.77%，这是所有方法中最高的。此外，MusicTalk 的另一个优势在于其基于物联网的视觉化能力。通过将乐器检测器作为物联网设备整合，MusicTalk能够使用动画Avatar来无缝地视觉化歌曲。

透过《彼得与狼》为例的案例研究，我们证明，改进的乐器检测准确性增强音乐的视觉叙事效果。与先前的方法相比，MusicTalk在这首歌曲上的F1分数提高12%。然而，我念念不忘的是，我们训练AI模型，何时能如同史特劳斯，了解尼采的想法。MusicTalk仍有很大的改进空间。

 

尼采（Friedrich Wilhelm Nietzsch, 1844～1900）。