基于音乐特征识别的音乐喷泉计算机辅助设计系统

一首圆舞曲常常由几百个小节组成，因此如果在全曲范围内对旋律进行搜索将会非常费时费力。乐曲节奏和调性的改变常常意味着新段落的出现，这里首先根据这两方面的特征对全曲进行初步划分，为旋律搜索缩小范围，从而提高搜索效率。

（2）利用旋律搜索进行重点识别

为了进一步提高相似旋律的搜索效率，根据古典音乐的特点，作三点假设。第一假设一个完整的乐句由16小节构成，这一假设在很多音乐结构的研究中被采用，并在多数情况下被证明是正确的。第二段设一个乐句的前4小节是全句的重点，这一假设能够用很少的音符表征整个乐句，同时经过检验是完全正确的。第三段设在众多的乐器中，小提琴、长笛、单簧管演奏主旋律的可能性最大，这一假设被证明非常效，它帮助从十几种乐器中迅速地找到主旋律音色，作为旋律搜索的前提。在这三个假设的基础上，还引入一种树状结构“旋律树”，用以记录一段旋律的总体轮廓，从而实现对相似旋律的搜索，如图3。该结构由四层组成：

·第一层代表一段16小节的旋律；

·第二层代表该旋律的前4小节；

·第三层代表每个小节的三个正拍；

·第四层代表各个小节的正拍和半拍；
javascript:window.open(this.src);" style="cursor:pointer;"/>
    在图3中，节奏是3/4，在旋律树中，仅仅需要记录相对音高。与其他记录旋律的方法相比[5,6]，该旋律树有三个优点：首先，由于前4小节是整段旋律的重点，旋律树用很少的音符抓住了整段旋律的轮廊；第二，这种树状结构不仅记录了旋律的轮廓，而且记录了旋律的结构；最后，这种分层结构有利于提高搜索效率。由于上一层的音符比下一层重要，因此，如果在比较旋律树时在上一就出现了不同，则无需对下面的各层进行比较就可以直接得出二者不同的结论。这种旋律树可以用来提取和比较旋律，在实际中证明非常有效。

（3）利用和声特征进行补充识别

经过以上两个步骤，大多数曲式结构可以被识别出来，但仍会有一些例外。为了进一步提高曲式识别的准确性，又利用终止式[7,8]（结束一个音乐结构和结束一个乐思的和声）对曲式结构进行了补充分析。由于和声分析相对复杂，这里只考虑了与终止式密切相关的主和弦和属和弦。

3.3 音乐情感特征的提取

在曲式特征识别基础上，整个乐曲被划分成一个个小乐段。该部分则通过对每个乐段的音响、速度、旋律等特征进行综合分析，最终由一个模糊分类器判断出其情感特片[9]。为了对情感特征进行合理的描述，根据在音乐心理学领域得到广泛认可的Hevner词表[10]，提出一种“情感环”的结构，如图4。

4 模糊专家系统匹配

这一部分主要通过模糊专家系统对音乐特征进行段匹配和音符匹配两个层次上的匹配。
javascript:window.open(this.src);" style="cursor:pointer;"/>
    4.1 段匹配

段匹配在对音乐作品进行结构分析和情感分析基础上，根据情感色彩为每一段旋律找到最适合的基本表演程序。

（1）基本表演程序库的建立

基本表演程序序中存放大量的基本表演程序，即表演动作序列。基本表演程序的结构如图5所示。从图5中可以看出，每一个基本表演程序除了记载所有动作的名称和动作时间和，还有该基本表演程序所体现的感情色彩。值得注意的是，这里的动作时间是指在标准速度（定义为1小节/1秒钟）下的动作时间。因此，当乐曲速度变化时，系统要自动根据速度的改变调整运动时间，从而实现音乐与动画的同步。

（2）表演程序控制器的建立

段匹配的结果记录在表演程序控制器PPC（Performance Program Controller）序列中，作为进一步设计表演程序的基础，如图6。表演程序控制器有六个参数：第一个是控制器编号，即乐段编号；第二个是记录该乐段旋律线的旋律树的编号；第三、四个分别是该乐段的起始和结束小节；第五个是该乐段的感情分类；最后一个则是为该乐段匹配的基本表演程序的编号。
javascript:window.open(this.src);" style="cursor:pointer;"/>
    4.2 音符匹配

音符匹配包括两部分：首先根据乐曲速度决定基本表演程序中相邻动作的时间间隔；其次是为关键音符（如强音）设计一些特殊的动作。在段匹配的基础上，音符匹配使音乐动画的设计做到了点面结合。

经过段匹配和音符匹配，最初的音乐喷泉的表演程序就产生了，它记录了音乐喷泉随着音乐喷射的所有动作。

5 实验结果

笔者在Windows 2000平台上用Visual C++开始了该系统的原形，并选取了《蓝色多瑙河》、《春之声》、《皇帝圆舞曲》等旋特劳斯的著名圆舞曲进行了实验。结果非常令人满意。当基本表演程序库中的基本表演程序很少时，喷泉的姿态变化出现了大量的重复，而当基本表演程序进行扩充后，喷泉的动作设计非常令人满意。以《蓝色多瑙河》为例。自动设计用了5分种时间。序曲部分是在蓝色灯光下的简单摇摆，与各个小圆舞曲对应的是或欢快、或抒情、或激昂一段段喷射动作，而尾声则是所有水柱一齐喷射的场面。当相似的旋律出现时，喷射的动作是完全一样；如果是以不同的速度出现，则喷射的速度也会相应地改变，基本做到了视觉感受与听觉感受的一致。经过很少的几处修改，该表演程序在音乐喷泉试验装置上与音乐进行了同步表演，结果非常令人满意（图7、8）。笔者还尝试了一些其他类型的曲目，包括“Times to say good-bye”（流行音乐），“Swan lake”（古曲音域），“春江花月夜”（民乐）。与想象的相同，自动设计出的表演程序并不令满意。但由于人机修改界面非常友好，用几个小时就完成了一个乐曲的设计工作。这与传统的制作方式相比，大大提高了效率。