1.本发明涉及一种对音响信号进行解析的技术。
背景技术：
2.以往提出有使乐曲的播放追随由演奏者进行的演奏的技术。例如，在专利文献1公开了如下技术，即，通过音响信号的解析而对乐曲内的演奏位置进行推定，与推定结果相应地对乐曲的自动演奏进行控制，其中，该音响信号表示通过乐曲的演奏而发音的乐音。
3.专利文献1：日本特开2017－207615号公报
4.对于演奏位置的推定，需要事先准备在与音响信号进行对照时所利用的参照数据。在生成参照数据时，需要对表示通过事先的演奏而发音的乐音的参照信号的解析、和与来自利用者的指示相应地对解析结果进行修正的处理。以上述状况为背景而要求实现如下技术，即，用于使得利用者容易地对生成参照数据的过程中的参照信号的解析结果进行确认及修正。
技术实现要素：
5.为了解决以上课题，本发明的一个方式涉及的音响处理系统具有音响解析部以及显示控制部，该音响解析部执行对收录有第1音源的音响的音响信号进行解析的解析处理，所述解析处理包含如下处理：第1处理，其对发音指标的时间序列进行确定，该发音指标是在所述音响信号包含所述第1音源的音响成分的准确度的指标；以及对与所述第1音源的音响成分相关的音高的时间序列进行确定的处理，该显示控制部使所述发音指标的时间序列和所述音高的时间序列基于共通的时间轴而显示于显示装置。
6.本发明的一个方式涉及的音响处理方法，执行解析处理，该解析处理对收录有第1音源的音响的音响信号进行解析，包含如下处理：第1处理，其对发音指标的时间序列进行确定，该发音指标是在所述音响信号包含所述第1音源的音响成分的准确度的指标；以及对与所述第1音源的音响成分相关的音高的时间序列进行确定的处理，该音响处理方法使所述发音指标的时间序列和所述音高的时间序列基于共通的时间轴而显示于显示装置。
7.本发明的一个方式涉及的程序使计算机系统作为音响解析部及显示控制部而起作用，该音响解析部执行对收录有第1音源的音响的音响信号进行解析的解析处理，所述解析处理包含如下处理：第1处理，其对发音指标的时间序列进行确定，该发音指标是在所述音响信号包含所述第1音源的音响成分的准确度的指标；以及对与所述第1音源的音响成分相关的音高的时间序列进行确定的处理，该显示控制部使所述发音指标的时间序列和所述音高的时间序列基于共通的时间轴而显示于显示装置。
附图说明
8.图1是例示出第1实施方式涉及的播放系统的结构的框图。
9.图2是乐曲数据的示意图。
10.图3是操作装置的结构及状态的说明图。
11.图4是例示出音响处理系统的功能性结构的框图。
12.图5是由演奏装置进行的播放声部的播放和第1指示及第2指示之间的关系的说明图。
13.图6是例示出播放控制处理的具体流程的流程图。
14.图7是与第2实施方式的操作装置的状态相关的说明图。
15.图8是与第3实施方式的操作装置的状态相关的说明图。
16.图9是例示出第4实施方式的音响处理系统的功能性结构的框图。
17.图10是编辑处理部的动作的说明图。
18.图11是例示出编辑处理的具体流程的流程图。
19.图12是例示出第5实施方式的播放系统的结构的框图。
20.图13是例示出第5实施方式的音响处理系统的功能性结构的框图。
21.图14是例示出音响解析部的具体结构的框图。
22.图15是确认画面的示意图。
23.图16是表示确认画面变化的状况的示意图。
24.图17是表示确认画面变化的状况的示意图。
25.图18是表示确认画面变化的状况的示意图。
26.图19是例示出调整处理的具体流程的流程图。
27.图20是变形例的确认画面的示意图。
具体实施方式
28.a：第1实施方式
29.图1是例示出第1实施方式涉及的播放系统100的结构的框图。播放系统100设置于利用者u所处的音响空间。利用者u例如是利用弦乐器等乐器80对乐曲的特定的声部(以下，称为“演奏声部”)进行演奏的演奏者。
30.播放系统100是与由利用者u进行的演奏声部的演奏并行地对该乐曲进行播放的计算机系统。具体而言，播放系统100对构成乐曲的多个声部中的演奏声部以外的声部(以下，称为“播放声部”)进行播放。演奏声部例如是构成乐曲的主旋律的1个以上的声部。播放声部例如是构成乐曲的伴奏的1个以上的声部。如根据以上说明所理解的那样，通过并行地执行由利用者u进行的演奏声部的演奏和由播放系统100进行的播放声部的播放，从而实现乐曲的演奏。此外，演奏声部和播放声部可以是乐曲的共通的声部。另外，也可以是演奏声部构成乐曲的伴奏，播放声部构成该乐曲的主旋律。
31.播放系统100具有音响处理系统10和演奏装置20。音响处理系统10和演奏装置20分体地构成，通过有线或无线的方式相互通信。此外，也可以一体地构成音响处理系统10和演奏装置20。
32.演奏装置20是在由音响处理系统10进行的控制下对乐曲的播放声部进行播放的播放装置。具体而言，演奏装置20是执行播放声部的自动演奏的自动演奏乐器。例如，将与利用者u演奏的乐器80不同种类的自动演奏乐器(例如，自动演奏钢琴)作为演奏装置20而利用。如根据以上说明所理解的那样，自动演奏是“播放”的一个方式。
33.第1实施方式的演奏装置20具有驱动机构21和发音机构22。发音机构22是产生乐音的机构。具体而言，发音机构22与自然乐器的键盘乐器相同地，针对每个键而具有与键盘的各键的位移联动地使弦(发音源)发音的打弦机构。驱动机构21通过对发音机构22进行驱动而执行乐曲的自动演奏。通过与来自音响处理系统10的指示相应地由驱动机构21对发音机构22进行驱动，从而实现播放声部的自动演奏。
34.音响处理系统10是对由演奏装置20进行的播放声部的播放进行控制的计算机系统，具有控制装置11、存储装置12、拾音装置13及操作装置14。音响处理系统10例如通过智能手机或平板终端等可移动型的终端装置、或个人计算机等可移动型或固定型的终端装置而实现。此外，音响处理系统10除了可以由单体的装置实现以外，还可以由相互分体地构成的多个装置实现。
35.控制装置11是对音响处理系统10的各要素进行控制的单个或多个处理器。具体而言，例如通过cpu(central processing unit)、spu(sound processing unit)、dsp(digital signal processor)、fpga(field programmable gate array)、或asic(application specific integrated circuit)等1种以上的处理器而构成控制装置11。
36.存储装置12是对控制装置11执行的程序和控制装置11使用的各种数据进行存储的单个或多个存储器。存储装置12例如由磁记录介质或半导体记录介质等公知的记录介质构成，或者由多种记录介质的组合构成。另外，也可以将能够相对于音响处理系统10拆装的可移动型的记录介质、或能够进行经由通信网的写入或读出的记录介质(例如，云存储)作为存储装置12而利用。
37.存储装置12将对构成乐曲的多个音符的时间序列进行指定的乐曲数据d针对每个乐曲而存储。图2是乐曲数据d的示意图。乐曲数据d包含参照数据da和演奏数据db。参照数据da对利用者u演奏的演奏声部的音符的时间序列进行指定。具体而言，参照数据da针对演奏声部的多个音符的每一者而对音高、发音期间及发音强度(速度velocity)进行指定。另一方面，演奏数据db对演奏装置20播放的播放声部的音符的时间序列进行指定。具体而言，演奏数据db针对播放声部的多个音符的每一者而对音高、发音期间及发音强度进行指定。
38.参照数据da及演奏数据db的每一者例如是将对乐音的发音或消音进行指示的指示数据和对由指示数据指示的动作的时间点进行指定的时间数据以时间序列排列的midi(musical instrument digital interface)形式的时间序列数据。指示数据例如指定音高和强度而对发音或消音等的动作进行指示。时间数据例如对相前后的指示数据的间隔进行指定。从通过指示数据对特定的音高的发音进行指示起至通过该指示数据的后方的指示数据对该音高的消音进行指示为止的期间是与该音高的音符相关的发音期间。
39.图1的拾音装置13对通过由利用者u进行的演奏而从乐器80发音的乐音进行拾音，生成表示该乐音的波形的音响信号z。例如，将传声器作为拾音装置13而利用。为了方便而省略图示了拾音装置13生成的音响信号z从模拟转换为数字的a/d转换器。此外，利用者u也可以针对拾音装置13而对乐曲的演奏声部进行歌唱。在利用者u对演奏声部进行歌唱的情况下，表示利用者u发音的歌唱音的波形的音响信号z由拾音装置13生成。如根据以上说明所理解的那样，“演奏”除了利用乐器80的狭义的演奏以外，还包含由利用者u进行的乐曲的歌唱。
40.此外，在第1实施方式，例示出将拾音装置13搭载于音响处理系统10的结构，但也
可以将与音响处理系统10分体的拾音装置13以有线或无线的方式连接至音响处理系统10。另外，也可以是音响处理系统10接收来自电弦乐器等电乐器的输出信号而作为音响信号z。如根据以上说明所理解的那样，拾音装置13也可以从音响处理系统10省略。
41.操作装置14是接收来自利用者u的指示的输入设备。如图3所例示的那样，第1实施方式的操作装置14具有通过由利用者u进行的操作而移动的可动部141。可动部141是利用者u用脚能够操作的操作踏板。例如，将踏板型的midi控制器作为操作装置14而利用。利用者u能够一边用双手对乐器80进行演奏，一边在与该演奏并行的希望的时间点对操作装置14进行操作。此外，可以将对利用者u的接触进行检测的触摸面板作为操作装置14而利用。
42.操作装置14与利用者u的操作相应地从放开状态及操作状态的一者转换至另一者。放开状态是操作装置14没有被利用者u操作的状态。具体而言，放开状态是利用者u没有踩踏可动部141的状态。放开状态还表现为可动部141处于位置h1的状态。另一方面，操作状态是操作装置14被利用者u操作的状态。具体而言，操作状态是利用者u踩踏可动部141的状态。操作状态还表现为在与位置h1不同的位置h2存在可动部141的状态。放开状态是“第1状态”的一个例子，操作状态是“第2状态”的一个例子。
43.图4是例示出音响处理系统10的功能性结构的框图。控制装置11通过执行在存储装置12存储的程序，从而实现用于对通过演奏装置20进行的播放声部的播放进行控制的多个功能(演奏解析部31、播放控制部32及指示接收部33)。
44.演奏解析部31通过对从拾音装置13供给的音响信号z进行解析，从而对乐曲内的演奏位置x进行推定。演奏位置x在乐曲内是利用者u实际演奏的时间点。演奏位置x的推定是与由利用者u进行的演奏声部的演奏和由演奏装置20进行的播放声部的播放并行地反复执行的。即，在时间轴上的多个时间点的每一时间点对演奏位置x进行推定。演奏位置x随着时间的经过而向乐曲内的后方移动。
45.具体而言，演奏解析部31通过对乐曲数据d的参照数据da和音响信号z彼此进行对照而对演奏位置x进行计算。对于由演奏解析部31进行的演奏位置x的推定，能够任意采用公知的解析技术(乐谱定位技术)。例如，日本特开2016－099512号公报所公开的解析技术利用于演奏位置x的推定。另外，演奏解析部31也可以利用深度神经网络或隐马尔可夫模型等统计性推定模型而对演奏位置x进行推定。
46.播放控制部32使演奏装置20播放由演奏数据db指定的各音符。即，播放控制部32使演奏装置20执行播放声部的自动演奏。具体而言，播放控制部32使乐曲内应当播放的位置(以下，称为“播放位置”)y随时间向后方移动，将演奏数据db中的与播放位置y相对应的指示数据向演奏装置20依次供给。即，播放控制部32作为将演奏数据db所包含的各指示数据向演奏装置20依次供给的定序器起作用。播放控制部32使演奏装置20对播放声部进行播放的处理是与由利用者u进行的演奏声部的演奏并行地执行的。
47.播放控制部32与由演奏解析部31进行的演奏位置x的推定结果相应地使由演奏装置20进行的播放声部的播放追随由利用者u进行的乐曲的演奏。即，由演奏装置20进行的播放声部的自动演奏以与由利用者u进行的演奏声部的演奏相同的节奏(tempo)推进。例如，播放控制部32在演奏位置x的推进(即，由利用者u进行的演奏速度)快的情况下，使播放位置y的推进的速度(由演奏装置20进行的播放速度)上升，在演奏位置x的推进慢的情况下，使播放位置y的推进的速度下降。即，为了与演奏位置x的推进同步，以与由利用者u进行的
演奏等同的演奏速度执行播放声部的自动演奏。因此，利用者u能够以演奏装置20与自身的演奏相匹配地对播放声部进行演奏这样的感觉对演奏声部进行演奏。
48.如以上所述，在第1实施方式，播放声部的多个音符的播放追随由利用者u进行的乐器80的演奏，因此能够将利用者u的意图(例如，演奏表现)或喜好适当地反映至播放声部的播放。
49.指示接收部33从利用者u接收第1指示q1及第2指示q2。第1指示q1及第2指示q2通过利用者u针对操作装置14的操作而产生。第1指示q1是使由演奏装置20进行的播放声部的播放暂时地停止的指示。第2指示q2是使通过第1指示q1而停止的播放声部的播放重新开始的指示。
50.具体而言，指示接收部33接收利用者u使操作装置14从放开状态转换至操作状态的操作，作为第1指示q1。即，利用者u通过踩踏操作装置14的可动部141而将第1指示q1赋予给音响处理系统10。例如，指示接收部33将可动部141从位置h1(放开状态)朝向位置h2(操作状态)开始移动的时间点确定为第1指示q1的时间点。此外，还能设想到如下结构，即，指示接收部33将可动部141到达从位置h1至位置h2的中途的位置的时间点确定为第1指示q1的时间点的结构，或者指示接收部33将可动部141到达位置h2的时间点确定为第1指示q1的时间点的结构。
51.另外，指示接收部33接收利用者u使操作装置14从操作状态转换至放开状态的操作，作为第2指示q2。即，利用者u通过从踩踏操作装置14的可动部141的状态将该可动部141放开，从而将第2指示q2赋予给音响处理系统10。例如，指示接收部33将可动部141从位置h2(操作状态)朝向位置h1(放开状态)开始移动的时间点确定为第2指示q2的时间点。此外，还能设想到如下结构，即，指示接收部33将可动部141到达从位置h2至位置h1的中途的位置的时间点确定为第2指示q2的时间点的结构，或者指示接收部33将可动部141到达位置h1的时间点确定为第2指示q2的时间点的结构。
52.利用者u能够在演奏声部的演奏中的任意时间点赋予第1指示q1及第2指示q2。因此，第1指示q1和第2指示q2的间隔是与利用者u的意图相应的可变长度。例如，利用者u在乐曲内的休止符期间的开始前赋予第1指示q1，在经过了利用者u的希望的时间长度的休止符期间后的时间点赋予第2指示q2。
53.图5是由演奏装置20进行的播放声部的播放和第1指示q1及第2指示q2之间的关系的说明图。演奏数据db指定的各音符的发音期间和演奏装置20实际上播放的各音符的发音期间一并记载于图5。
54.图5的音符n1是演奏数据db指定的多个音符中的与第1指示q1相对应的音符。具体而言，音符n1是播放声部的多个音符中的在第1指示q1的时间点由演奏装置20播放的音符。播放控制部32在产生第1指示q1之后，直至演奏数据db针对音符n1而指定的发音期间的终点为止，使演奏装置20持续进行该音符n1的播放。例如，播放控制部32在音符n1的发音期间的终点将对该音符n1的消音进行指示的指示数据供给至演奏装置20。如根据以上说明所理解的那样，音符n1的播放不是在第1指示q1的时间点立即停止，而是在产生第1指示q1之后还持续至由演奏数据db指定的终点为止。此外，音符n1是“第1音”的一个例子。
55.图5的音符n2是演奏数据db指定的多个音符中的紧邻音符n1之后的音符。播放控制部32在停止音符n1的播放之后，以由利用者u发出的第2指示q2为契机，使演奏装置20开
始音符n2的播放。即，与演奏数据db针对音符n2而指定的发音期间的起点的位置、及演奏数据db指定的音符n1和音符n2的间隔的时间长度无关地，将第2指示q2的产生作为条件而开始进行音符n2的播放。具体而言，播放控制部32在指示接收部33接收到第2指示q2的情况下，将演奏数据db的音符n2的指示数据供给至演奏装置20。因此，在紧随第2指示q2之后开始进行音符n2的播放。此外，音符n2是“第2音”的一个例子。
56.图6是例示出控制装置11对演奏装置20进行控制的动作(以下，称为“播放控制处理”)sa的具体流程的流程图。以来自利用者u的指示作为契机而开始进行播放控制处理sa。
57.如果开始进行播放控制处理sa，则控制装置11对等待数据w是否处于有效状态进行判定(sa1)。等待数据w是表示处于通过第1指示q1而暂时将播放声部的播放停止的状态的数据(例如，标志)，存储于存储装置12。具体而言，等待数据w在产生了第1指示q1的情况下被设定为有效状态(例如，w＝1)，在产生了第2指示q2的情况下被设定为无效状态(例如w＝0)。等待数据w还可以换称为表示对播放声部的播放的重新开始进行等待的状态的数据。
58.在等待数据w不是有效状态的情况下(sa1：no)，控制装置11(演奏解析部31)通过对从拾音装置13供给的音响信号z进行解析，从而对演奏位置x进行推定(sa2)。控制装置11(播放控制部32)与演奏位置x的推定结果相应地，使由演奏装置20进行的播放声部的播放推进(sa3)。即，控制装置11将由演奏装置20进行的播放声部的播放控制为追随由利用者u进行的演奏声部的演奏。
59.控制装置11(指示接收部33)对是否从利用者u接收到第1指示q1进行判定(sa4)。在接收到第1指示q1的情况下(sa4：yes)，控制装置11(播放控制部32)使演奏装置20直至演奏数据db指定的发音期间的终点为止持续进行在接收第1指示q1的时间点正在播放的音符n1的播放(sa5)。具体而言，控制装置11使播放位置y以与产生第1指示q1的时间点等同的速度(节奏)推进，在播放位置y到达音符n1的发音期间的终点的情况下，将表示该音符n1的消音的指示数据供给至演奏装置20。如果执行以上处理，则控制装置11将等待数据w从无效状态变更为有效状态(w＝1)(sa6)。此外，也可以在执行步骤sa5之前执行等待数据w的更新(sa6)。
60.如果等待数据w被设定为有效状态，则步骤sa1的判定的结果为肯定。在等待数据w处于有效状态的情况下(sa1：yes)，不执行演奏位置x的推定(sa2)、播放声部的播放控制(sa3)及与音符n1相关的处理(sa4－sa6)。即，以来自利用者u的第1指示q1作为契机，停止与演奏位置x联动的播放声部的播放控制。另外，在没有接收到第1指示q1的情况下(sa4：no)，不执行与音符n1相关的处理(sa5、sa6)。
61.控制装置11(指示接收部33)对是否从利用者u接收到第2指示q2进行判定(sa7)。在接收到第2指示q2的情况下(sa7：yes)，控制装置11(播放控制部32)使演奏装置20播放紧随音符n1之后的音符n2(sa8)。具体而言，控制装置11将播放位置y更新为音符n2的起点。即，通过第2指示q2而重新开始进行通过第1指示q1而停止的播放声部的播放。控制装置11将等待数据w从有效状态变更为无效状态(w＝0)(sa9)。如前述那样，如果等待数据w被设定为无效状态，则步骤sa1的判定的结果为否定。因此，以第2指示q2作为契机，重新开始进行演奏位置x的推定(sa2)和播放声部的播放控制(sa3)。此外，也可以在执行步骤sa8之前执行等待数据w的更新(sa8)。
62.控制装置11判定是否将由演奏装置20进行的播放声部的播放结束(sa10)。例如，
在直至播放声部的终点为止完成了播放的情况下、或者在由利用者u指示了结束的情况下，控制装置11判定为结束播放声部的播放。在没有结束播放声部的播放的情况下(sa10：no)，控制装置11使处理进入至步骤sa1，反复进行以上所例示的处理(sa1－sa9)。另一方面，在控制装置11判定为结束播放声部的播放的情况下(sa10：yes)，将播放控制处理sa结束。
63.如以上说明的那样，在第1实施方式，在播放与第1指示q1相对应的音符n1、且停止音符n1的播放之后，以由利用者u发出的第2指示q2作为契机，开始进行紧随音符n1之后的音符n2的播放。因此，能够与第1指示q1及第2指示q2的各时间点相应地对音符n1的播放和音符n2的播放之间的间隔(例如，乐曲内的休止符期间的时间长度)进行变更。
64.另外，在第1实施方式，关于在产生第1指示q1的时间点正在播放的音符n1的播放，在产生第1指示q1之后也持续进行至演奏数据db指定的音符n1的终点为止。因此，与在产生第1指示q1的时间点将音符n1的播放停止的结构相比，能够与演奏数据db的内容相应地适当持续进行音符n1的播放。
65.在第1实施方式，利用者u对操作装置14进行操作，由此能够将音符n1和音符n2之间的间隔变更为与利用者u的意图或喜好相应的适当的时间长度。在第1实施方式，特别是通过使操作装置14从放开状态转换至操作状态而产生第1指示q1，在维持了该操作状态之后，通过在产生第1指示q1之后的希望的时间点使操作装置14从操作状态转换至放开状态而产生第2指示q2。即，通过使操作状态从放开状态转换至操作状态并再次转换至放开状态的一系列的操作，产生第1指示q1及第2指示q2。因此，与针对第1指示q1及第2指示q2而分别需要使操作装置14从放开状态转换至操作状态的操作的结构相比，利用者u针对操作装置14的操作得到简化。
66.b：第2实施方式
67.对第2实施方式进行说明。此外，在以下所例示的各方式中针对功能与第1实施方式相同的要素，沿用与在第1实施方式的说明中使用的标号相同的标号，适当省略各自的详细说明。
68.在第1实施方式，在产生了第1指示q1的情况下，以与第1指示q1的时间点等同的速度使播放位置y推进，在播放位置y到达音符n1的终点的情况下，停止进行该音符n1的播放。第2实施方式的播放控制部32将产生第1指示q1后的播放位置y的推进速度(即，播放声部的播放速度)与可动部141的操作速度v1相应地控制为可变。操作速度v1是可动部141从与放开状态相对应的位置h1朝向与操作状态相对应的位置h2而移动的速度。例如，在可动部141从位置h1移动至位置h2为止的期间内计算的多个速度的平均值是操作速度v1。
69.图7是与第2实施方式的操作装置14的状态相关的说明图。如图7所例示的那样，在可动部141从位置h1朝向位置h2而开始移动的时间点，指示接收部33接收到第1指示q1。播放控制部32与可动部141的操作速度v1相应地对产生第1指示q1后的播放位置y的推进速度进行控制。
70.具体而言，播放控制部32是操作速度v1越快则使播放位置y的推进速度越上升。例如，如图7所例示的那样，操作速度v1为速度v1_h的情况下的播放位置y的推进速度大于操作速度v1为速度v1_l(v1_l＜v1_h)的情况下的播放位置y的推进速度。因此，操作速度v1越快，则越缩短音符n1的持续长度。例如，操作速度v1为速度v1_h的情况下的音符n1的持续长度短于操作速度v1为速度v1_l的情况下的音符n1的持续长度。
71.在第2实施方式，也实现与第1实施方式相同的效果。在第2实施方式，由于音符n1的持续长度是与操作速度v1相应地被控制的，因此存在利用者u能够对音符n1的持续长度进行调整这样的优点。另外，在第2实施方式，用于赋予第1指示q1及第2指示q2的操作装置14还兼用于音符n1的持续长度的调整。因此，与针对第1指示q1及第2指示q2的赋予和音符n1的持续长度的调整分别由利用者u对单独的设备进行操作的结构相比，还存在由利用者u进行的操作得到简化的优点。
72.c：第3实施方式
73.在第1实施方式，在紧随第2指示q2之后开始了音符n2的播放。在第2实施方式，将第2指示q2至开始进行音符n2的播放为止的时间(以下，称为“延迟时间”)与操作速度v2相应地控制为可变。操作速度v2是可动部141从与操作状态相对应的位置h2朝向与放开状态相对应的位置h1而移动的速度。例如，在可动部141从位置h2移动至位置h1为止的期间内计算的多个速度的平均值是操作速度v2。
74.图8是与第3实施方式的操作装置14的状态相关的说明图。如图8所例示的那样，在从位置h2朝向位置h1而可动部141开始移动的时间点，指示接收部33接收到第2指示q2。播放控制部32与操作速度v2相应地将延迟时间控制为可变。
75.具体而言，播放控制部32是操作速度v2越快则使延迟时间越缩短。例如，如图8所例示的那样，操作速度v2为速度v2_l的情况下的延迟时间长于操作速度v2为速度v2_h(v2_h＞v2_l)的情况下的延迟时间。因此，操作速度v2越慢，则开始进行音符n2的播放的时间点成为在时间轴上越后方的时间点。
76.在第3实施方式，也实现与第1实施方式相同的效果。在第3实施方式，由于开始进行音符n2的播放的时间点是与操作速度v2相应地被控制的，因此存在利用者u能够对播放声部的重新开始后的最初的音符n2的起点进行调整这样的优点。另外，在第3实施方式，用于赋予第1指示q1及第2指示q2的操作装置14还兼用于音符n2的起点的调整。因此，与针对第1指示q1及第2指示q2的赋予和音符n2的起点的调整分别由利用者u对单独的设备进行操作的结构相比，还存在由利用者u进行的操作得到简化的优点。此外，可以将第2实施方式的结构应用于第3实施方式。
77.d：第4实施方式
78.图9是例示出第4实施方式的音响处理系统10的功能性结构的框图。第4实施方式的控制装置11在与第1实施方式相同的要素(演奏解析部31、播放控制部32及指示接收部33)的基础上，还作为编辑处理部34起作用。编辑处理部34将存储于存储装置12的演奏数据db与来自利用者u的指示相应地进行编辑。编辑处理部34以外的要素的动作与第1实施方式相同。因此，在第4实施方式，也实现与第1实施方式相同的效果。此外，可以将第2实施方式或第3实施方式的结构应用于第4实施方式。
79.图10是编辑处理部34的动作的说明图。在图10，图示出播放声部的演奏数据db指定的音符n1及音符n2。与前述的各方式相同地，第1指示q1及第2指示q2是利用者u在任意时间点产生的。因此，在演奏数据db指定的音符n2的起点和第2指示q2的时间点之间，产生时间差l。编辑处理部34以使得时间差l减小的方式对演奏数据db进行编辑。
80.图11是例示出编辑处理部34对演奏数据db进行编辑的处理(以下，称为“编辑处理”)sb的具体流程的流程图。例如，每当由演奏装置20进行的播放声部的播放(前述的播放
控制处理sa)反复了规定次时，执行编辑处理sb。此外，也可以以来自利用者u的指示作为契机而开始进行编辑处理sb。
81.如果开始进行编辑处理sb，则编辑处理部34对过去的规定次的播放控制处理sa的时间差l的分散度δ进行计算(sb1)。分散度δ是表示与多个时间差l相关的分散的程度的统计量。例如，将多个时间差l的分散、标准偏差或分布范围等作为分散度δ而利用。
82.编辑处理部34对分散度δ是否大于阈值δth进行判定(sb2)。在分散度δ大于阈值δth的情况下，推定为利用者u一边有意识地使至重新开始音符n2的播放为止的等待时间变动一边对乐曲的演奏进行练习。因此，与多个时间差l相应地对演奏数据db进行编辑是不妥当的。另一方面，在分散度δ小于阈值δth的情况下，推定为多个时间差l是符合利用者u的意图或喜好的数值(即，利用者u所固有的合适值)。
83.考虑到以上倾向，编辑处理部34在分散度δ小于阈值δth的情况下(sb2：no)，与多个时间差l相应地对演奏数据db进行编辑(sb3－sb4)。另一方面，在分散度δ大于阈值δth的情况下(sb2：yes)，编辑处理部34不执行演奏数据db的编辑(sb3、sb4)而将编辑处理sb结束。
84.在演奏数据db的编辑中，编辑处理部34通过对多个时间差l进行平均而计算出平均时间差la(sb3)。然后，编辑处理部34使由演奏数据db指定的音符n2的起点变化平均时间差la的量(sb4)。例如，在平均时间差la为负数的情况下，编辑处理部34将演奏数据db指定的音符n2的起点向前方移动与该平均时间差la相当的时间的量。另外，在平均时间差la为正数的情况下，编辑处理部34将又演奏数据db指定的音符n2的起点向后方移动与该平均时间差la相当的时间的量。即，在存在利用者u充分地确保紧随音符n2之前的等待时间的倾向的情况下，将演奏数据db指定的音符n2的起点向后方变更，在存在等待时间短的倾向的情况下，将演奏数据db指定的音符n2的起点向前方变更。
85.如根据以上说明所理解的那样，在第4实施方式，与由利用者u进行的演奏声部的演奏中的时间差l相应地对演奏数据db进行编辑。因此，可以将各利用者u所固有的倾向反映至演奏数据db。
86.e：第5实施方式
87.图12是例示出第5实施方式涉及的播放系统100的结构的框图。第5实施方式的音响处理系统10在与第1实施方式的音响处理系统10相同的要素(控制装置11、存储装置12、拾音装置13及操作装置14)的基础上，还具有显示装置15。显示装置15对从控制装置11指示的图像进行显示。显示装置15例如是液晶显示面板或有机el显示面板。
88.利用者u1与第1实施方式相同地对乐器80进行演奏。乐器80是通过由利用者u1进行的演奏而发音的弦乐器等自然乐器。另一方面，第5实施方式的演奏装置20是除了作为执行乐曲的播放声部的自动演奏的播放装置起作用以外，还作为能够进行由利用者u2进行的手动演奏的电子乐器起作用的自动演奏乐器。具体而言，演奏装置20与前述的各方式的演奏装置20相同地，具有驱动机构21和发音机构22。
89.由利用者u2进行的手动演奏例如是键盘的按键等、通过利用者u2的身体的动作进行的演奏。发音机构22与由利用者u2进行的演奏联动地进行动作，由此从演奏装置20发出乐音。另外，演奏装置20与由利用者u2进行的演奏并行地，将表示该演奏的指示的指示数据d向音响处理系统10依次输出。指示数据d例如对音高和发音强度进行指定而指定发音或消
音等的动作。
90.图13是例示出第5实施方式的音响处理系统10的功能性结构的框图。第5实施方式的控制装置11通过执行存储于存储装置12的程序，从而在与第1实施方式相同的要素(演奏解析部31、播放控制部32及指示接收部33)基础上，还作为准备处理部35及显示控制部36起作用。
91.准备处理部35生成在播放控制处理sa利用的乐曲数据d(参照数据da及演奏数据db)。具体而言，准备处理部35生成与由利用者u1进行的乐器80的演奏和由利用者u2进行的演奏装置20的演奏相应的乐曲数据d。显示控制部36使显示装置15显示各种图像。
92.准备处理部35具有第1收录部41、第2收录部42及音响解析部43。音响解析部43生成在播放控制处理sa利用的参照数据da。具体而言，音响解析部43通过在开始进行播放控制处理sa之前执行调整处理sc(图15)而生成参照数据da。音响解析部43生成的参照数据da被存储于存储装置12。
93.在执行调整处理sc之前的期间(以下，称为“准备期间”)，利用者u1及利用者u2对乐曲进行合奏。具体而言，在准备期间，利用者u1通过乐器80对该乐曲的演奏声部进行演奏，利用者u2通过演奏装置20对乐曲的播放声部进行演奏。调整处理sc是在准备期间内利用由利用者u1及利用者u2演奏乐曲的结果而生成参照数据da的处理。此外，利用者u1也可以对着拾音装置13而对乐曲的演奏声部进行歌唱。
94.第1收录部41取得在准备期间内由拾音装置13生成的音响信号z。此外，以下为了方便而将在准备期间内由第1收录部41取得的音响信号z标记为“参照信号zr”。第1收录部41将参照信号zr保存至存储装置12。
95.在准备期间内，除了通过由利用者u1进行的演奏而从乐器80发音的乐音以外，通过由利用者u2进行的演奏而从演奏装置20发音的乐音也到达至拾音装置13。因此，参照信号zr是包含乐器80的音响成分和演奏装置20的音响成分的音响信号。此外，乐器80是“第1音源”的一个例子，演奏装置20是“第2音源”的一个例子。在利用者u1对演奏声部进行歌唱的情况下，该利用者u1相当于“第1音源”。
96.第2收录部42取得表示准备期间内的演奏装置20的演奏的演奏数据db。具体而言，第2收录部42生成将与由利用者u2进行的演奏相应地从演奏装置20依次供给的指示数据d、和对相前后的指示数据d的间隔进行指定的时间数据以时间序列排列的midi形式的演奏数据db。第2收录部42将演奏数据db保存至存储装置12。存储于存储装置12的演奏数据db如在前述的各方式中所例示的那样，被利用于播放控制处理sa。此外，也可以将第2收录部42取得的演奏数据db由第4实施方式例示出的编辑处理部34进行编辑。
97.如根据以上说明所理解的那样，在准备期间将参照信号zr和演奏数据db保存至存储装置12。音响解析部43通过调整处理sc而生成参照数据da，该调整处理sc利用了由第1收录部41取得的参照信号zr和由第2收录部42取得的演奏数据db。
98.图14是例示出音响解析部43的具体结构的框图。如图14所例示的那样，音响解析部43具有指标计算部51、期间推定部52、音高推定部53及信息生成部54。此外，第5实施方式的操作装置14从利用者u(u1或u2)接收与适用于调整处理sc的多个变量(α，β，γ)各自的数值相关的指示。即，利用者u可以通过对操作装置14进行操作而对各变量的数值进行设定或变更。
99.[指标计算部51]
[0100]
指标计算部51对发音指标c(t)进行计算。记号t是指时间轴上的1个时间点。即，指标计算部51对与时间轴上的不同的时间点t相对应的发音指标c(t)的时间序列进行确定。发音指标c(t)是在参照信号zr包含乐器80的音响成分的准确度(似然度或概率)的指标。即，在时间轴上的时间点t，乐器80的音响成分包含于参照信号zr的准确度越高，则发音指标c(t)设定为越大的数值。第1实施方式的指标计算部51具有第1解析部511、第2解析部512、第1运算部513及第2运算部514。
[0101]
第1解析部511通过对参照信号zr进行解析而对第1指标b1(t,n)进行计算。记号n是指n个音高p1～pn中的任意者(n＝1～n)。具体而言，第1解析部511针对时间轴上的每个时间点t而对与不同的音高pn相对应的n个第1指标b1(t,1)～b1(t,n)进行计算。即，第1解析部511对第1指标b1(t,n)的时间序列进行计算。
[0102]
与音高pn相对应的第1指标b1(t,n)是演奏装置20或乐器80的该音高pn的音响成分包含于参照信号zr的准确度的指标，设定为0以上且1以下的范围内的数值。对于演奏装置20及乐器80的一者或两者，音高pn的音响成分的强度越大，则第1指标b1(t,n)设定为越大的数值。如根据以上说明所理解的那样，第1指标b1(t,n)还可换称为参照信号zr的与各音高pn的音响成分的强度相关的指标。对于由第1解析部511进行的第1指标b1(t,n)的计算，可以任意地采用公知的音响解析技术(特别是音高推定技术)。
[0103]
第2解析部512通过对演奏数据db进行解析而对第2指标b2(t,n)进行计算。具体而言，第2解析部512针对时间轴上的每个时间点t而对与不同的音高pn相对应的n个第2指标b2(t,1)～b2(t,n)进行计算。即，第2解析部512对第2指标b2(t,n)的时间序列进行计算。
[0104]
与音高pn相对应的第2指标b2(t,n)是与演奏数据db在时间点t对音高pn的音符指定的发音强度相应的指标，设定于0以上且1以下的范围内的数值。演奏数据db指定给音高pn的音符的发音强度越大，则第2指标b2(t,n)成为越大的数值。在时间点t处不存在音高pn的音符的情况下，第2指标b2(t,n)设定为0。
[0105]
对于第2指标b2(t,n)的计算，应用与来自利用者u的指示相应地设定的变量α。例如，第2解析部512通过以下的数式(1)的运算而对第2指标b2(t,n)进行计算。
[0106]
【数式1】
[0107]
b2(t，n)＝1-exp{-c
·
v(t，n)
·
α}
ꢀꢀꢀ
(1)
[0108]
数式(1)中的记号ν(t,n)是与在时间轴上的时间点t由演奏数据db指定给音高pn的发音强度相对应的数值。在时间轴上的时间点t处于音高pn的音符的发音期间内的情况下，强度ν(t,n)设定为演奏数据db指定给该音符的发音强度。另一方面，在时间轴上的时间点t处于音高pn的发音期间外的情况下，强度ν(t,n)设定为0。数式(1)的记号c是系数，设定为规定的正数。
[0109]
如根据数式(1)所理解的那样，在变量α小的情况下，即使强度ν(t,n)为大的数值，第2指标b2(t,n)也被设定为小的数值。另一方面，在变量α大的情况下，即使强度ν(t,n)为小的数值，第2指标b2(t,n)也被设定为大的数值。即，存在如下倾向，即，变量α越小则第2指标b2(t,n)成为越小的数值。
[0110]
图14的第1运算部513通过从第1指标b1(t,n)减去第2指标b2(t,n)而对发音指标e(t,n)进行计算。发音指标e(t,n)是乐器80发音的音高pn的音响成分在时间点t包含于参照
信号zr的准确度(似然度或概率)的指标。具体而言，第1运算部513通过以下的数式(2)的运算而对发音指标e(t,n)进行计算。
[0111]
【数式2】
[0112]
e(t，n)＝max{0，b1(t，n)-b2(t，n)}
ꢀꢀ
(2)
[0113]
数式(2)的max{a，b}是指选择数值a及数值b中的较大者的运算。如根据数式(2)所理解的那样，发音指标e(t,n)是0以上且1以下的范围内的数值。乐器80发音的音高pn的音响成分的强度越大，则发音指标e(t,n)被设定为越大的数值。即，发音指标e(t,n)还可换称为参照信号zr的与乐器80的音响成分(音高pn)的强度相关的指标。
[0114]
如前述那样，对第1指标b1(t,n)有影响的是演奏装置20及乐器80这两者的音响成分。另一方面，对于第2指标b2(t,n)仅演奏装置20的音响成分有影响。因此，在数式(2)，从第1指标b1(t,n)减去第2指标b2(t,n)的运算相当于从第1指标b1(t,n)压制演奏装置20的音响成分的影响的处理。即，发音指标e(t,n)相当于参照信号zr的音响成分中的与乐器80的音响成分(音高pn)的强度相关的指标。如前述那样，存在如下倾向，即，变量α越大，则第2指标b2(t,n)被设定为越大的数值。因此，变量α是用于对从第1指标b1(t,n)压制演奏装置20的音响成分的影响的程度进行控制的变量。即，变量α越大(第2指标b2(t,n)越大)，在发音指标e(t,n)中越压制演奏装置20的音响成分的影响。
[0115]
第2运算部514根据第1运算部513计算出的发音指标e(t,n)而对发音指标c(t)进行计算。具体而言，第2运算部514通过以下的数式(3)而对发音指标c(t)进行计算。
[0116]
【数式3】
[0117]
c(t)＝max{e(t，1)，e(t，2)，
…
，e(t，n)}
ꢀꢀꢀ
(3)
[0118]
如根据数式(3)所理解的那样，与不同的音高pn相对应的n个发音指标e(t,1)～e(t,n)的最大值被选择为时间点t的发音指标c(t)。如根据以上说明所理解的那样，发音指标c(t)是与n个音高p1～pn的任意者相对应的乐器80的音响成分包含于参照信号zr的准确度的指标。变量α的数值越大(第2指标b2(t,n)越大)，越压制演奏装置20的音响成分对发音指标c(t)的影响。即，演奏装置20的音响成分占优势地存在的期间内的发音指标c(t)成为小的数值。另一方面，不存在演奏装置20的音响成分的期间内的发音指标c(t)在变更了变量α的数值的情况下也几乎不变化。
[0119]
[期间推定部52]
[0120]
图14的期间推定部52对在时间轴上存在乐器80的音响成分的期间(以下，称为“演奏期间”)进行推定。具体而言，期间推定部52利用指标计算部51计算出的发音指标c(t)而对有音指标g(t)进行计算。有音指标g(t)是表示在时间点t是否存在乐器80的音响成分(有音/无音)的指标。存在乐器80的音响成分的时间点t的有音指标g(t)设定为数值g1(例如g1＝1)，不存在乐器80的音响成分的时间点t的有音指标g(t)设定为数值g0(例如g0＝0)。由有音指标g(t)为数值g1的1个以上的时间点t构成的期间相当于演奏期间。演奏期间是“发音期间”的一个例子。
[0121]
在进行演奏期间的推定时，利用第1hmm(hidden markov model)。第1hmm是由相当于有音(数值g1)的有音状态、和相当于无音(数值g0)的无音状态构成的状态转换模型。具体而言，期间推定部52通过维特比搜索(viterbi detection)对由第1hmm发生的最大似然状态的序列进行计算，作为有音指标g(t)。
[0122]
在第1hmm中发生有音状态的概率(以下，称为“有音概率”)λ由以下的数式(4)表现。数式(4)的记号σ是s型函数。无音状态发生的概率是(1－λ)。另外，在时间轴上相邻的2个时间点t之间维持有音状态或无音状态的概率设定为规定的常数(例如0.9)。
[0123]
【数式4】
[0124]
λ＝σ{c(t)-β}
ꢀꢀꢀ
(4)
[0125]
如根据数式(4)所理解的那样，对于有音概率λ的计算，应用与来自利用者u的指示相应地设定的变量β。具体而言，变量β越大，则有音概率λ设定为越小的数值。因此，存在如下倾向，即，变量β越大，则有音指标g(t)越容易设定为数值g0，结果演奏期间越容易成为短的期间。另一方面，变量β越小，有音概率λ设定为越大的数值。因此，存在如下倾向，即，有音指标g(t)容易设定为数值g1，结果演奏期间容易成为长的期间。
[0126]
另外，如前述的那样，变量α越大，则在演奏装置20的音响成分占优势的期间内的发音指标c(t)成为越小的数值。根据数式(4)所理解的那样，发音指标c(t)越小，则有音概率λ设定为越小的数值。因此，存在如下倾向，即，变量α越大，则有音指标g(t)越容易设定为数值g0，结果演奏期间容易成为短的期间。如根据以上说明所理解的那样，变量α不仅影响发音指标c(t)，还影响演奏期间。即，变量α影响发音指标c(t)及有音指标g(t)这两者，另一方面，变量β仅影响有音指标g(t)。
[0127]
[音高推定部53]
[0128]
音高推定部53对乐器80的音响成分的音高k(t)进行确定。即，音高推定部53对与时间轴上的不同的时间点t相对应的音高k(t)的时间序列进行确定。音高k(t)可以设定为n个音高p1～pn的任意者。
[0129]
在进行音高k(t)的推定时，利用第2hmm。第2hmm是由与不同的音高pn相对应的n个状态构成的状态转换模型。音高pn的观测概率x的概率密度函数ρ(x|μn，κn)是由以下的数式(5)表现的冯米塞斯分布(von mises-fisher)分布。
[0130]
【数式5】
[0131]
ρ(x|μn，κn)
∝
exp{κnx
t
μn/(||x||||μn||)}
ꢀꢀ
(5)
[0132]
数式(5)的记号t是指矩阵的转置，记号||||是指范数。数式(5)的记号μn是指位置参数，记号κn是指集中度参数。位置参数μn及集中度参数κn是通过利用发音指标e(t,n)的机器学习而设定的。
[0133]
在第2hmm中，从音高pn1向音高pn2的转换概率λ(n1,n2)由以下的数式(6)表现(n1＝1～n，n2＝1～n，n1≠n2)。针对从n个音高p1～pn选择2个音高pn(pn1，pn2)的所有组合，通过数式(6)而转换概率λ(n1,n2)。
[0134]
【数式6】
[0135]
λ(n1，n2)＝{i γ
·
τ(n1，n2)}/(1 γ)
ꢀꢀꢀ
(6)
[0136]
数式(6)的记号i是指n维的单位矩阵。记号τ(n1,n2)是指从音高pn1向音高pn2的转换的概率，通过利用已有的乐谱的机器学习而设定。此外，在有音指标g(t)为数值g0(无音)的时间点t，从音高pn1向音高pn2的转换概率设定为单位矩阵i，且观测概率x设定为规定的常数。
[0137]
如根据数式(6)所理解的那样，对于音高k(t)的推定，应用与来自利用者u的指示相应地设定的变量γ。具体而言，变量γ越小，则转换概率λ(n1,n2)越靠近单位矩阵i，因此
难以产生从音高pn1向音高pn2的转换。另一方面，变量γ越大，则转换概率τ(n1,n2)针对转换概率λ(n1,n2)的影响增大，因此容易产生从音高pn1向音高pn2的转换。
[0138]
[信息生成部54]
[0139]
信息生成部54对时间轴上的m个发音点t1～tm、及各发音点tm(m＝1～m)的音高fm(f1～fm)进行确定。乐曲内的发音点tm的个数m是可变值。具体而言，信息生成部54在有音指标g(t)为数值g1的演奏期间内，将音高k(t)变化的时间点t确定为发音点tm。另外，信息生成部54将各发音点tm的音高k(tm)确定为音高fm。
[0140]
如前述的那样，变量γ越小，则越难以产生音高pn的转换，因此，发音点tm及音高fm的个数m变少。另一方面，变量γ越大，则越容易产生音高pn的转换，因此发音点tm及音高fm的个数m变多。即，变量γ还可换称为用于对发音点tm及音高fm的个数m进行控制的参数。
[0141]
另外，信息生成部54将包含由指标计算部51(第2运算部514)计算出的发音指标e(t,n)、时间轴上的各发音点tm、及由期间推定部52计算出的有音指标g(t)在内的参照数据da储存于存储装置12。
[0142]
图13的显示控制部36将基于以上说明的音响解析部43得到的解析结果显示于显示装置15。具体而言，显示控制部36将图15例示出的确认画面60显示于显示装置15。确认画面60是用于由利用者u确认基于音响解析部43得到的解析结果的图像。
[0143]
确认画面60包含第1区域61及第2区域62。对第1区域61及第2区域62设定共通的时间轴at。时间轴at是沿横向延伸的轴线。此外，时间轴at可以作为利用者u能够视觉确认的图像而显示，也可以不显示于确认画面60。乐曲中的确认画面60的显示的区间与针对操作装置14的来自利用者u的指示(例如，扩大/缩小的指示)相应地变更。
[0144]
第2区域62中的时间轴at上的演奏期间621和演奏期间621以外的期间(以下，称为“非演奏期间”)622通过不同的显示方式进行显示。例如，演奏期间621和非演奏期间622通过不同的色相进行显示。演奏期间621是在时间轴at上有音指标g(t)设定为数值g1的范围。另一方面，非演奏期间622是在时间轴at上有音指标g(t)设定为数值g0的范围。如根据以上说明所理解的那样，在确认画面60显示由期间推定部52推定出的演奏期间621。
[0145]
在第1区域61显示转换图像64。转换图像64是将指标计算部51计算的发音指标c(t)的时间序列基于时间轴at进行显示的图像。具体而言，转换图像64中的与时间轴at上的时间点t相对应的部分以与发音指标c(t)相应的显示方式进行显示。“显示方式”是指观察者在视觉上能够辨别的图像的性状。例如，除了颜色的3个属性即色相(色调)、饱和度及亮度(灰度)以外，模样或形状也包含于“显示方式”的概念。例如，转换图像64中的与时间点t相对应的部分的灰度的浓度与发音指标c(t)相对应地受到控制。具体而言，转换图像64中的与发音指标c(t)大的时间点t相对应的部分以浓灰度被显示，转换图像64中的与发音指标c(t)小的时间点t相对应的部分以淡灰度被显示。
[0146]
在第2区域62显示五线谱65、多个指示图像67及多个音符图像68。五线谱65由与时间轴at平行的5条直线构成。构成五线谱65的各直线表示不同的音高。即，在第2区域62设定表示音高的音高轴ap。音高轴ap是沿与时间轴at正交的纵方向延伸的轴线。此外，音高轴ap可以作为利用者u能够视觉确认的图像而显示，也可以显示于确认画面60。
[0147]
各指示图像67是表示由信息生成部54生成的1个发音点tm的图像。即，通过多个指示图像67而表现发音点tm的时间序列。具体而言，与发音点tm相对应的指示图像67是在时
间轴at上配置于与该发音点tm相对应的位置的纵线。因此，与不同的发音点tm相对应的多个指示图像67配置于时间轴at上。
[0148]
各音符图像68是表示由信息生成部54生成的1个音高fm的图像。例如，表示音符的符头的图像被作为音符图像68而例示。通过多个音符图像68而表现音高fm的时间序列。音高fm针对每个发音点tm而设定，因此音符图像68针对每个发音点tm(即，针对每个指示图像67)而配置。具体而言，表示发音点tm处的音高fm的音符图像68在时间轴at的方向配置于表示该发音点tm的指示图像67的线上。另外，表示音高fm的音符图像68在音高轴ap的方向配置于与该音高fm相对应的位置。即，各音符图像68配置于与五线谱65重叠或接近的位置。
[0149]
如以上所例示的那样，在确认画面60基于共通的时间轴at而对发音指标c(t)的时间序列(转换图像64)、发音点tm的时间序列(指示图像67)及音高fm的时间序列(音符图像68)进行显示。因此，利用者u能够在视觉上及直观地对发音指标c(t)、发音点tm和音高fm的时间关系进行确认。
[0150]
另外，确认画面60包含多个操作图像71(71a，71b，71c)及操作图像72。各操作图像71是利用者u能够通过操作装置14而操作的操作件。具体而言，操作图像71a是从利用者u接收对变量α进行变更的指示的图像。操作图像71b是从利用者u接收对变量β进行变更的指示的图像。操作图像71c是从利用者u接收对变量γ进行变更的指示的图像。
[0151]
指标计算部51(第2解析部512)与来自利用者u的对操作图像71a的指示相应地对变量α进行变更。指标计算部51通过应用了变更后的变量α的运算而对发音指标c(t)进行计算。显示控制部36在每次进行发音指标c(t)的计算时对确认画面60的转换图像64进行更新。如前述的那样，存在如下倾向，即，变量α越增大，则演奏装置20的音响成分占优势地存在的期间内的发音指标c(t)成为越小的数值，结果上有音指标g(t)越容易设定为数值g0。因此，如图16所例示的那样，变量α越增大、转换图像64中的演奏装置20的音响成分占优势地存在的期间内的灰度越向淡灰度变化，并且非演奏期间622扩大。在准备期间，以使得演奏期间621接近利用者u1演奏乐器80的期间的方式，利用者u一边对确认画面60进行确认一边对操作图像71a进行操作。
[0152]
期间推定部52与来自利用者u的对操作图像71b的指示相应地对变量β进行变更。期间推定部52通过应用了变更后的变量β的运算而对有音概率λ进行计算。显示控制部36在每次进行有音概率λ的计算时，对确认画面60的演奏期间621进行更新。如前述的那样，存在如下倾向，即，变量β越增大，则有音指标g(t)越容易设定为数值g0。因此，如图17所例示的那样，变量β越增大，则非演奏期间622越扩大。在准备期间，以使得演奏期间621接近利用者u1演奏乐器80的期间的方式，利用者u一边对确认画面60进行确认一边对操作图像71b进行操作。
[0153]
音高推定部53与来自利用者u的对操作图像71c的指示相应地对变量γ进行变更。音高推定部53通过应用了变更后的变量γ的运算而对转换概率λ(n1,n2)进行计算。显示控制部36在每次进行转换概率λ(n1,n2)的计算时，对确认画面60的指示图像67及音符图像68进行更新。如前述的那样，变量γ越增大，转换概率λ(n1,n2)越增大。因此，如图18所例示的那样，变量γ越增大，则指示图像67(发音点tm)的个数及音符图像68(音高fm)的个数越增大。以接近准备期间的利用者u1的演奏内容的方式，利用者u一边对确认画面60进行确认一边对操作图像71b进行操作。
[0154]
操作图像72是从利用者u接收参照数据da所保存的指示的图像。信息生成部54将操作了操作图像72的时间点的解析的内容(发音指标e(t,n)、各发音点tm及有音指标g(t))作为参照数据da而保存至存储装置12。
[0155]
图19是例示出调整处理sc的具体流程的流程图。在取得准备期间的演奏数据db及参照信号zr之后，将针对例如操作装置14的来自利用者u的指示作为契机而开始进行调整处理sc。
[0156]
如果开始进行调整处理sc，则音响解析部43执行对参照信号zr进行解析的解析处理sc1。解析处理sc1包含指标计算处理sc11、期间推定处理sc12、音高推定处理sc13及信息生成处理sc14。指标计算处理sc11是“第1处理”的一个例子，期间推定处理sc12是“第2处理”的一个例子，音高推定处理sc13是“第3处理”的一个例子。另外，变量α是“第1变量”的一个例子，变量β是“第2变量”的一个例子，变量γ是“第3变量”的一个例子。
[0157]
指标计算部51利用演奏数据db和参照信号zr而对发音指标c(t)进行计算(指标计算处理sc11)。指标计算处理sc11如前述的那样，包含由第1解析部511进行的第1指标b1(t,n)的计算、由第2解析部512进行的第2指标b2(t,n)的计算、由第1运算部513进行的发音指标e(t,n)的计算、及由第2运算部514进行的发音指标c(t)的计算。在指标计算处理sc11，应用与来自利用者u的指示相应地设定的变量α。
[0158]
期间推定部52通过利用了发音指标c(t)的有音指标g(t)的计算而对演奏期间621进行推定(期间推定处理sc12)。对于期间推定处理sc12，应用与来自利用者u的指示相应地设定的变量β。另外，音高推定部53对乐器80的音响成分的音高k(t)进行推定(音高推定处理sc13)。在音高推定处理sc13，应用与来自利用者u的指示相应地设定的变量γ。而且，信息生成部54对时间轴上的多个发音点tm和每个发音点tm的音高fm进行确定(信息生成处理sc4)。
[0159]
显示控制部36将表示以上例示的解析处理sc1的结果的确认画面60显示于显示装置15(sc2)。具体而言，时间轴at上的演奏期间621、表示发音指标c(t)的转换图像64、表示各发音点tm的指示图像67、及表示各音高fm的音符图像68被显示于确认画面60。
[0160]
音响解析部43对操作图像71(71a，71b，71c)是否被操作进行判定(sc3)。即，判定是否从利用者u指示了变量(α，β或γ)的变更。在操作图像71被操作的情况下(sc3：yes)，音响解析部43执行应用了变更后的各变量(α，β或γ)的解析处理sc1、与该解析处理sc1的结果相应的确认画面60的更新(sc2)。此外，对于由第1解析部511进行的第1指标b1(t,n)的计算，在刚开始进行解析处理sc1之后的指标计算处理sc11中仅执行1次即可。
[0161]
在操作图像71没有被操作的情况下(sc3：no)，音响解析部43判定操作图像72是否被操作(sc4)。即，判定是否从利用者u指示了参照数据da的确定。在操作图像72没有被操作的情况下(sc4：no)，音响解析部43使处理进入至步骤sc3。另一方面，在操作图像72被操作的情况下(sc4：yes)，信息生成部54将当前时间点的解析处理sc1的结果(发音指标e(t,n)、各发音点tm及有音指标g(t))作为参照数据da而保存至存储装置12(sc5)。通过参照数据da的保存而结束调整处理sc。
[0162]
如以上说明的那样，在第1实施方式，基于共通的时间轴at而对发音指标c(t)的时间序列(转换图像64)和音高fm的时间序列(音符图像68)进行显示，因此利用者u能够容易地对生成参照数据da的过程的参照信号zr的解析结果进行确认及修正。具体而言，利用者u
能够在视觉上及直观地对发音指标c(t)和音高fm的时间关系进行确认。
[0163]
另外，在第1实施方式，从通过参照信号zr的解析而计算出的第1指标b1(t,n)减去通过演奏数据db的解析而计算出的第2指标b2(t,n)，由此计算出发音指标c(t)。因此，能够计算出降低了演奏装置20的音响成分的影响的发音指标c(t)。即，能够计算出强调了乐器80的音响成分的发音指标c(t)。另外，将与来自利用者u的指示相应地设定的变量α应用于第2指标b2(t,n)的计算，因此利用者u能够将发音指标c(t)调整为适于准备期间的乐器80的演奏。
[0164]
在第1实施方式，在发音指标c(t)的时间序列(转换图像64)和音高fm的时间序列(音符图像68)的基础上，还将演奏期间621基于共通的时间轴at进行显示。因此，利用者u能够在视觉上及直观地对发音指标c(t)、音高fm和演奏期间621的时间关系进行确认。另外，将与来自利用者u的指示相应地设定的变量β应用于期间推定处理sc12，因此利用者u能够将演奏期间621调整为适于准备期间的乐器80的演奏。
[0165]
在第1实施方式，在发音指标c(t)的时间序列(转换图像64)和音高fm的时间序列(音符图像68)的基础上，还将发音点tm的时间序列(指示图像67)基于共通的时间轴at进行显示。因此，利用者u能够在视觉上及直观地将发音指标c(t)、音高fm和发音点tm的时间关系进行确认。另外，将与来自利用者u的指示相应地设定的变量γ应用于音高推定处理sc13，因此利用者u能够将发音点tm调整为适于准备期间的乐器80的演奏。
[0166]
f：变形例
[0167]
以下，例示出向以上例示的各方式附加的具体变形的方式。可以在彼此不矛盾的范围，适当将从以下例示任意选择出的2个以上方式合并。
[0168]
(1)在前述的各方式，指示接收部33接收使操作装置14从放开状态转换至操作状态的操作作为第1指示q1，但第1指示q1的方式不受以上例示限定。例如，由利用者u进行的特定动作被作为第1指示q1而检测。对于利用者u的动作的检测，例如利用拍摄装置或加速度传感器等各种的检测装置。例如，指示接收部33将利用者u抬高单手的动作、将乐器80抬起的动作、或进行呼吸的动作(例如吸气的动作)等各种动作确定为第1指示q1。利用者u的呼吸例如是将管乐器作为乐器80而演奏的情况下的气息(换气)。第2实施方式的操作速度v1综合表现为作为第1指示q1而确定的利用者u的动作的速度。
[0169]
也可以将表示第1指示q1的特定的数据(以下，称为“第1数据”)包含于演奏数据db。第1数据例如是表示乐曲内的延长符号的数据。指示接收部33在播放位置y到达至第1数据的时间点的情况下判定为产生了第1指示q1。如根据以上说明所理解的那样，第1指示q1不限定于来自利用者u的指示。此外，当在编辑处理sb中分散度δ大于阈值δth的情况下，编辑处理部34可以对音符n1附加第1数据。
[0170]
(2)在前述的各方式，指示接收部33接收使操作装置14从操作状态转换至放开状态的操作，作为第2指示q2，但第2指示q2的方式不受以上例示限定。例如，也可以与第1实施方式的第1指示q1相同地，指示接收部33接收使操作装置14从放开状态转换至操作状态的操作，作为第2指示q2。即，可以将包含可动部141的踩踏及放开在内的2次操作作为第1指示q1及第2指示q2而检测。
[0171]
另外，也可以将利用者u的特定动作作为第2指示q2而检测。对于利用者u的动作检测，例如利用拍摄装置或加速度传感器等各种检测装置。例如，指示接收部33将利用者u放
下单手的动作、使乐器80下降的动作、或进行呼吸的动作(例如呼气的动作)等各种的动作确定为第2指示q2。利用者u的呼吸例如是将管乐器作为乐器80而演奏的情况下的气息(换气)。第2实施方式的操作速度v2综合表现为作为第2指示q2而确定的利用者u的动作的速度。
[0172]
可以将表示第2指示q2的特定数据(以下，称为“第2数据”)包含于演奏数据db。第2数据例如是表示乐曲内的延长符号的数据。指示接收部33在播放位置y到达至第2数据的时间点的情况下判定为产生了第2指示q2。如根据以上说明所理解的那样，第2指示q2不限定于来自利用者u的指示。
[0173]
如以上例示的那样，设想如下结构，即，将相互成对的利用者u的一系列的动作的一者作为第1指示q1而接收，将另一者作为第2指示q2而接收。例如，将利用者u抬高单手的动作作为第1指示q1而接收，将继该动作之后放下单手的动作作为第2指示q2而接收。另外，将利用者u将乐器80抬起的动作作为第1指示q1而接收，将继该动作之后使乐器80下降的动作作为第2指示q2而接收。同样地，将利用者u吸气的动作作为第1指示q1而接收，将继该动作之后呼气的动作作为第2指示q2而接收。
[0174]
但是，第1指示q1及第2指示q2不需要是由利用者u进行的同种动作。即，也可以将利用者u能够相互独立地执行的单独的动作检测为第1指示q1及第2指示q2。例如，指示接收部33可以将针对操作装置14的操作检测为第1指示q1，将抬起乐器80的动作或进行呼吸的动作等其他动作检测为第2指示q2。
[0175]
(3)在前述的各方式，将自动演奏乐器作为演奏装置20而进行了例示，但演奏装置20的结构不受以上例示限定。例如，可以将音源系统采用为演奏装置20，该音源系统具有：音源装置，其与来自音响处理系统10的指示相应地生成乐音的音响信号；以及放音装置，其播放该音响信号表示的乐音。音源装置作为硬件音源或软件音源而实现。此外，针对第5实施方式的演奏装置20，也相同。
[0176]
(4)在第5实施方式，在每次执行由利用者u进行的变量的变更时(sc3：yes)，执行了解析处理sc1的全部，但执行解析处理sc1所包含的各处理(sc11－sc14)的条件不受以上例示限定。在以下的说明，设想通过针对操作图像71(71a，71b，71c)的操作而由利用者u对变量进行变更的情况。具体而言，利用者u通过针对操作装置14的操作而选择操作图像71，在维持选择的状态下对该操作图像71进行移动。变量的数值被变更为与解除了选择的时间点的操作图像71的位置相应的数值。即，操作图像71的选择的解除表示变量的数值的确定。
[0177]
设想通过操作图像71a的操作而由利用者u对变量α进行变更的情况。在选择状态的操作图像71a移动的过程中，指标计算部51通过反复进行指标计算处理sc11而随时更新发音指标c(t)。显示控制部36在每次执行指标计算处理sc11时，与更新后的发音指标c(t)相应地对转换图像64进行更新。即，与操作图像71a的移动(变量α的变更)并行地，执行指标计算处理sc11和转换图像64的更新。在选择了操作图像71a的状态下，不执行期间推定处理sc12、音高推定处理sc13和信息生成处理sc14。在解除了操作图像71a的选择的情况下，利用该时间点的发音指标c(t)而执行期间推定处理sc12、音高推定处理sc13和信息生成处理sc14，与处理结果相应地对确认画面60进行更新。在以上结构中，在选择了操作图像71a的状态下，不执行期间推定处理sc12、音高推定处理sc13和信息生成处理sc14，因此能减轻调整处理sc的处理负荷。
[0178]
设想通过操作图像71b的操作而由利用者u对变量β进行变更的情况。在选择状态的操作图像71b移动的过程中，期间推定部52通过反复进行期间推定处理sc12而随时更新有音指标g(t)。显示控制部36在每次执行期间推定处理sc12时，对确认画面60的演奏期间621进行更新。在选择了操作图像71a的状态下，不执行指标计算处理sc11、音高推定处理sc13和信息生成处理sc14。在解除了操作图像71b的选择的情况下，利用该时间点的有音指标g(t)，执行音高推定处理sc13和信息生成处理sc14，与处理结果相应地对确认画面60进行更新。
[0179]
设想通过操作图像71c的操作而由利用者u对变量γ进行变更的情况。在选择状态的操作图像71c移动的过程中，不执行解析处理sc1及确认画面60的更新(sc2)。在解除了操作图像71c的选择的情况下，执行应用了变更后的变量γ的音高推定处理sc13、应用了通过该音高推定处理sc13计算出的音高k(t)的信息生成处理sc14。根据以上结构，可以削减音高推定处理sc13及信息生成处理sc14的次数，因此能减轻调整处理sc的处理负荷。
[0180]
(5)表示发音指标c(t)的转换图像64的方式不受以上例示限定。例如，如图20所例示的那样，可以将时间轴上的波形作为转换图像64而显示于显示装置15。转换图像64的波形中的时间轴at上的时间点t处的振幅是与发音指标c(t)相应地设定的。例如，在发音指标c(t)大的时间点t处成为大振幅的波形作为转换图像64而显示。此外，也可以将转换图像64重叠于五线谱65而显示。
[0181]
(6)指标计算部51对发音指标c(t)进行计算的处理不限定于在第5实施方式例示出的处理。例如，指标计算部51可以通过将演奏装置20的乐音的振幅谱从参照信号zr的振幅谱减去而对发音指标e(t,n)进行计算。演奏装置20的乐音的振幅谱例如通过生成表示演奏数据db指定的乐音的乐音信号的公知的音源处理、及针对该乐音信号的离散傅里叶转换等频率解析而生成。减法运算后的振幅谱相当于与不同的音高pn相对应的n个发音指标e(t,n)的系列。对演奏装置20的乐音的振幅谱图进行减法运算的程度可以与变量α相应地调整。
[0182]
(7)期间推定部52对演奏期间进行推定的处理不限定于在第5实施方式例示出的处理。例如，期间推定部52将参照信号zr中的信号强度大于阈值的期间推定为演奏期间。阈值可以与变量β相应地调整。另外，音高推定部53对音高k(t)进行推定的处理也不限定于前述的例示。
[0183]
(8)例如，也可以通过在与智能手机或平板终端等终端装置之间进行通信的服务器装置而实现音响处理系统10。例如，终端装置具有：拾音装置13，其生成与由利用者u进行的演奏相应的音响信号z；以及演奏装置20，其与来自音响处理系统10的指示相应地对乐曲进行播放。终端装置将拾音装置13生成的音响信号z、和与利用者u的动作相应的第1指示q1及第2指示q2，经由通信网而发送至音响处理系统10。音响处理系统10与从音响信号z推定的演奏位置x、从终端装置接收的第1指示q1及第2指示q2相应地使终端装置的演奏装置20对乐曲的播放声部进行播放。此外，演奏解析部31也可以搭载于终端装置。终端装置将演奏解析部31推定出的演奏位置x发送至音响处理系统10。在以上结构中，可以从音响处理系统10省略演奏解析部31。第5实施方式的音响处理系统10也同样地通过服务器装置而实现。例如，音响处理系统10通过应用了从终端装置接收到的参照信号zr及演奏数据db的解析处理sc1而生成参照数据da，将该参照数据da发送至终端装置。
[0184]
(9)以上例示的音响处理系统10的功能如前述的那样，通过构成控制装置11的单个或多个处理器、和存储于存储装置12的程序的协同动作而实现。本发明涉及的程序可以以储存于计算机可读取的记录介质的方式提供而安装于计算机。记录介质例如是非临时性(non-transitory)的记录介质，优选是cd-rom等光学式记录介质(光盘)，还包含半导体记录介质或磁记录介质等公知的任意形式的记录介质。此外，作为非临时性的记录介质，包含除了临时性的传输信号(transitory,propagating signal)以外的任意的记录介质，也可以不将易失性的记录介质除外。另外，在传送装置经由通信网而传送程序的结构中，在该传送装置，对程序进行存储的存储装置相当于前述的非临时性的记录介质。
[0185]
g：附录
[0186]
根据以上例示的方式，例如能够掌握以下结构。
[0187]
本发明的一个方式(方式1)涉及的音响处理系统具有音响解析部以及显示控制部，该音响解析部执行对收录有第1音源的音响的音响信号进行解析的解析处理，所述解析处理包含如下处理：第1处理，其对发音指标的时间序列进行确定，该发音指标是在所述音响信号包含所述第1音源的音响成分的准确度的指标；以及对与所述第1音源的音响成分相关的音高的时间序列进行确定的处理，该显示控制部使所述发音指标的时间序列和所述音高的时间序列基于共通的时间轴而显示于显示装置。在以上方式，发音指标的时间序列和音高的时间序列基于共通的时间轴而显示，因此利用者容易对生成参照数据的过程的音响信号的解析结果进行确认及修正。具体而言，利用者能够在视觉上及直观地对发音指标和音高的时间关系进行确认。
[0188]
在方式1的具体例(方式2)，所述音响信号包含所述第1音源的音响成分和第2音源的音响成分，所述第1处理包含如下处理：对与所述音响信号的强度相应的第1指标进行计算的处理；根据针对所述第2音源而指定每个音符的发音强度的演奏数据，对与所述第2音源的音响成分的强度相应的第2指标进行计算的处理；以及从所述第1指标减去第2指标的处理，所述发音指标是与所述减法运算的结果相应的指标。在以上方式中，根据从与包含第1音源的音响成分和第2音源的音响成分在内的音响信号的强度相应的第1指标减去与演奏数据相应地计算的第2指标而得到的结果，对发音指标进行计算。因此，能够计算降低了第2音源的音响成分的影响的发音指标(即，强调了第1音源的音响成分的发音指标)。
[0189]
在方式2的具体例(方式3)中，在对所述第2指标进行计算的处理中，应用与来自利用者的指示相应地设定的第1变量，与所述第1变量相应地所述第2指标发生变化。根据以上方式，利用者能够将发音指标调整为适于第1音源的已有的发音内容(例如，演奏内容)。
[0190]
在方式1至方式3中任一项所述的具体例(方式4)中，所述解析处理还包含对存在所述第1音源的音响成分的发音期间进行确定的第2处理，所述显示控制部使所述发音期间基于所述时间轴而显示。根据以上方式，利用者能够在视觉上及直观地对发音指标及音高和第1音源的发音期间的时间关系进行确定。
[0191]
在方式4的具体例(方式5)中，在所述第2处理，应用与来自利用者的指示相应地设定的第2变量，与所述第2变量相应地所述发音期间发生变化。根据以上方式，利用者能够将发音期间调整为适于第1音源的已有的发音内容(例如演奏内容)。
[0192]
在方式1至方式5中任一项所述的具体例(方式6)中，所述解析处理还包含对所述第1音源的音响成分的音高的时间序列进行确定的第3处理，所述显示控制部使所述音高发
生变化的时间点即发音点基于所述时间轴而显示。根据以上方式，利用者能够在视觉上及直观地对发音指标及音高和第1音源的发音点的时间关系进行确定。
[0193]
在方式6的具体例(方式7)中，对于所述第3处理，应用与来自利用者的指示相应地设定的第3变量，与所述第3变量相应地所述发音点的个数发生变化。根据以上方式，利用者能够将发音点调整为适于第1音源的已有的发音内容(例如，演奏内容)。
[0194]
本发明的一个方式(方式8)涉及的音响处理方法是由计算机系统实现的，执行解析处理，该解析处理对收录有第1音源的音响的音响信号进行解析，包含如下处理：第1处理，其对发音指标的时间序列进行确定，该发音指标是在所述音响信号包含所述第1音源的音响成分的准确度的指标；以及对与所述第1音源的音响成分相关的音高的时间序列进行确定的处理，该音响处理方法使所述发音指标的时间序列和所述音高的时间序列基于共通的时间轴而显示于显示装置。此外，图19的解析处理sc1是方式8的“解析处理”的一个例子。另外，图19的步骤sc2是将方式8的“发音指标的时间序列和音高的时间序列基于共通的时间轴而显示于显示装置的处理”的一个例子。
[0195]
本发明的一个方式(方式9)涉及的程序使计算机系统作为音响解析部及显示控制部而起作用，该音响解析部执行对收录有第1音源的音响的音响信号进行解析的解析处理，所述解析处理包含如下处理：第1处理，其对发音指标的时间序列进行确定，该发音指标是在所述音响信号包含所述第1音源的音响成分的准确度的指标；以及对与所述第1音源的音响成分相关的音高的时间序列进行确定的处理，该显示控制部将所述发音指标的时间序列和所述音高的时间序列基于共通的时间轴而显示于显示装置。
[0196]
标号的说明
[0197]
100
…
播放系统，10
…
音响处理系统，11
…
控制装置，12
…
存储装置，13
…
拾音装置，14
…
操作装置，15
…
显示装置，20
…
演奏装置，21
…
驱动机构，22
…
发音机构，31
…
演奏解析部，32
…
播放控制部，33
…
指示接收部，34
…
编辑处理部，35
…
准备处理部，36
…
显示控制部，41
…
第1收录部，42
…
第2收录部，43
…
音响解析部，51
…
指标计算部，52
…
期间推定部，53
…
音高推定部，54
…
信息生成部，60
…
确认画面，61
…
第1区域，62
…
第2区域，64
…
转换图像，65
…
五线谱，67
…
指示图像，68
…
音符图像，71(71a、71b、71c)、72
…
操作图像，80
…
乐器，141
…
可动部，511
…
第1解析部，512
…
第2解析部，513
…
第1运算部，514
…
第2运算部，621
…
演奏期间，622
…
非演奏期间。