耳コピができるAI
今回の研究は、機械学習を用いて多重音高検出の手法とリズム量子化の手法を統合した自動ピアノ採譜システムを構築したといいます。
多重音高検出とは、入力音声データに対して、各時刻に含まれる音の高さと強さ、そして打鍵の有無を推定するものです。
リズム量子化とは、人間の演奏に含まれる時間的変動のモデルと、楽譜に現れる一般的なリズムパターンの統計的特徴を表すモデルを作ることです。
これらを深層ニューラルネットワークを用いて、AIに学習させ、従来の手法に比べて採譜の誤りを半数以下に低減させることに成功したのです。
しかし、局所的には、テンポや拍子、小節線の位置などに誤りが多く見つかりました。
そこで、こうした部分はフレーズの繰り返し、コード進行など複数の音楽要素から決まってくることが多いため、研究グループは音符同士の関係性に関する統計量を使ってこの精度をさらに高める改善を行いました。
結果的に、このシステムは、かなり実用レベルに近い楽譜を生成することに成功し、長年未解決問題だった自動ピアノ採譜の技術を大きく推し進めたのです。
実際に研究では、ピアノ演奏のYouTube動画を利用して、そこから楽譜を自動生成する実験も行っています。
音階の研究はピアノ演奏を対象としていますが、同じ方法は歌声やギター、ドラムなど他のさまざまな演奏にも応用できるため、ここから自動採譜の研究が一気に広がっていくことが期待できます。
この技術が本格的に利用可能になれば、誰もがインターネット上の演奏動画から楽譜を起こして演奏できるようになり、より豊かな音楽文化がもたらされるようになるでしょう。
ただ、こうした技術については、音楽の登用など著作権に関わる問題もつきまといます。
研究者たちは、研究の発展に合わせた法整備を進めることも必要だと語っています。
