研究のイメージ画像
研究のイメージ画像 / Credit:京都大学,ピアノ演奏を楽譜に書き起こす「耳コピAI」 -実用に近いレベルの楽譜生成に初めて成功-(2021)
technology

ピアノ演奏を楽譜にする「耳コピできるAI」が登場 (2/2)

2021.06.19 Saturday

ピアノ演奏を楽譜に書き起こす「耳コピAI」 -実用に近いレベルの楽譜生成に初めて成功-(京都大学) https://www.kyoto-u.ac.jp/ja/research-news/2021-06-15-1 音響から楽譜へのピアノ採譜 https://audio2score.github.io/index-ja.html
Non-Local Musical Statistics as Guides for Audio-to-Score Piano Transcription? https://www.sciencedirect.com/science/article/abs/pii/S0020025521002516

耳コピができるAI

今回の研究は、機械学習を用いて多重音高検出の手法とリズム量子化の手法を統合した自動ピアノ採譜システムを構築したといいます。

多重音高検出とは、入力音声データに対して、各時刻に含まれる音の高さと強さ、そして打鍵の有無を推定するものです。

リズム量子化とは、人間の演奏に含まれる時間的変動のモデルと、楽譜に現れる一般的なリズムパターンの統計的特徴を表すモデルを作ることです。

これらを深層ニューラルネットワークを用いて、AIに学習させ、従来の手法に比べて採譜の誤りを半数以下に低減させることに成功したのです。

ピアノ演奏音声データから楽譜を生成するには、各時刻における音高 (ピッチ)を認識する問題とビート 時間単位でリズムを認識する必要がある
ピアノ演奏音声データから楽譜を生成するには、各時刻における音高 (ピッチ)を認識する問題とビート 時間単位でリズムを認識する必要がある / Credit:京都大学,ピアノ演奏を楽譜に書き起こす「耳コピAI」 -実用に近いレベルの楽譜生成に初めて成功-(2021)

しかし、局所的には、テンポや拍子、小節線の位置などに誤りが多く見つかりました。

そこで、こうした部分はフレーズの繰り返し、コード進行など複数の音楽要素から決まってくることが多いため、研究グループは音符同士の関係性に関する統計量を使ってこの精度をさらに高める改善を行いました。

結果的に、このシステムは、かなり実用レベルに近い楽譜を生成することに成功し、長年未解決問題だった自動ピアノ採譜の技術を大きく推し進めたのです。

実際に研究では、ピアノ演奏のYouTube動画を利用して、そこから楽譜を自動生成する実験も行っています。

動画を使った自動採譜の聖
動画を使った自動採譜の聖 / Credit:中村栄太(京都大学白眉センター/情報学研究科),音響から楽譜へのピアノ採譜(2021)

音階の研究はピアノ演奏を対象としていますが、同じ方法は歌声やギター、ドラムなど他のさまざまな演奏にも応用できるため、ここから自動採譜の研究が一気に広がっていくことが期待できます。

この技術が本格的に利用可能になれば、誰もがインターネット上の演奏動画から楽譜を起こして演奏できるようになり、より豊かな音楽文化がもたらされるようになるでしょう。

ただ、こうした技術については、音楽の登用など著作権に関わる問題もつきまといます。

研究者たちは、研究の発展に合わせた法整備を進めることも必要だと語っています。

<

1

2

>

みなさんのおかげでナゾロジーの記事が「Googleニュース」で読めるようになりました!
Google ニュースを使えば、ナゾロジーの記事はもちろん国内外のニュースをまとめて見られて便利です。
ボタンからダウンロード後は、ぜひフォローよろしくおねがいします。
App Store からダウンロード Google Play で手に入れよう

テクノロジーのニュースtechnology news

もっと見る

役立つ科学情報

注目の科学ニュースpick up !!