人の「感性」をデジタル化? 人工知能が音楽のデジタルデータを数値化する研究

artificial-intelligence 2019/04/11
Credit:pixabay
Point
■これまで、人の感性によって判断する演奏の違いを、コンピューターが認識・理解することはできなかった
■ピアノの演奏をデジタルデータ化してMIDIデータで取り込み、基準となる楽譜どおりの演奏データとの差分を用いて複数の演奏の間の類似性を数値化。この数値によって複数の演奏を比較できるようになる
■この技術は言語ではない方法での新しいコミュニケーションの基盤技術になると期待されている

人工知能と音楽が…出会った〜(cv. 下条アトム)

筑波大学システム情報系山際伸一准教授、大阪大学産業科学研究所河原吉伸准教授らの研究グループは、人の感じる音楽の感性を数値化し、演奏の類似性を数値で比較できる人工知能技術を開発しました。

音楽演奏に対する感性を理解する人工知能技術を開発
http://www.tsukuba.ac.jp/attention-research/p201904101400.html

コンピューターに演奏の違いを認識させ数値化する人工知能を開発

コンクール評価などの音楽性の判断は通常、アーティキュレーション、デュナーミング(強弱法)、フレージング(フレーズの切り方)とよばれる3つの要素の違いに基づいて、経験的な人の感性によって行われます。しかしこの判断基準を数値化できれば、感性のデジタル化が可能であると研究グループは考えました。

研究グループは、まずピアノの演奏について注目し、その演奏の音楽表現を人工知能で認識させました。国際的な規格MIDIによってデジタル化された演奏データには、音符の打鍵タイミング、打鍵の強さ、音の長さといった情報が時間軸で記録されます。

数値の比較は、楽譜通りに作った「基準演奏MIDIデータ」を準備し、これと演奏者の「ユーザー演奏MIDIデータ」 の打鍵タイミングの時間差から音楽性の類似の程度を表し、両者を比較することができます。

コンピュータが演奏の類似性を理解する仕組み /Credit:筑波大学

具体的には、上の図のように複数のユーザーの演奏の3つの要素を数値化します。それにより、ユーザー同士の類似性を比較して、音楽感性が似ているかどうか判断できるのです。例えばユーザー1とユーザー3の音楽性は他のユーザーよりも似ていることがわかります。

音楽表現の数値化が可能になると人工知能の新しい応用に

Credit:pixabay

音楽表現の数値化が可能になると、これまでデジタル化が難しかった「人の感性」をもとに新しい人工知能への応用へ向かうことができます。

例えば、演奏データを使って自分と同じ音楽性のある人をインターネットで検索したり、ネット上のピアノコンクールでは人工知能による自動採点も可能です。

すでに実用化されていて、ローランド株式会社のアプリにこの技術が搭載され、アプリは同社のデジタルピアノと連動しています。演奏データは自動的に録音されて、自分の演奏がピアノロール画面で演奏が可視化され再生されます。ピアニストとの演奏比較もできるようです。

 

人工知能と音楽の新しい出会い。それは人工知能が演奏を数値化して比較する技術だったんですね。すでに実用化されているのには驚きです。この人工知能の技術がネット上で利用できるようになれば、言語や視覚を超えて新しいコミュケーションツールになるかもしれませんね。

「AIが人に恋することはあるの?」子どものSFでロマンチックな質問が心をえぐる「夏休み子ども科学電話相談」

reference:research-er.japan筑波大学 / written by Nazology staff

SHARE

artificial-intelligenceの関連記事

RELATED ARTICLE