音楽に対して人間が感じる「感性」を数値化することで、演奏の類似性を数値によって比較できる人工知能技術が開発されました。
この数値を使うことで、複数の演奏を比較して「雰囲気が似ている」といった感性を表現できて、「自分の演奏はこのひとと似ている」などの比較ができるようになります。
演奏の音楽性の判断基準
コンクールでの評価など、音楽性の判断は「アーティキュレーション」「デュナーミク」「フレージング」と呼ばれる３つの演奏技巧によって行われます。
アーティキュレーションとは、いわゆるスタッカートに奏するとか、レガートに奏するなどのことです。デュナーミクとは強弱法、フレージングはフレーズの切り方のことです。
これらの技巧は通常とは、人間の経験に基づく感性によって判断されますが、もしこれらの判断基準を数値化することができれば、感性のデジタル化が可能になって、新しいコミュニケーション手段としての基盤技術になると期待されています。
そこで筑波大学の研究グループは、ピアノ演奏の音楽表現を人工知能で認識する手法を研究しました。
演奏のデジタル化と音楽性の数値化に成功
演奏をデジタル化する技術としてはMIDIと呼ばれる規格が世界で使われています。これによって、演奏に現れる音符の打鍵タイミングや強さ、音の長さといった情報が時間軸で記録され、またこれを使うことでさまざまな楽器の音への転用もまた可能になっています。
研究グループは、このMIDIデータに含まれる打鍵タイミングに注目して、音楽性の数値化を行いました。
まず、楽譜通りに作成されたMIDIデータを「基準演奏MIDIデータ」とします。
そしてこの基準演奏の打鍵タイミングと、実際に演奏者が弾いた「ユーザ演奏MIDIデータ」の打鍵タイミングを比較して、その時間差を使うことで、音楽性の類似の程度を表すことができることを発見しました。
さらに、ユーザ演奏MIDIデータに含まれる打鍵の強さや音の長さの要素を加えることで、人が感じる演奏表現の違いを定量化できることがわかりました。
これらの演奏から得られた時系列のデータセットを高次元ベクトルとみなして、SVMによる知的情報処理を行いました。
SVMとは、高次元のベクトルを低次元に落とし込むことでベクトル間の距離を推定し、ベクトルの類似性に従って分類できる機械学習アルゴリズムです。
このようにして、音楽性の類似性を数値化することに成功しました。
この技術を使うと、たとえば演奏家Aと演奏家Bの類似性の数値が30で、演奏家Aと演奏家Cの類似性が80であれば、演奏家Aと似ているのは演奏家Bであるということが客観的にわかることになります。
実際にこの数値を使った類似性の判断の正当性を確認する実験を行ったところ、およそ7割の人が類似性を認める結果が得られています。
今回開発した技術を活用することで、たとえば演奏データを使って自分と同じ音楽性のある人をインターネットで検索するなど、新たなコミュニケーションのツールとして利用できます。
また、この技術あピアノレッスンの自動化にも応用できます。目標とするピアニストの演奏をまねたり、音楽表現を練習するサービスへの展開も期待されています。また、ピアノコンクールをインターネット上で開催して、人工知能による自動採点を行うといった使い方も可能になるとしています。
この技術を使った機能は、ローランド株式会社のアプリ「PianoEveryDAy」に搭載されています。
このアプリは、同社のデジタルピアノと連動しており、ユーザの演奏データを取り込むことでピアニストとの演奏比較ができます。
