Music Infomation Processing
オンライン手書き楽譜認識システムの構築
作曲者の多くが、いまだに五線紙に手書きで楽譜を書きながら作曲活動を行っているのが現状である。 しかし、これらを後にコンピュータで利用する(例えば、印刷、自動演奏、編集作業など)には、 コンピュータにわかる表現で記録しなおす必要がある。 そこで、本研究では、ペンコンピュータを用いて、ユーザーは紙面に書くのと同等の 感覚で楽譜を書くことができ、かつそれらの記号を逐次にコンピュータが自動認識して 清書楽譜を生成してくれるシステムの開発を行っている。 本システムは、一筆で描かれた記号を、時系列情報から得られた特徴と 2次元画像から得られた特徴を用いて認識する部分と、 複数の一筆記号を意味のある音楽記号として統合して表示する部分からなる。
右図は、結果の一例である。 上段の五線の書かれたウィンドウに手書きで楽譜記号を筆記すると、 それらを即時に認識して清書楽譜を下段に表示してくれる。 現在は、出力された清書楽譜をペンを使って容易に編集できるシステムを開発している。
【発表論文】
Hidetoshi Miyao and Minoru Maruyama, "An Online Handwritten Music Symbol Recognition System,"
International Journal on Document Analysis and Recognition, Vol.9, No.1, pp.49-58, 2007.
タブレット端末による楽譜作成システムの構築
現在、コンピュータを用いて楽譜を作成するアプリケーションの多くは、 楽譜表示ウィンドウと音楽記号のアイコンを持ち、 ユーザーは、これらのアイコンからマウスで記号を選択して、 楽譜に貼り付ける操作を繰り返すことによって楽譜を作成している。 この手法は、楽譜を正確に表現することが可能であるが、 アイコンとウィンドウ間のマウス移動操作を頻繁に繰り返す必要があり、 作成に時間がかかる。 一方、鍵盤楽器で演奏した情報をMIDIインターフェースを用いて、 コンピュータに取り込み、それらを解析することによって、 楽譜を自動生成する手法もある。 この手法では、音の高さは正確に入力できる反面、 意図した音の長さを正確に入力することが難しく、 結局は、後の楽譜修正作業に時間がかかるという問題点があった。 そこで、本研究では、タッチ入力が可能なタブレット端末上で、 音の長さを表現するパネルと音楽キーボードのパネルを指でタッチ することによって、上記の問題点を解決する楽譜作成システムを開発している。 さらに、出力された楽譜に対する、タッチを用いた編集方法についても研究している。
【発表論文】
小林晋也,宮尾秀俊,丸山稔, "タブレット端末による楽譜作成システムの構築,"
電子情報通信学会信越支部大会, 10A-1, p.160, 2013.