Media Retrieval
ペンコンピュータ上での手書きメモ検索システム
現在、多くの文書がワープロによって作成されているが、 授業中に講義メモを取ったり、アイデアノートをつけるような場合には、 ペンによる手書き筆記の方が便利である。 その理由は、手書き筆記はワープロに比べて、 文字・数式・図・グラフ・絵などを自由に筆記・配置することが可能であり、 かつそれらを即時に書けるからである。 しかし、これらのメモが蓄積されていくと、それらの中から目的の要素を 見つけ出すことが困難となる。 そこで、本研究では、ペンコンピュータ上で書かれた大量の手書きメモの中から、 手書きで書かれた検索クエリに似ている要素を検索する手法を考案している。 具体的には、筆記された各ストローク成分(一筆で書かれた線分)を 形状に基づいて大分類してラベルをつけたあと、 それらのストロークを位置とラベルに基づく円によって表現し、 メモ書きデータベースと検索クエリに対応する円群の重なり面積から類似度を計算することによって、 検索を行う手法を開発した。
右図は、結果の一例である。 左上の小さなウィンドウは検索クエリを筆記する領域、 下の大きなウィンドウはあらかじめ筆記された手書きメモである。 検索クエリを書いて、検索を行った結果、類似記号を含むメモ書きページが表示され、 類似記号が赤色で示されている。
【発表論文】
Tsubasa Yagi, Hidetoshi Miyao, and Minoru Maruyama,
"Robust On-Line Handwritten Object Retrieval using a Similarity Measure Based on Overlap Area of Circles,"
Proc. of the 21st International Conference on Pattern Recognition(ICPR2012), pp.721-724, 2012.
演奏情報に基づく楽譜作成支援
楽器を用いて作曲活動を行う場合、 作曲者は思考したフレーズを楽器で演奏することによって試行錯誤を繰り返し、 気に入ったフレーズが得られた際に、 それらを手書き楽譜の形で記録するという作業が行われていると考えられる。 そこで、オンライン手書き楽譜認識システムを用いて書かれた筆記途中の楽譜を検索クエリとして、 それまでに演奏された楽曲データの中から類似箇所を検索し、 それらの楽曲データから、これから書かれる楽譜を予測候補提示するシステムを開発した。 ここで、検索処理では、楽曲データと楽譜認識結果の双方をピアノロール形式で表現し、 それらの図形的な重なりに基づく類似度を計算することによって、検索を行う手法を開発した。 このシステムにより、作曲活動での楽譜作成時間を大幅に短縮することができると考えている。
【発表論文】
林直哉,宮尾秀俊,丸山稔, "手書き楽譜認識システムにおける演奏情報に基づく楽譜作成支援," 電子情報通信学会信越支部大会, 10A-2, p.161, 2013.