SIGGN101で「オフライン手書き文字数式化手法の提案と大規模平均文字の比較」という研究を発表してきました（新納真次郎）

こんにちは！
発表報告を溜めすぎて連続更新になってしまった中村研究室学部4年の新納です！笑

今回は第101回グループウェアとネットワークサービス研究発表会で「オフライン手書き文字数式化手法の提案と大規模平均文字の比較」という研究を発表してきたのでご報告させていただきたいと思います。

第101回グループウェアとネットワークサービス研究発表会は3/10(金)〜3/11(土)の2日間にかけ、玉川大学にて行われました。

研究の概要

今回発表したテーマは卒業論文に向けて行っていた研究で、簡単に説明すると画像化された手書き文字から、手書きに関する数式を生成し、手書き文字を平均化することによって、平均手書き文字の分析を行う研究です。

 

本研究のイメージ図

以前中村先生が行っていた研究や私が行っていた研究では、手書き文字や手描き図形を平均するということを行っていました。これは手書き入力されたストロークを数式化することで文字や図形の平均を取っていました。しかし、これらの入力にはコンピュータを用いた手書き入力の必要があり、普段紙や黒板などに書かれた手書きに対しては扱えませんでした。そこで本研究では、手書き文字の画像からストロークを復元し、それらをフーリエ級数展開することによって数式化するということを行いました。

平均化による手書きの美化

詳しい手法については下の方に貼ってある発表時に使ったスライドを見ていただければと思います。

提案手法によってどれだけの精度で数式化が正しく行い再現できているかどうかを確かめるため、評価実験を行ってきました。ここでは5人が3回書いたひらがな46語に対して提案手法によって数式化を行い、精度の評価を行っていきました。結果は以下のようになり、平均70%の精度で数式化し、もともとの手書き文字を再現できていることがわかりました。また中には0%という精度で、5人すべての文字に数式化が失敗してしまっている文字もあるため、今後はこちらも改善できればと思っています。

数式化の精度結果

さらに実際に数式化が上手くいった文字（う、け、さ、せ）に対して以下のような平均文字を生成していきました。

200人の平均文字

学年ごとの平均文字の推移

100人規模の平均文字の比較

このような平均文字のパターンを作ることにより、

• 中学校1年生から高校2年生にかけて、学年が上がるにつれて平均手書き文字が小さくなる
• 学年をミックスして100人規模で手書き文字を平均化すると、その平均文字の形状は収束する

という傾向が見られました。今後はより深く分析することにより明らかにしていくつもりです。

また本研究の応用可能性として、以下のようなことも考えられます。

• 平均化による手書きの美化を行えることから、手書きの資料をスキャンした際に自動でユーザの手書き文字を平均化することによって、ユーザの手書きにおける個性を残したまま綺麗にしてくれるようなスキャナ
• 久保田さんの手書き上達システムにおけるお手本の文字を、スマホの写真撮影によってあらゆる手書き文字を設定できるようなもの
• 手書き文字を数式によってアニメーション表現できることから、現実世界の手書き文字を HMDなどによって見ることによって、アニメーションさせるようなもの
• オフライン手書き文字はオンライン手書き文字と形状が異なると言われるが、平均化することで一緒になるのではないかという分析

本研究の応用可能性

また、今後は手法を改善していくことで数式化の精度を上げていくとともに、上で挙げたような応用が実現できるように頑張っていきたいと思います。

発表スライドは以下のようになっていますので、よかったらご覧ください。

論文につきましては以下をご覧いただくか、アドレス宛てにご連絡くださったらお渡しします。
新納真次郎, 斉藤 絢基, 久保田夏美, 中村聡史, 鈴木正明: オフライン手書き文字数式化手法の提案と大規模平均文字の比較, 研究報告グループウェアとネットワークサービス（GN）, 2017.

メールアドレス：ev30546@meiji.ac.jp

発表時にいただいた質問

発表の質疑ではこのようなものが聞かれました。この度は発表時に説明しきれなかったものに補足して返答していきたいと思います。

Q.「わ」「れ」の区別はつくのか？
A.本研究では文字そのものが何かという文字認識をしているのではなく、ストロークを数式するというものであるので、区別はつかないでもいいものと考えております。

Q.お手本を色々設定できるといっていましたが、教育支援の方向に持っていくことは考えてますか？
A.そのような教育支援の方向に持っていくことも考えています。今後は数式化によって、お手本との違いなども数値化できるようなものも実現できればいいなと考えています。

Q.応用として平均化による手書きの美化の話をしていたのですが、数式を用いなくても文字認識してフォントを利用すれば綺麗になるんじゃないの？
A.フォントではなく平均文字を使うことで、ユーザの手書きにおける個性を保ったまま綺麗にできると考えております。

ご質問・コメントありがとうございました。

発表の感想

まだまだ課題が残る研究ですが、発表をしたことで自分が今後やりたいことがまとまったように感じます。また発表時には質問やコメントなどをしてもらい、発表で伝わらなかった箇所などの客観視することもできました。今後はよりよい発表ができるように、研究を頑張っていくとともに、もっと自分の研究内容が伝わるように発表練習をしていきたいと思います。

発表の様子

発表が終わってテンションがあがる3人

謝辞

本研究は大規模なオフライン手書き文字のデータセット構築をするにあたって、香蘭女学校にご協力いただいたものであり、香蘭女学校の先生および生徒の皆様方に大変感謝の意を表します。

おまけ

また帰り際に打ち上げとして3人でラーメン屋に寄りました！美味しかったので行ってみてはいかがでしょうか？

店舗情報
玉学家
042-726-8122
東京都町田市玉川学園7-8-1
https://tabelog.com/tokyo/A1327/A132701/13131091/