はじめに
こんにちは、B3の古賀です。 1/23~1/24に開催されたGN118で「ALS患者のための自身の手書きを残しコミュニケーションに利用可能とするWebサービスの実現」というタイトルで発表してきたので報告です。
研究概要
TL;DR
筋萎縮性側索硬化症(ALS)という病気が存在し、その病気の患者は筋肉が衰えることで字が書けなくなってしまいます。これは、手書き文字が好きな人にとっては問題なので、症状が悪化する前に字の特徴を保存し、後から手書き風の文章の画像を生成できるシステムによって解決するという研究です。この研究は、ALSの患者さん自身から直接メールでニーズの連絡をいただき、それをもとに研究し、システム化したものになります。
システムのイメージ図は下のようなものです。
今回作ったシステムでは下の画像のような画像を生成することができます。
説明するより使ってもらったほうが分かりやすいと思うのでぜひtegaki.funから使ってみてください。ALS患者さん向けの研究ということになっていますが、そうでない人も年賀状の一言メッセージなどで活用できるかもしれません。
字と文章画像の生成手法について
中村研では過去にひとを騙す手書き文字自動生成手法の研究をしてきています。これは字を構成するストロークの曲線を数式で表し、それを平均化することで字が美化されるというという平均手書き文字手法を応用して色々な文字を生成する研究です。この手法を使えば、2~3個の字しか登録されていなくても重みを変えることで様々な字のバリエーションを生成することが可能なので、その手法を利用して文字を生成し、文章を構成しています。下記図は平均化のイメージです。
そして、こうして生成した各文字を上手く並べることで文章画像を生成しています。字の並べ方は基本的には下揃えですが、「ー」といった字を下揃えにするわけにはいかないので、横長の字は中央揃えに寄せるなどのアルゴリズムで配置しています。また、そのままではバランスが悪い文字が生成されることもあるので、文字をタップすることで再生成することも可能にしています。
利用者テスト
実際にALSの患者さんに繰り返し使ってもらうことでシステムをアップデートしていくという方法で利用性を向上してきました。また、最終的に実現したシステムでは、クリスマスカードを作成いただいたとのことで、うれしく思っています。
展望
今後の展望としては、文字サイズや文章の配置場所と背景画像をテンプレートとして提供することで簡単に使えるようにする、漢字のへんとつくりを別々に登録することで登録しなければいけない文字を減らす、過去に紙に書いた字を写真を撮って取り込めるようにするといったことがあげられます。また、サービスとして公開したことでより多くの人に使ってもらってシステムを改善していきたいです。
ソースコードなど
作ったシステムのソースコードはGitHubで公開しています。
発表スライド
論文情報
感想
初めての発表だったのでめちゃくちゃ緊張しましたが無事終わったのでよかったです。観光は発表前はあまり余裕がなかったのと、発表後は悪天候であまりできませんが、渦潮は見れました(動画じゃないと分かりにくい)。
あとは明石焼きとホテルのご飯おいしかったです。
最後に、研究の相談や発表練習に付き合ってくれた中村先生と研究室の人々ありがとうございました。
ピンバック: 淡路島で開催された第118回GN研究会に参加してきました!(畑中) | 中村聡史研究室
ピンバック: 2023年度 卒業生: 古賀 壮【学士(理学)】#9 | 中村聡史研究室