HCS研究会で「メロ字ィ: ペンの位置に応じた音階の音提示による手書き文字練習システムの提案」というタイトルで発表してきました!(松田さゆり)

   

はじめに

お久しぶりです。

最近暑いからか、異常に梅を欲するM1の松田さゆりです。😗

2023年5月15〜16日に、沖縄産業支援センターで行われたHCS研究会にて、「メロ字ィ: ペンの位置に応じた音階の音提示による手書き文字練習システムの提案」というタイトルで発表してきたのでその報告をさせていただきます。

発表風景

研究概要

みなさま、漢字をノートにひたすら練習する宿題をした覚えはありませんか?

そしてそのほとんどの方が、何度も書くのめんどうだな、、、😇と思いながらやったのではないでしょうか?

この文字練習のモチベーションを向上させようという研究やサービスはさまざまありますが、文字の形状に合わせて音を鳴らしたりすることが効果的だと考えられます♪✏️

そこで私たちは、退屈な手書き文字の繰り返し練習を楽しく効果的なものにするために、ペンの位置に応じた音階の音が鳴る文字練習システム、「メロ字ィ」を提案し、サービス化いたしました!

実際に https://melogy.net/ から練習できます!!!

この音ですが、下の図のように、あらかじめ領域ごとに鳴る音が決まっていて、ペンの位置に応じてその音が奏でられます✨

音の並べ方は、どんな風にペンが動いても心地のいい音になるように、単純にドレミファソラシドではなく、ギターのソロ演奏等で使われるようなメジャーペンタトニックスケールの音階を使用しました。

 

実験

このメロ字ィが本当に効果的なのかを検証するために3日間文字練習をする実験を行いました。

初めて練習する文字を練習してもらいたかったので、梵字というサンスクリット語で使われる文字を練習してもらいました。

そこでメロ字ィを使用する群は使用しない群より、文字練習を楽しく感じ、総練習回数が多くなるという仮説のもと、指定回数以上練習した回数(3回以上練習してねとお願いし、実際には何回練習したのか)や主観評価を分析しました。その結果、

メロ字ィ群は非メロ字ィ群より、総練習回数が増える傾向があることがわかりました。

また、メロ字ィによる文字練習を楽しいと感じた人は練習回数が増える傾向が見られました。

 

また、音によって、どれくらい文字を記憶したり、区別したりすることができるのかを判定するために、文字が書かれた音のみを聞いて、どの文字を書いているのか当てるという文字当てテストを行いました。

その結果、形が特徴的な文字はメロディも特徴的になるため正解率が高くなること、

似たストロークがある文字はメロディも似てしまうせいか、区別しずらいことがわかりました。

今後はより実用的なシステムにするために、文字練習に注力しやすいような音のデザインや形状に着目した効果音の検討、正しい書き順の習得に関する調査などを行っていきたいと考えています。

また、実際に幼稚園児や小学生に使ってもらいたいと考えています!👧🏫👦

発表スライド

論文情報

松田 さゆり, 渡邉 健斗, 横山 幸大, 青木 由樹乃, 青木 柊八, 中村 聡史, 掛 晃幸, 石丸 築. メロ字ィ: ペンの位置に応じた音階の音提示による手書き文字練習システムの提案, 信学技報 ヒューマンコミュニケーション基礎研究会(HCS), 2023.

感想

すいません、ちょっと語ります笑

 

✏️✏️✏️✏️✏️

 

この研究はもう2年前の2021年夏のハッカソンで提案システム化したものを、改めて開発し実験を行い、論文にしたものになります。

その夏のハッカソンは、学年バラバラの4人グループで、なんと、たった4日間で新しいアイデアを考えるところからシステム化までを行うものです。(ちょっと大変ですが、楽しいし、開発モチベーションが爆上がりするイベント)

そのハッカソンで出来上がったもの(当時M1の先輩がほとんど作ってくれました)を、自分で機能を追加して(開発が得意な同期に超頼りながら)、またさらに新たな言語で開発し直して(これもまたできる後輩が尽力してくれて)出来上がったものになります。

そして27名の方に協力してもらって、実際にシステムを使ってもらう実験を行うことができました。

つまりつまり、たくさんの人のお力添えのもと、発表までたどり着いたのです。もう松田はとても感慨深い気持ちです。笑

 

💗💗💗💗💗

 

そして発表当日ですが、なんと学会会場で、まだひらがなを勉強したことがない女の子が実際にメロ字ィを使ってくれて、、、😭✏️

発表中15分しっかり集中してメロ字ィで遊んでくれたそうです!!!

そして、メロ字ィのメリットの1つとして考えていた「親御さんが直接練習を見ていなくても、音を聞くとどんな練習をしているのか、ちゃんと勉強しているのかわかる」というのを、実際に親御さんに感じていただけました!!

もう言葉が出ないほど嬉しかったです😭💗🌟 ありがとうございました!

 

🚗🚗🚗🚗🚗

 

自由時間には一緒に学会に行ったみんなと観光をしました〜🐠🍍🌊

ジンベイザメ!!

ジンベイザメ!!

衝撃的に美味しかった島らっきょう

衝撃的に美味しかった島らっきょう

バナナボート(この後海に落ちる)

バナナボート(この後海に落ちる)

学会に参加して、美味しいものをたくさん食べて、海を存分に感じて、沖縄を大満喫しました!!本当に楽しい学会出張でした!

最後にはなりますが、ご指導いただいた中村先生、共同研究のワコムさん、関わってくださったみなさまに心より感謝申し上げます。

まだまだ未熟者ですが、いい研究ができるよう、これからも精進してまいります!

 - news, research , , , , , , , , ,