はじめに
中村聡史研究室M1の木下裕一朗です．2025年3月5日から7日にかけて開催された第212回HCI研究会にて，人-AI協調アノテーションの有用性検証とAI予測の提示タイミングが人のラベル決定に及ぼす影響を発表しましたので，その報告をさせていただきます．
研究概要
モチベーション
我々はこれまで，テキストによるネタバレだけでなく，画像からもスポーツの試合結果の予想がついてしまうという問題に着目し，そうした画像によるネタバレを防止するために研究に取り組んできました（詳細はこちらをご覧ください）．我々の過去の研究では，スポーツのネタバレ画像データセットを構築し，ネタバレ画像の判定手法の提案と，その精度評価を行いました．判定精度は85%を達成したものの，データセットにおけるラベルの一貫性や正確性が十分でないことがわかりました．
選手たちの様子から，試合に勝利した可能性が高いと予想できてしまう
この，データセットの品質を向上させるために，我々はAIに着目しました．先行研究によって，人とLLMが協調してアノテーションすることで，アノテーションに要するコストを削減しつつデータ品質を高められる可能性 [1] が示されています．この結果から，我々は人とAIの協調アノテーションがネタバレ画像データセットの質改善に有用なのではないかと考えました．
[1]は，テキストアノテーションタスクにおける人-AI協調アノテーションの有用性を検証しており，データに対するAIの予測ラベルとその理由を人間のアノテーション前に提示していました．ここで我々は，人間のアノテーション前に提示すると，人のラベル選択はAIの予測に引っ張られすぎてしまうのではないかと考えました．AIの予測を，人間がアノテーションした後に提示すれば，まず人は自分自身でラベルを考える必要があります．このようにAIの予測の提示タイミングを変えることによって，人間が選択するラベルの正確性が変わるのではないかと考えました．
左から，AIなし，AIの予測先出し，AIの予測後出し時のアノテーションインタフェース．AIの予測後出しについては，人がラベルを選択すると，AIの予測ラベルとその理由が表示される（それを見て後からラベルを変更可能）．
こうしたことをふまえ，本研究では2つのリサーチクエスチョンを立て，そのことについて検証を行いました．
- RQ1: ネタバレ画像データセットの品質向上に対して，人-AI協調アノテーションは有用か？
- RQ2: AIの予測提示タイミングの違いによって，人間のラベル正確性に及ぼす影響は異なるか？
実験
実験では，AIなし手法，AI予測先出し手法，AI予測後出し手法の3つを用いて，ネタバレ画像データセットに含まれる450枚の画像に対し，再アノテーションを行いました．AIの予測ラベルとその理由は，事前にOpenAIのgpt-4oモデルを使用して取得しました．実験は参加者内計画で実施し，各参加者が3手法すべてを経験しました．
本実験では，使用したネタバレ画像が正しくネタバレとラベル付けされた割合と，非ネタバレ画像が正しく非ネタバレとラベル付けされた割合をそれぞれ手法ごとに求めました．その結果，ネタバレ画像については，AIなし手法が最も高い正確性であった一方で，非ネタバレ画像についてはAI予測後出し手法が最も高い正確性であったことがわかりました．
また，[1]と同様に，AIの予測ラベルが正しかった場合と，誤っていた場合について，それぞれネタバレ/非ネタバレ画像が正しくラベル付けされた割合を求めました．その結果，予測ラベルが正しかった時については，AI予測を提示した2手法の方が，AIなしよりも高いラベル正確性であったことがわかりました．一方で，予測ラベルが誤っている場合は，正確性が大きく低下しました．これらのことから，AIを利用することでアノテーションの正確性が低下してしまうリスクがあるものの，高精度なAIを利用すれば，人-AI協調アノテーションがネタバレ画像アノテーションに有用であると考えられます．また，AIの予測を提示するタイミングについては，大きな差はないものの，予測を先に提示した方がややラベルの正確性が向上することがわかりました．本実験ではこのような結果になりましたが，アノテーションタスクによっては結果が変わる可能性も考えられます．
展望
今回の結果を踏まえてデータセットの再構築と拡張を行い，我々の大目的である画像によるネタバレを防止できるように，ネタバレ防止システム（機能）の実装に取り組みたいと考えています．
参考文献
[1] Wang, X., Kim, H., Rahman, S., Mitra, K. and Miao, Z.: Human-LLM Collaborative Annotation Through Effective Verification of LLM Labels, CHI ’24, pp. 1–21 (2024).
発表スライドと書誌情報
おわりに
今回の研究会でいただいた意見をこれからの研究に活かし，修論としてまとめられるよう頑張っていきたいと思います！
最後になりますが，論文執筆や発表について指導してくださった中村先生に感謝申し上げます．いつもありがとうございます．