はじめに
中村研究室B4の福井雅弘です。
今回、2024年1月22,23日に伊豆大島で開催されたCN121に参加してきて、「即興型ディベートにおける大局的な反論構造の可視化に基づく議論の噛み合い度合いの基礎検討」というタイトルで発表してきたので、報告します！
詳細な内容は論文見ていただいたほうがわかりやすいかな〜〜と思ったので、本記事では論文に書ききれなかったことを中心にお話しさせていただきます！
モチベーション
即興型ディベート(perliamentary debate)という、あるトピックに関して肯定側と否定側の２チームが討論を行い、第三者が勝敗を判定するという競技があります。この”知のスポーツ”では、限られた時間で第三者を説得するため、主張もさることながらすごく密度の濃い反論が行われます。
そのため、通常の議論分析では文脈や内容を詳細に分析する手法が主流なのですが[Hsiao 22][Wachmuth 18][Shi 23]、試合全体を対象に分析すれば、どの発言からどの発言に反論しているかという情報を使うだけでも、十分に議論の質を評価できるんじゃね？と考えました。なお、ここでの議論の質とは、相手を論破できるような主張の強さではなく、対話としての議論の深さ＝議論の噛み合い度合いを指します。
そして、本研究のタイトルにもある「大局的な反論構造」とは、どこからどこに反論されているか以上の詳細な内容には立ち入らないこと、そして試合全体の反論関係を対象にすることを意味します。
すこし話は逸れますが、即興型ディベートは国内でこそ知名度が低いものの、大学生の世界大会「WUDC」では五大陸から1,500名もの参加者が集まる[ソース]など世界的にホットな競技なので、今後さらに注目が集まる研究対象だと思ってます！
アプローチ：議論マイニングと可視化
複雑な議論構造を分析するための典型的な手法として、議論マイニング(argument mining)があります[Stab 17]。これは、発言と発言の間にあるサポートや反論などの関係性を、グラフ構造として推定するタスクです。本来は機械学習などで文書や音声の文字起こしから自動的に行われますが、著者の技術不足により即興型ディベートの独特な言い回しなどを反映したかったため、今回は著者が手作業で行うことにしました。
そして、このグラフ構造の可視化によって、試合ごとの傾向が結構わかったりします。たとえば、図１および２は肯定側の発言を左側、否定側の発言を右側に、上から時系列に配置し、反論と反論対象を赤いエッジで結んだ事例です。図１では満遍なく反論が行われている一方で、図２では一切反論されていない部分があり、相手の発言を結構スルーしてしまってることがわかります。本研究では、こういった可視化から示唆されることから、議論の質を評価できるか仮説ベースで検証します！
仮説と検証結果
今回立てた仮説は以下の４つです。
- ２ターン以上前の発言への反論の割合は小さい方がよい
- パスが長い＝再反論や再々反論が連続しているため望ましい
- 同じ発言に対し複数の反論が行われる場合、なるべく連続しているほうが良い
- 相手の発言とそれに対する反論の順番は揃っている方がよい
これらの仮説から反論構造グラフの特徴量(機械学習じゃないけど)を定式化し、それらを統合して得られた指標と経験者による議論の質の評価を比較しました。その結果、正の相関がある程度みられました。
今回は検定や仮説の汎化能力などが十分に検討できていなかったため、今後はより厳密な方法で検証を行っていきます。(色々勉強しなきゃ！）
貢献
本研究の貢献は以下の２点にあると考えています。
- 反論を重視した議論マイニングと可視化に基づく分析
- 対話の深まりに着目したディベートの大局的分析
１つ目に関して、既存の議論マイニングの研究では支持関係や矛盾など、一人のスピーチの中で完結する要素が中心に分析されており、異なる立場の者の間でかわされる反論などの対話的要素に関しては十分に分析されていないのが現状です。また、議論のグラフ構造を可視化するシステムはいくつか提案されているものの[Wambsganss 20][Xia 22]、その可視化から示唆される事柄を直接的に議論評価に役立てることを目的とした研究は、本研究をおいて他にないのではと考えています。
２つ目に関して、既存の議論マイニングに関する研究では、議論の質を説得力が強い主張や根拠の数と解釈し、ディベートの勝者は敗者より質の高い議論を展開しているという仮定のもとで分析しているものが多いです[Ruiz-Dolz 22][Hsiao 22]。しかし実際には試合全体のレベルが高く、優れた議論を展開していたのに敗北している可能性や、勝利していても双方が相手側の発言を無視しており、対話として成立していない可能性もあります。本研究ではそうした可能性を考慮し、試合ごとに対話としての質という観点から分析しています。
もちろん他の研究の方針を否定するものではなく、あくまで即興型ディベートの経験者として、試合における優れた議論の性質を見極める手法として、こういうのもありかな、と思ったものを片端から試してみた！という感じです。今後も基本的な方針はそのままに、さらに研究を重ねていきたいと思います。
学会で私と熱い議論を交わしてしてくださった皆様、本当にありがとうございます。参考にさせていただきます。
感想
はじめて大型船に乗って移動したのですが、楽しかったです
また、興味深い研究がいっぱいあって、すごくいい刺激になりました！
最後になりますが、着地点の見えない議論に粘り強く付き合ってくださった中村先生、そしてグループミーティングのみんなをはじめとした研究室の仲間に感謝します！
ありがとうございました！
発表スライド
書誌情報
引用文献
Hsiao, F. H., Yen, A. Z., Huang, H. H., & Chen, H. H. (2022). Modeling Inter Round Attack of Online Debaters for Winner Prediction. In Proceedings of the ACM Web Conference 2022, pp. 2860-2869.
Wachsmuth, H., Syed, S., & Stein, B. (2018). Retrieval of the best counterargument without prior topic knowledge. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, vol. 1, pp. 241-251.
Shi, H., Cao, S., & Nguyen, C. T. (2023). Revisiting the Role of Similarity and Dissimilarity in Best Counter Argument Retrieval. arXiv preprint arXiv:2304.08807.
Stab, C., & Gurevych, I. (2017). Parsing argumentation structures in persuasive essays. Computational Linguistics, vol.43, pp. 619-659.
Ruiz-Dolz, R., Heras, S., & García-Fornes, A. (2022). Automatic Debate Evaluation with Argumentation Semantics and Natural Language Argument Graph Networks. arXiv preprint arXiv:2203.14647.
Roush, A., & Balaji, A. (2020). DebateSum: A large-scale argument mining and summarization dataset. ArXiv, abs/2011.07251.
Wambsganss, T., Niklaus, C.M., Cetto, M., Söllner, M., Handschuh, S., & Leimeister, J.M. (2020). AL: An Adaptive Learning Support System for Argumentation Skills. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, pp. 1-14.
Xia, M., Zhu, Q., Wang, X., Nie, F., Qu, H., & Ma, X. (2022). Persua: A Visual Interactive System to Enhance the Persuasiveness of Arguments in Online Discussion. Proceedings of the ACM on Human-Computer Interaction, vol. 6, pp. 1-30.
ピンバック: 404 -中村聡史研究室