マルチモーダルデータに基づいた多人数会話の構造理解

会話中に生ずる言語・非言語情報の構造を理解するために，3～5人による会話的インタラクションを計測し，会話状況の解釈や支援を目的とした研究基盤の構築を進めている．本稿では，筆者のグループが構築した多人数会話のマルチモーダルデータの計測環境 IMADEルームと，そこで計測されたデータに基づいて会話の構造分析を行うソフトウェア環境iCorpusStudioを紹介する．iCorpusStudioの特徴は，映像・音声の閲覧やラベリング作業を可能にするだけでなく，非言語情報間の時間構造分析を行うためのラベル間演算や身体動作，視線移動などの数値データ間計算を容易にし，非言語構造パターン解釈のための仮説検証を支援することである．本稿では，聞き手反応に注目した指さし行為の認定に関する分析例を紹介し，iCorpusStudioの利用価値を示す．また，データから発見的に会話構造を理解する試みの例として，非言語情報から会話参加の積極性を解釈する試みを紹介する．