あの人は一体何を考えているのだろうか？・・・というところまではわからなくとも、あの人はなにか嬉しそうだ（なにか良いことがあったのだろうか＞）とか、怒っているようだ（なにか気分を害することをしたのだろうか）といった感情をコンピュータが推定することができれば、我々の社会は大きく変化するでしょう。
本研究室では、研究室の名前の通り、人が出力する様々なマルチメディア（その人が記述・選択したテキスト、画像）を計測することによって、感情を推定するプロジェクトを推進しております。以前は、テキストや画像履歴などを中心とした解析を行っておりましたが、最近は、アイトラッカーなどのデバイスが比較的手軽に使えるようになってきましたので、これに基づいて感情推定を行う基礎的な研究も展開しております。ここでは、それらの取り組みをいくつか紹介したいと思います。
料理画像コンテンツの閲覧時の視線・筋電特徴量と選好の関係モデルの構築
みなさんは、以下の2つの画像を閲覧したときに、どちらを「美味しそう」と感じますか？ 逆に「美味しくなさそう」と感じますか？
おそらく、カレーライスの画像を「美味しそう」と感じ、逆に、青色のシチューを「美味しくなさそう」と感じるかと思います。（ちなみに、こちらの青色の画像は、普通に作られたものを、画像処理ソフトを使い、わざとを変化させて、美味しくなさそうに演出したものです）
さて、我々は実際に食べてもいないのに、画像を見ただけで「美味しそう」と感じたり、そうでないと感じたりする・・・これは、我々の食事に対する感覚が、視覚情報にかなり大きく影響を受けることを示唆しております。逆に、この感覚を明らかにすることができれば、同じ食材を使った場合でも、より美味しく演出することが可能になり、また、料理のレシピサイトなどで多くのクリックを獲得することができるようになるはずです。
この関係性の解明に、計算知能・マルチメディア研究室の掛水君が取り組み、ある一定の成果が得られております。その成果は非常に高く評価され、感性工学会で優秀プレゼンテーション賞を受賞しております。
・掛水大志,延原肇,加藤茂, アイトラッカーを用いた画像コンテンツ閲覧時の 視線特徴量と関心・感情の関係のモデル化, 第19回日本感性工学会大会, 東京, 筑波大学文京キャンパス, 2017年9月13日
より手軽で、使いやすいアイトラッカーの追求
上記の掛水君の研究では、ユーザの視線と筋電を計測するために、特殊なアイトラッカーとデバイスを用いましたが、それらは、いずれも使い勝手が良いとは言えません。
我々にとって、最も使い勝手のよい、身近なデバイスとはなんでしょうか？
そうです、みなさんが毎日使っていて、ひとときも手放すことのできない・・・手放すと生命の危機を感じるくらいの存在になっている、「スマートフォン」です。言い換えれば、スマートフォンは世の中で最も多い点型のセンサと言えるかと思います。（面型センサの代表例は、気象レーダーなど）
計算知能・マルチメディア研究室の神田君は、スマートフォンのインカメラを用いて、ユーザの視線をできるだけ精度よく推定する研究を展開しております。類似の研究は、米国のMITなども取り組んでおりますが、それを超える精度を目指しております。
・D. Kanda, B. Wang, K. Tomono, S. Kawai and H. Nobuhara, 'Visualization technique for improving gaze estimation models based on deep learning', the 6th International Workshop on Advanced Computational Intelligence and Intelligent Informatics (IWACIII2019), Chengdu, China, Nov. 1–5 (2019)
