あの人は一体何を考えているのだろうか？・・・というところまではわからなくとも、あの人はなにか嬉しそうだ（なにか良いことがあったのだろうか＞）とか、怒っているようだ（なにか気分を害することをしたのだろうか）といった感情をコンピュータが推定することができれば、我々の社会は大きく変化するでしょう。
本研究室では、研究室の名前の通り、人が出力する様々なマルチメディア（その人が記述・選択したテキスト、画像）を計測することによって、感情を推定するプロジェクトを推進しております。以前は、テキストや画像履歴などを中心とした解析を行っておりましたが、最近は、アイトラッカーなどのデバイスが比較的手軽に使えるようになってきましたので、これに基づいて感情推定を行う基礎的な研究も展開しております。ここでは、それらの取り組みをいくつか紹介したいと思います。
デジタルデバイスと時間感覚の謎～私たちの時間はどう変わったのか？～
皆さんは、「楽しい時間は短く、つまらない時間は長く感じられる」という話を聞いたことはありませんか？また、実際にそのような経験もあるのではないでしょうか？
スマートフォンなどのデジタルデバイスが欠かせない現代において、通勤、通学、待ち時間などの隙間時間にこれらを利用する人が増えていますが、この時の時間感覚はどうでしょう？短く感じますか？長く感じますか？
時間の感じ方については、紀元前のギリシャ時代から意識されるようになってきており、さらに近代ではアインシュタインなどによって、物理的な時間の概念について研究されてきました。その一方で、人が感じる時間の流れや時間感覚の感覚的概念については、大きな謎が残されたままです。
今や、現代人にとってデジタルデバイスは衣食住に匹敵し、むしろそれ以上に重要なものになっています。日常生活の中で常に情報に触れ、視覚、聴覚、触覚が情報過多の状態にさらされているのです。私たちの脳は常にめまぐるしく動き回り、その影響によって意思決定の精度の低下、注意力の散漫、ストレス増加、必要な情報の見落としを引き起こしていると言えます。このような現代特有の習慣がなかった古代と比べ、私たちの時間感覚はどのように変化してきたのでしょうか？時間とは一体何なのでしょう？デジタルデバイスによってもたらされる豊かさがある一方、私たちが奪われているものはあるのでしょうか？その実態に迫るべく、デジタルデバイスと時間感覚の関係について紐解こうとしたのが、本研究室の小嶋さんです。
デバイスと言ってもその種類は様々です。テレビ、パソコン、タブレット、スマートフォンなど、複数利用されています。小嶋さんが着目したのは、この様々なデバイスの画面の大きさの違いが、私たちの時間感覚に影響を与えているのではないかということです。さらに、普段からよくデバイスを利用している人と、あまり利用していない人、つまり、日常生活における利用時間の差が、時間感覚に影響を与えるのではないかという点にも着目しました。どのようなデバイスを、どのくらい利用しているのか、その違いが私たちの時間感覚に与える影響について、実験的に明らかにしようとしています。この関係性を明らかにすることで、デバイス利用時の満足度や幸福度に貢献できるのではないかと考えています。
現在、デジタルデバイスだけでなく、AI、ロボットなど様々な最先端技術が目覚ましい進化を遂げており、テクノロジーは益々身近で当たり前のものとなっています。これから私たち人間はそのような技術とどのように付き合ってゆけばよいのでしょう。最先端技術が私たち人間にもたらす影響について研究し、理解を深めることで、私たち人間の生き方、在り方について見えてくるものがあるのかもしれません。
料理画像コンテンツの閲覧時の視線・筋電特徴量と選好の関係モデルの構築
みなさんは、以下の2つの画像を閲覧したときに、どちらを「美味しそう」と感じますか？ 逆に「美味しくなさそう」と感じますか？
おそらく、カレーライスの画像を「美味しそう」と感じ、逆に、青色のシチューを「美味しくなさそう」と感じるかと思います。（ちなみに、こちらの青色の画像は、普通に作られたものを、画像処理ソフトを使い、わざとを変化させて、美味しくなさそうに演出したものです）
さて、我々は実際に食べてもいないのに、画像を見ただけで「美味しそう」と感じたり、そうでないと感じたりする・・・これは、我々の食事に対する感覚が、視覚情報にかなり大きく影響を受けることを示唆しております。逆に、この感覚を明らかにすることができれば、同じ食材を使った場合でも、より美味しく演出することが可能になり、また、料理のレシピサイトなどで多くのクリックを獲得することができるようになるはずです。
この関係性の解明に、計算知能・マルチメディア研究室の掛水君が取り組み、ある一定の成果が得られております。その成果は非常に高く評価され、感性工学会で優秀プレゼンテーション賞を受賞しております。
・掛水大志,延原肇,加藤茂, アイトラッカーを用いた画像コンテンツ閲覧時の 視線特徴量と関心・感情の関係のモデル化, 第19回日本感性工学会大会, 東京, 筑波大学文京キャンパス, 2017年9月13日
より手軽で、使いやすいアイトラッカーの追求
上記の掛水君の研究では、ユーザの視線と筋電を計測するために、特殊なアイトラッカーとデバイスを用いましたが、それらは、いずれも使い勝手が良いとは言えません。
我々にとって、最も使い勝手のよい、身近なデバイスとはなんでしょうか？
そうです、みなさんが毎日使っていて、ひとときも手放すことのできない・・・手放すと生命の危機を感じるくらいの存在になっている、「スマートフォン」です。言い換えれば、スマートフォンは世の中で最も多い点型のセンサと言えるかと思います。（面型センサの代表例は、気象レーダーなど）
計算知能・マルチメディア研究室の神田君は、スマートフォンのインカメラを用いて、ユーザの視線をできるだけ精度よく推定する研究を展開しております。類似の研究は、米国のMITなども取り組んでおりますが、それを超える精度を目指しております。
・D. Kanda, B. Wang, K. Tomono, S. Kawai and H. Nobuhara, 'Visualization technique for improving gaze estimation models based on deep learning', the 6th International Workshop on Advanced Computational Intelligence and Intelligent Informatics (IWACIII2019), Chengdu, China, Nov. 1–5 (2019)
