人工知能（Artificial Intelligence）、ビッグデータ（Big Data）、IoT (Internet of Things)といったキーワードが世間を賑わせており、これらのキーワードがニュースに登場しない日はない、というくらい頻繁に目にするようになっています。世界的にも、このAIブームはしばらく継続しそうな感じで、特に、現在の状況はAIの導入をより促進する方向にドライブしてゆくのではないかと個人的に予想しております。
また、私個人（延原）は、つい先日まで、日本の政府の科学技術イノベーションを担当する部署に出向しており、その部署においても、毎日のようにAI戦略、またAI人材の育成についての議論がなされておりました。おそらく日本政府も、ここしばらくは、これらの戦略・政策を中心に進めてゆくことになると思います。
さて、我々の研究室の名前、覚えていますか？
そうです。
「計算知能・マルチメディア研究室」
という名前です。
計算知能(Computaional Intelligence)とは、現行の人工知能（AI）、さらに生物進化モデル、人間の主観の積極的な導入（ファジィ）、カオス・フラクタル等の複雑系、分散人工知能としてのマルチエージェントなどを含む、幅広いコンセプトになります。本研究室では、計算知能を構成する各要素分野を有機的に、かつ斬新な視点で融合し、あるいは必要があれば独自にその分野を創出し、新しい次の世代を切り開くインテリジェンスのあり方を、常に模索しております。新しいコンセプトの提案は、非常にクリエイティブで楽しいプロセスであると同時に、（たぶん、実践した人ならばよくわかる）産みの苦しみに常に悩まされます。皆で、一生懸命、悩みながら、しかし楽しく、エキサイティングに、新しいコンセプトを世に提案しませんか？そんな仲間を募集中です！
それでは、本研究室がこれまでに取り扱ってきた研究トピックをいくつかご紹介しましょう。
計算知能のトピック1: 本質的な転移学習を求めて
人工知能（AI）と言えば、データ駆動型と呼ばれる、豊富でかつ品質の高いデータを使って学習させた深層型ニューラルネットワーク（特に畳み込みニューラルネットワーク、Convolutional Neural Networks）を示すことが多いと思います。確かに、深層型ニューラルネットワークは、あるタスクにおいて、人間をはるかに凌駕する圧倒的なパフォーマンスを持つものもありますが、そのネットワークを構築するためには、まず膨大なデータがなければ話になりません。これがデータ駆動型と呼ばれる由縁です。
一方で、このデータ駆動型AIのための豊富でかつ品質の高いデータを準備すること自体が、そもそも困難である場合があり・・・いや、実は世の中の大半のタスクがそのような場合に該当します。この場合、ゼロからデータを集め、そして深層型ニューラルネットワークを学習させることになりますが、これは、経済的にも時間的にも非常にコストがかかります。
これを解決する技術として注目されているのが、「転移学習」になります。これは、すでにあるタスクに対して、高いパフォーマンスを持つ深層型ニューラルネットワークの一部を効率的に改良することで、データの少ない、別のタスクにも適応できるようにするものです。
従来の転移学習では、すでに完成している深層型ニューラルネットワークに、少し層を追加するなどでチューニングしておりましたが、本研究室では、もっと大胆な転移学習を提案しています。具体的には、深層型ニューラルネットワークの各層をモジュールとして扱い（下図）、各モジュールのうち、「学習可能」なものと「固定」のどちらかにセットし転移学習を実現する研究を行っております。この方法は、今井君が着想したもので、「Stepwise PathNet」という名称をつけております。この各モジュールを「学習可能」なものにするか「固定」にするのかは、対象となるタスクに応じて柔軟に対応させてゆきます。この部分は、生物の進化を模擬した遺伝的アルゴリズムを使って選択・学習を行い、転移学習を実現しています。
今井君の研究では、提案したStepwise PathNetを使い、実際に、IMAGENETによって学習を行ったInception V3というネットワークを、CIFAR100という別の一般物体認識の問題に適応させる転移学習を行い、従来の転移学習の方法に比べて優れた結果が得られております。これらの研究成果は、高く評価され、Scientific Report -Natureに採択されております。
- S. Imai, S. Kawai, and H. Nobuhara, 'Stepwise Pathnet: a layer-by-layer knowledge-selection-based transfer learning algorithm', Nature Scientific Report (to appear)
- S. Imai, and H. Nobuhara, 'Stepwise PathNet: Transfer Learning Algorithm to Improve Network Structure Versatility', 2018 IEEE International Conference on Systems, Man, and Cybernetics, Miyazaki, Japan, Oct. 8 (2018)
計算知能のトピック2: 進化の進化をもとめて
今井君の研究では、層単位での選択を行うことによる転移学習を取り扱っており、この選択には遺伝的アルゴリズムを使っておりましたが、この遺伝的アルゴリズムの部分をフォーカスし、より洗練されたものにしてゆく研究を、長江君が行っております。
遺伝的アルゴリズムにおいて、エリート、ルーレット、トーナメント方式などを比較検討し、いずれも従来の転移学習よりも優れた結果となっており、とくにエリート選抜方式が最も良い結果となっていることを確認しております。
また、遺伝的アルゴリズムによって、選択される層の分布を解析したところ、かなり偏りがあることがわかってきております。従来の深層学習の知見では、入力側が画像処理における低次元の知識、出力側が画像認識における高次の知識を取り扱うものであると考えられていましたが、この解析の結果は、そうではないということを示唆しております。
・S. Nagae, S. Kawai, and H. Nobuhara, 'Transfer Learning Layer Selection UsingGenetic Algorithm', IEEE WORLD CONGRESS ON COMPUTATIONAL INTELLIGENCE (WCCI) 2020, Glasgow (UK), Jul. 19-24 (2020)
