AI x 画像処理その1
みなさんは、ミカンなどの柑橘系の樹木を見たことがあるでしょうか？ミカンの木にたくさんの実がなっているなあ、という印象はあるかもしれませんが、では、その実の数を正確に数えることはできるでしょうか？あるいは、ジャガイモなどの作物の地表に出ている葉っぱの状態から、地中に埋まっているジャガイモの個数や成長の具合を予想することはできるでしょうか？
とても素朴な疑問であり、すぐに解決できそうな問題のように思えますが、実はこれは非常に難しい問題になります。例えば、柑橘類の場合、実際に、その実の数を数えようとすれば、木を切り倒して、葉っぱをすべてとりのぞき、なっている実の数を数えなければなりません。数十年にわたって、大切に育てた木にもかかわらず。（なので、このような破壊検査と呼ばれるものは、行うのが非常に困難です）
同様に、ジャガイモについても、実際にひっこぬいて、ジャガイモの個数や大きさを計測しなければなりません。数ヶ月にもわたって、大切に育てたジャガイモにもかかわらず。また、一度ひっこぬいてしまうと、根毛などが失われてしまうため、同じ状態に戻すことができません。（なので、この場合も、破壊検査を行うのが非常に困難です）
一方で、柑橘類の見えている部分から内部の見えていない実の個数を正確に推定できれば、また、ジャガイモの場合は、土から上の見えている葉っぱの部分から、地中のジャガイモの個数やサイズを推定できれば、農業分野において、革命を起こすことができると言われております。
このような難しい問題にアタックしたのが、計算知能・マルチメディア研究室の孫さんです。孫さんは、見えている部分から、内部を推定するための枠組みを、現在のデータ駆動型のAIで実装しましたが、その際に用いたのが、リアルではなく、コンピュータグラフィクスによるデータセット。これを用いることで、実際には入手困難なデータセットを用いて、AIを学習させることができました。
孫さんの研究の独創的なポイントは、この推定に関して、WD2GAN-GPという、敵対的生成ネットワークを2つ備えたAIを独自に提案しているところになります（下図）。これによって、従来のGANに比べて、高い精度で内部の構造を推定することができるようになっております。
孫さんのこの研究は非常に高く評価され、2019年度農業情報学会の若手イノベーション賞を受賞しております。
3次元画像処理の盲点？
近年、ドローンなどにより空撮画像を大量に撮影することが可能となり、それらの２次元画像からSfM（Structure from Motion）といった手法によって手軽に、3次元画像を再構成することができるようになってきております。一方、それら3次元画像が一体、どの程度信頼できるのか？どの程度再構成がうまくいっているのか？については、ほとんど議論がなされていないのが現状です（下図）。この問題点について、するどいメスを入れたのが、計算知能・マルチメディア研究室の小林君になります。
小林君の研究では、3次元再構成画像で失敗している場合に、穴が存在することに着目し、それをパーシステントホモロジーという手法によって見つけ出すための枠組み、評価指標を提案しております（下図）。小林君のこれらの研究は非常に高く評価されており、この成果について直接ではないですが、関連する成果について農業情報学会から若手イノベーション賞を受賞しております。また、現在、この成果をまとめて、国際雑誌に投稿しているところです。
画像超解像
解像度の低い映像を、なんらかの方法を使って、解像度の高い映像にしたい、というリクエストは以前からあり、特に、ここ最近、注目が高まってきております。なぜかと言えば、我々が手にすることのできる、映像を閲覧するデバイスの性能が飛躍的に向上に、みなさんのご家庭にあるテレビ、さらにはお手元にあるスマートフォンなどのデバイスですら、解像度がかなり高くなってきているからです。みなさんが手にしている解像度の高いデバイスに対して、昔、撮影されたテレビ番組を見たらどうでしょうか？ひどく、ガタガタな映像になっていないでしょうか？それもそのはず、昔撮影された映像は、当時、最先端のカメラを使っていたとはいえ、現在のデバイスに比べると、とても解像度が低いものになっております。
以下の図をみていただくとわかるのですが、昔の映像のサイズと8Kのサイズを比較すると、こんなにも違うわけです。つまり、我々が仮に8Kのデバイスをもって昔のSDの映像を閲覧するとすれば、SDの映像を無理やり8Kサイズまで拡大して、閲覧することになるわけです。
このような現象は、デバイスが進化する限りつづくものであり、このギャップを埋めるための技術が「超解像」という技術になるわけです。
以下、我々の研究室で開発している超解像技術を、筑波大学の芸術系の方が、とてもわかりやすく映像化してくれましたので、ご覧ください。
もうすこし具体的な事例が以下になります。左側が解像度の低い画像、そして右側が超解像処理を適用した後の画像。左側の画像では、解像度が低いため画像がギザギザして粗くなっていますが、右側の画像では葉の形状ひとつひとつまでクッキリと判別できるようになっています。
超解像技術においては、手間ひまをかければ、ある程度のクオリティのものは得られますが、本研究室では、可能な限り計算資源を必要としない超解像技術を追求するプロジェクトを行っています。また、UAVプロジェクトとも連動し、上空から撮影した画像をできる限り解像度の高いものにすることも行っています。
この技術に関しては、研究室において、すでに3件の特許を出願しており、さらに数多くのプレスからの取材を受けており、世の中から非常に注目されていると言えます。
いかがでしょうか。興味のある方、一緒に、可能性を追求しませんか？
