日時：2017年6月22日（木） 13:30-16:50
13:30-13:40 ATR 脳情報通信総合研究所 認知機構研究所 副所長 石井 信
13:40-14:40 東北大学大学院情報科学研究科 教授 岡谷 貴之 先生
14:40-15:40 早稲田大学 理工学術院 基幹理工学部 表現工学科 教授 尾形 哲也 先生
15:40-15:50 休憩
15:50-16:50 ATR 脳情報通信総合研究所 BRI室 主幹 内部 英治
13:40-14:40 東北大学大学院情報科学研究科 教授 岡谷 貴之 先生
タイトル：視覚SLAMのロバスト化と移動ロボット応用
概要：多視点画像を使った３次元形状復元（SfM/Visual SLAM）技術は，３次元形状モデリングや拡張現実感などで実用化されるようになって久しい．
しかしながら，実世界で使用される移動ロボットへの応用を中心に，既存手法の適用が困難となる場合が数多くある．本講演では，その困難さの要因が何であるかと，その解決を目指すわれわれの取り組みについて紹介する．また最近，画像認識で成功したディープラーニングに基づく方法が，この分野をも変革しつつあることを紹介し，今後について考える．
14:40-15:40 早稲田大学 理工学術院 基幹理工学部 表現工学科 教授 尾形 哲也 先生
タイトル：深層学習によるロボットの動作模倣学習と今後の展望
概要：本講演では，深層学習を用いた多自由度ロボットの動作，言語学習について我々が行ってきた研究事例を紹介する．ロボットの動作学習では，3DモデリングがP特に困難な柔軟物体操作の生成を試みた．遠隔操作による直接教示手法を利用することで，従来のロボット制御では困難であった滑りなどを伴う動作を学習させる．具体的には映像と関節運動のマルチモーダルの統合情報として与え，深層学習のEnd to End学習により一般化する．結果的にロボットは次状態イメージを予測しながら，複数の未学習物体の操作が可能となる．これに加えて，転移学習のフレームワークを応用した他者動作の予測と模倣学習の基礎実験結果を紹介する．最後に基礎実験として，再帰型神経回路モデルによる言語学習をロボット動作学習に導入した事例についても紹介する．具体的にはSeq2Seq学習を拡張し，多義性を有する文章を解釈可能なロボットモデルを紹介するとともに，そこに獲得される内部表現についても解析を行う．最後に，深層学習モデルのブラックボックス化問題，人工知能とロボットの領域の統合，さらに今後の応用などについて展望する．
15:50-16:50 ATR 脳情報通信総合研究所 BRI室 主幹 内部 英治
タイトル：深層順・逆強化学習
グーグルディープマインド社の提案した深層強化学習は人間と同程度にビデオゲームをプレイし、囲碁のエキスパートに勝利するなど非常に高度な制御則を自律的に学習できることを示した。しかし従来の深層強化学習は学習過程を安定化させるために様々な保守的な技術を導入しており、そのため学習に要するデータ数、更新回数が膨大になり、そのことが実際の問題に適用する際のネックとなっていた。そこで本講演の前半では深層強化学習を高速化するための我々の取り組みについて紹介する。一つは非単調増加な活性度関数Sigmoid-weighted Linear (SiL)ユニットについて紹介する。これは深層学習のブームのきっかけとなった制限ボルツマンマシンを用いた強化学習の理論から導出されたもので、よく用いられる線形正規化関数をupper boundとする関数である。SiLを用いた深層強化学習によって学習効率が大幅に改善できることを示す。
後半では提示された状態系列から報酬を推定する逆強化学習と深層学習を統合する方法について述べる。まず報酬関数をKL divergenceによって制限することで、最適な状態遷移に対して成り立つ最適性方程式が、学習前後の状態遷移確率密度の比の対数と報酬関数の一部と状態価値関数の差分で表現されることを示す。これより逆強化学習問題は学習前の状態遷移と学習後の状態遷移を分類する二値分類問題として定式化でき、これはロジスティック回帰によって効率よく解くことができる。ロジスティック回帰は深層学習で広く研究されているため、逆強化学習と深層学習を自然な形で統合できる。これにより従来の深層逆強化学習よりも少ない計算量で適切な報酬関数を推定しつつ、推定された報酬関数をもとに順強化学習が高速に実現できることを示す。