脳情報・日常生活行動解析
最近の人工知能の目覚ましい発展にもかかわらず、例えば家中をきれいに片付けてくれるロボットは未だ実現していません。間取り、家具、散らかり具合など千差万別な家の状況に対応するには、極めて高度な汎化能力が必要となるからです。私たちは、脳活動データやライフログを統合的に解析する手法を開発することで、複雑な日常環境を把握し、適切な行動がとれるヒトの能力をデータ駆動的に探究するとともに、得られた知見を活かした知的システムの構築や、日常生活支援サービスの創出を目指しています。
研究テーマ
1. マルチセンサデータの解析法
ヒトは複数の感覚情報を統合して周囲の状況を理解し、行動しています。知的システムの日常環境内での状況把握能力を高めるため、ヒトの日常生活行動中の様々なセンサデータを統合的に解析する手法の研究開発を行っています。[1]では、一人称視点映像と手・頭の動き（加速度）の関連をとらえる特徴量表現を抽出し、これを利用して、ジェスチャから過去に同様の動作をしたときに見ていた映像を検索する記憶補助システムを構築しました。また、[2]では、一人称視点映像と加速度を同時計測したストリームデータの中から、日常行動中など重要な情報を持っている時区間を抽出するための機械学習法を開発しました。
[1] Miyanishi et al., “Egocentric video search via physical interaction”, Proc. of the 30th AAAI Conf. on Artificial Intelligence (AAAI-16), Vol.1, pp.330-336, 2016
[2] Li et al., “Key frame extraction from first-person video with multi-sensor integration”, Proc. of the IEEE Int. Conf. on Multimedia and Expo (ICME), 2017.
2. 脳活動の個人差・時間変動の解析法
日常生活行動はその人の個性やその時の状況に大きく影響されます。日常生活支援を個人により適したものにするためには、このような情報を知的システムに取り込むことが必要です。脳内ネットワーク結合の個人差や時間変動を脳イメージングデータから理解しやすい形で抽出する手法を開発しました[3]。これをさらに高度化して、脳内ネットワークのモジュール構造とモジュール間結合の変動を同時推定する方法を開発しました[4]。大規模安静時fMRIデータに適用したところ、①安静時に活動するDMN、②感覚系ネットワーク、③Saliencyネットワークが抽出され、③が①と②のネットワークの切り替えを行うという仮説を示唆するモジュール間結合の変動パターンが得られました。
[3] Hyvaerinen et al., “Orthogonal connectivity factorization: Interpretable decomposition of variability in correlation matrices”, Neural Computation, Vol.28, No.3, pp.445-484, 2016.
[4] Hirayama et al., “Characterizing variability of modular brain connectivity with constrained principal component analysis”, PLoS ONE, Vol.11, No.12, e0168180.
3. 移動ロボットによる日常環境センシング
プライベートな環境のセンシングにおいては、多数の監視カメラはヒトに不安感を与えてしまう可能性があります。私たちは、その代替案として移動ロボットによる日常環境の情報収集システムの研究開発を行っています。日常環境やそこにいる人の状態を理解しながら、なるべく人の邪魔をすることなく、効率的に情報収集できる移動ロボットを目指しています。
メンバー
・川鍋 一晃
・宮西大樹
・Marc Patrick Zapf
・平山淳一郎（理研AIP／ATR）
・兼村厚範（産総研／ATR）
・Luis Yoichi Morles（名古屋大学／ATR）
・Aapo Hyvärinen (UCL/U-Helsinki)
・Hiroshi Morioka (UCL/ATR)
・Hande Celikkanat (U. Helsinki)
プロジェクト
– CREST知的情報システム領域 「神経科学の公理的計算論と高額の構成論の融合による人工意識の構築とその実生活空間への実装」（代表：金井良太）
– JST SICORP 日本-フィンランド共同研究 「感情・気分情報の次世代ライフログ：多種センサネットワークと機械学習」（代表：A. Hyvärinen, 川鍋一晃）
– 科研費 基盤B 「多利用者・多状況に共通する特性の抽出による情報転移BMI」（代表：川鍋一晃）
– RIKEN AIP 脳情報統合解析チーム（TL：川鍋一晃）