脳から知覚映像を読み出す ～ヒトの脳活動パターンから見ている画像を再構成～
概要
われわれが見ている世界を脳からの信号を解読して映像化することができれば、夢や空想を、テレビや映画のようにスクリーンの上で再生できるかもしれませ ん。当研究室では、見ている映像をその人の脳活動から再構成する（以下、視覚像再構成）研究を行っています。複雑な知覚内容を脳からそのままの形で取り出 すことにより、ブレイン−マシン・インタフェース（BMI）など脳を直接介した情報通信技術の新たな可能性を切り拓く研究です。
眼から入った画像情報は大脳視覚野の脳活動を引き起こします。逆に、このとき生じる脳活動パターンを解読することで、見ているものを推定できると考 えられます。当研究室ではこれまで、機能的磁気共鳴画像（fMRI）で計測されるヒトの脳活動を、パターン認識アルゴリズムを用いて解析することにより、 知覚内容や身体の動きを予測する、脳情報復号化技術の開発を行ってきました。しかし、従来の手法では、あらかじめ脳活動を計測してパターンを学習しておい た少数個の選択肢（縦縞か横縞か、など）のうちどの図形を見ていたかを当てることはできても、見ているものを「画像」として取り出すことはできませんでし た。
本研究の最大の特徴は、従来不可能であった、脳活動パターンから見ている図形を画像として再構成することにあります。本研究の手法では、まず、視野 を複数の解像度で小領域に分割し、それぞれの領域のコントラスト値をfMRIで計測される脳活動パターンから予測します。そして、その予測値を組み合わせ ることで画像全体の再構成を行います。この手法を用いることにより、脳活動パターンの学習に用いていない幾何学図形やアルファベットの形が再構成できるこ とが分かり案した（図１）。また、再構成画像を用いることで、1億通り以上の候補の中から見ていた画像を同定できることも分かりました。また、2秒ごとに 得られる個々のfMRIスキャンを解析することで、見ていた映像を動画として再構成することにも成功しました。
現在までに、実際に見ている画像の再構成に成功していますが、同じ手法を用いて、心的イメージや夢のような物理的には存在しない主観的体験を、画像 として客観的に取り出せる可能性もあります。したがって、本研究で開発した手法は、心を生み出す脳内メカニズムを探るツールとなると同時に、医療における 心理状態のモニタリングや、脳を介した情報伝達システムの開発など、さまざまな分野への応用の可能性も将来期待されるでしょう。
再構成された知覚映像。２秒ごとに得られる個々のfMRIスキャンから再構成画像を作成し、動画として再生している。fMRIは脳内の血流信号を計 測しているので、脳内での神経活動から少し遅れて信号変化が生じる。画像の表示タイミングと再構成画像が生成される時間のズレは、この血流変化の遅れを表 している。
データ
本研究で使用したfMRIデータを公開しておりますので、ご自由にダウンロードください。データにつきましてはこちらをご覧ください。
ツール
本研究ではスパースロジスティック回帰というパターン判別手法を使っています。スパースロジスティック回帰はATR脳情報研究所山下研究員によって開発されました。こちらからダウンロードできます。
参考文献
Yoichi Miyawaki, Hajime Uchida, Okito Yamashita, Masa-aki Sato, Yusuke Morito, Hiroki C. Tanabe, Norihiro Sadato, Yukiyasu Kamitani. “Visual image reconstruction from human brain activity using a combination of multi-scale local image decoders”
＊本論文の報道発表資料はこちら
http://www.atr.jp/html/topics/press_081211_j.html
共同研究機関
(株)国際電気通信基礎技術研究所（ATR）脳情報研究所
神経情報学研究室：宮脇陽一、内田肇、神谷之康
計算脳イメージング研究室：山下宙人、佐藤雅昭
(独)情報通信研究機構
宮脇陽一
奈良先端科学技術大学院大学
内田肇、神谷之康
自然科学研究機構・生理学研究所
森戸勇介、田邊宏樹、定藤規弘
問い合わせ先
(株)国際電気通信基礎技術研究所（ATR）経営統括部 広報担当 野間・福森
〒619-0288 京都府相楽郡精華町光台2-2-2
電話：0774-95-1172, FAX: 0774-95-1178
http://www.atr.jp/index_j.html