2010年10月20日「脳活動計測で指先の動きをPC上に正確に再現する技術開発」に成功
脳活動計測で「指先の動きをPC上に正確に再現する」技術開発に成功
情報通信研究機構（以下「NICT」、理事長：宮原 秀夫）バイオICTグループの今水 寛グループリーダーと国際電気通信基礎技術研究所（以下「ATR」、社長：平田 康夫）脳情報解析研究所の佐藤雅昭所長らは、人間の脳活動情報から四肢の運動を再構成する技術として、外科的処置なしに計測した脳活動を用いて、指先の素早い運動（運動時間約0.4秒）を滑らかな動きでコンピュータ上に再構成することに成功しました。この研究は、ユーザに特別な訓練や身体的負担を要求することなく、普段通り指を動かしているときの自然な脳活動から、この運動に関係する脳情報を効率的に読み出すことにより、自然で滑らかな運動を高い精度で再構成できることを世界で初めて示したものです。脳活動による機械制御技術（BMI技術*1）を、医療応用だけではなく、情報通信におけるユーザインターフェィスとして広く一般に使うための道を拓いたものです。研究成果は本研究分野の権威ある国際誌NeuroImage（IF=7.168）に掲載されます。なお、本研究の一部はNICT委託研究「複数モダリティー統合による脳活動計測技術の研究開発」により、ATR脳情報解析研究所が実施したものです。
＊ダウンロード可能なスライド、ムービは本ページの一番下にあります。
【背景】
四肢を動かすための脳活動を使って、ユーザの運動（四肢の運動）をコンピュータやロボットなどの機械で再構成する技術は、ブレイン-マシン・インターフェィス(BMI*1)の基礎技術として注目されてきました。この技術は、重度の運動機能障害を持つ患者の脳に直接電極を挿すなどの外科的措置を伴う侵襲的な方法が知られていますが、手術の必要性や装着後のウィルス感染の危険性がありました。そこで、近年では脳を傷つけずに計測(非侵襲計測)した脳活動を利用する研究が盛んになってきています。この非侵襲計測法を用いたBMI研究としては、脳波計測を用いた技術が知られています。しかし、この技術では信号処理しやすい脳波パターンを生じさせるように、ユーザに長期間の訓練を強いる必要がありました。脳の情報を効率的に読み出すことで、ユーザの負担となる訓練を必要とせずに、自然な脳活動から素早い四肢の運動を、そのまま滑らかに再構成する技術の開発が求められてきました。
【今回の成果】
本研究では、ユーザがさまざまな方向に指先を素早く動かしているとき（0.4秒ほどで一つの動作が完了する動き）の脳活動から、指先がどこにあるかを0.02秒の時間間隔で再構成することに成功しました。NICTバイオICTグループ・グループリーダーの今水寛と長岡技術科学大学の戸田明祐氏は、高い時間分解能で脳活動を計測することが可能な脳磁図*2（MEG）を用いて、指先の速い運動に関連する脳活動を計測しました。しかし、MEGだけでは、脳のどこが活動しているのかを正確に知ることは難しいので、優れた空間解像度で脳活動を計測できる機能的磁気共鳴画像（fMRI*3）も利用しました。同じ運動を行なったときの脳活動をfMRIによってあらかじめ計測しておき、活動部位の位置情報を獲得しておきます。次に、ATR脳情報解析研究所の佐藤所長らが開発した「階層変分ベイズ法*4」を用い、fMRIデータが示す位置情報を参照しながら、MEG計測信号を処理することで、数ミリメートルの空間解像度で、脳の表面上の電流信号（皮質電流）に変換しました。さらに、この方法で変換した皮質電流から、指先の運動に関連する信号を「スパース推定法*5」を用いて効率的に抽出することで、高い精度で運動を再構成することができるようになりました。訓練を必要としない自然な脳活動で、無数のパターンの素早い指先の運動を、そのまま滑らかに再構成することに成功したのです。
この研究成果は本研究分野の権威ある国際誌NeuroImage（IF=7.168）に掲載予定です。校正済み原稿はScience Direct社のウェブサイト（http://www.sciencedirect.com/）から既に入手可能です。（doi:10.1016/j.neuroimage.2010.09.057）著者: Akihiro Toda*、 Hiroshi Imamizu*, Mitsuo Kawato, Masa-aki Sato （*は共同筆頭著者）掲載論文名：“Reconstruction of two-dimensional movement trajectories from selected magnetoencephalography cortical currents by combined sparse Bayesian methods”
【今後の展望】
従来の非侵襲BMI技術に比べて、ユーザの速い動きを滑らかに再構成することができたことで、ユーザが「自分自身が操作している」という主体感・操作感をBMI技術に付加することができるようになります。本研究では、脳活動をオフラインで解析・再構成しましたが、今後はリアルタイムで運動を再構成することに取り組んでいきます。また、本研究で開発した手法を大型計測装置に代えて、より軽量で持ち運びのできる計測装置（具体的には、MEGの代わりに脳波記録装置、fMRIの代わりに近赤外光計測装置）に利用することで、より実用に近いBMI技術の開発を進めます。
注：本研究は、情報通信研究機構、国際電気通信基礎技術研究所、長岡技術科学大学との共同研究。また本研究の一部は、情報通信研究機構の委託研究「複数モダリティー統合による脳活動計測技術の研究開発」により実施。
＜ 広報 問い合わせ先 ＞ NICT／総合企画部 広報室 報道担当 廣田 幸子 Tel：042-327-6923 Fax：042-327-7587 E-mail：publicity@nict.go.jp ATR／広報担当 経営統括部 野間 久美子 TEL 0774-95-1172 FAX 0774-95-1178 Email: k-noma@atr.jp ＜ 本件に関する 問い合わせ先 ＞ NICT／未来ICT研究センターバイオICTグループ グループリーダー 今水 寛, Tel：0774-95-1041 Fax：0774-95-1236, E-mail：imamizu@nict.go.jp ATR／脳情報解析研究所 所長 佐藤 雅昭, Tel：0774-95-1235 Fax：0774-95-1259, E-mail: ni2010@atr.jp＜用語 解説＞
*1 BMI（ブレイン-マシン・インターフェィス）技術：
脳活動信号を計測して、その信号を解析することで運動指令や運動意図などを読み取り、外部の機械やコンピュータなどを制御する技術をブレイン-マシン・インターフェィス（BMI）と呼ぶ。脳活動計測の方法により、脳に電極を挿すなど外科的処置を要する侵襲的BMIと、脳波や磁気共鳴画像(fMRI)などの非侵襲的BMIに分けられる。侵襲的な方法で、運動機能障害を持つ患者の脳から運動指令を読み取った米国ブラウン大学ドナヒューらの研究は、BMIを広く社会に認識させる契機となったが、手術の必要性や装着後のウィルス感染の危険性などから、重度身体障害を持つ患者への適用など医療面で主に用いられる。適用の可能性が大きいBMI技術が広く一般に利用されるためには、外科的措置を要さない非侵襲的BMI技術の進展が急務と考えられている。一方、非侵襲BMIでは、米国ワーズワースセンターのウォルポーらが、脳波の特定成分を利用してコンピュータカーソルをコントロールすることに成功した。しかし、脳波信号では、脳の運動情報に関わる脳波信号を選択的に取り出すことが難しいため、ユーザに長期間にわたる訓練を行ない、コンピュータでの解析が行いやすい脳波パターンを生じさせるようにしなければならなかった。ATRとNICTでは、そのような特別な訓練を必要とせずに、自然な脳活動を利用した非侵襲BMIの開発に取り組んできた。これまで、数種類の運動パターン（ジャンケンなど）の中から、ユーザがどのパターンの運動をしているか、あるいは想像しているかを推定する技術の開発などに成功している。
*2 脳磁図 (MEG)：
脳内の神経細胞が活動することで生じる微細な磁場の変化を検出する方法。超伝導量子干渉計と呼ばれる非常に感度の高いセンサーを用いて磁場を計測する。高い時間分解能（千分の一秒単位）で脳活動を計測できるが、脳のどの場所が活動しているかということに関しては、計測したデータをそのまま利用した場合には、数センチ程度の大まかな位置情報しか得られない。
*3 機能的磁気共鳴画像（fMRI）：
脳の神経活動に付随して生じる局所的な血流変化を画像化して、脳の活動部位を計測する装置。数ミリメートル単位の高い空間解像度で活動部位を特定できるが、脳全体を数秒に１回程度しか計測できないので、脳活動の速い時間変化などの情報を得ることは難しい。
*4 階層変分ベイズ法：
MEG信号処理における階層変分ベイズ推定とは、測定された脳磁界データからその磁場を発生させた電流源を推定するための確率論的手法の一つである。この手法では、fMRIによる脳活動の空間分布の情報を考慮して事前分布を導入して推定精度を向上させている。一般に電流源の推定には膨大な計算量が要求されるが、変分法により大幅に計算速度を向上させることができる。また、電流源推定に用いられる従来の推定法(Minimum Norm推定、 LORETA,Wiener推定)と精度の比較を行ったところ、この手法は、従来法では分離できなかった伸展運動による運動関連反応と運動による感覚フィードバック反応をミリ秒オーダで、かつ空間領域的にも分離することができることが示されており、その有効性が明らかになっている。この研究で用いた階層変分ベイズ法は、NICTの委託研究でATR脳情報解析研究所が開発した。
*5 スパース推定法：
この研究におけるスパース推定法とは、階層変分ベイズ法により推定された様々な領野での脳活動の中から、運動再構成にとって真に重要な脳活動だけを自動的に抽出する推定手法である。利用する脳活動を重要なものだけに絞り込むことで、未知の計測データに対しても高い推定精度を実現することがでる。スパースは「まばら」「散在する」という意味で、少数の重要な情報源だけを残し、他を捨象することで効率的な予測が行えるようになる。この研究で用いたスパース推定は、ATR脳情報解析研究所がNICTの委託研究で開発した。
＜ 研究 詳細説明 ＞
1.研究の背景
人間の手足の運動は、脳の特定の部位の活動によって引き起こされます。この脳活動を使って、ユーザの運動（四肢の運動）をコンピュータやロボットなどの機械で再構成する技術は、ブレイン-マシン・インターフェィス(BMI)の基礎技術として注目されてきました。この技術は、主に米国の研究者が、重度の運動機能障害を持つ患者の脳に直接電極を挿すなどの外科的措置を伴う侵襲的な方法で成功を納めてきました。しかし、手術の必要性や装着後のウィルス感染の危険性などから、近年では、脳を傷つけずに計測(非侵襲計測)した脳活動を利用する研究が盛んになってきています。特に、このBMI技術が広く一般に使われるためには、この研究が重要な鍵とされています。
非侵襲計測法を用いたBMI研究としては、脳波計測を用いて測定した脳活動でコンピュータカーソルを操作する技術が知られています。しかし、この技術ではコンピュータが読み取りやすい脳波パターンを生じさせるように、ユーザに長期間の訓練を強いる必要がありました。このようなユーザの負担となる訓練を必要とせずに、四肢の素早い運動を再構成するためには、脳機能の非侵襲計測装置としてMEGを使うことが考えられます。しかし、MEGで計測した脳活動信号は脳のどの場所から発生したものであるかを正確に特定することができません。また、計測した信号はさまざまな脳の部位から発生した信号が入り交じっているために、特定の運動に関連する脳活動だけを効率的に選び出すことは困難です。このため、運動再構成の精度は上がりませんでした。BMI技術として素早い四肢の運動を正確かつ滑らかにコンピュータやロボットなどの機械に再現するためには、脳活動が生じている脳内部位を特定して、その信号を精度よく、かつ効率的に抽出することが求められてきました。
2.脳活動の計測
本研究成果は、訓練を必要としない自然な脳活動で、指先の無数のパターンの素早い運動を、そのまま滑らかに再構成することに成功したものです。この速い運動を再構成するためには、時間分解能に優れた脳機能計測装置が必要です。脳活動の盛んな部位を脳血流計測から明らかにするfMRIでは、血流量変化という2次的な情報を使うために、神経の速い活動を計測するには時間的な情報が不足します。そこで、神経活動が引き起こす磁場の変化を直接計測するMEGを主として利用します。実験では、実験協力者にMEG装置の中で仰向けに寝てもらい、その状態で手首の運動だけで人差し指の先端をさまざまな方向に動かしてもらいました（指先の往復運動距離は20 cm、1つの動作の運動時間は約0.4秒：図２）。また、実験協力者には、同じ実験（手首の運動だけで人差し指の先端をさまざまな方向に動かしてもらう）をfMRIの中でも実施してもらい、実験に関わって脳活動が盛んになる脳内の場所を特定しました。
【図２】MEG装置の外観と、これを使った実験風景：矢印は人差し指の先端を示す
3.解析方法
MEGは頭の外側に設置された300を超す磁気センサーで脳全体の磁場を計測するために、さまざまな脳の部位から発生した信号が混在したまま記録されています（図3A）。そのため、運動の再構成に重要な指先の運動に関連する脳活動を精度よく、効率的に選び出すことは容易ではありません。そこで、本研究では「階層変分ベイズ法」(参考文献1、 2)を用いて、センサー信号を脳表面上の電流信号（皮質電流）に変換する関数（逆フィルター）を推定しました（図3B）。この時、fMRIで計測した脳活動の空間情報を補助的に利用します。この逆フィルターを用いれば、数ミリメートルの精度で、センサー信号から信号源である皮質電流を計算できます。
参考文献1 Sato M, Yoshioka T, Kajiwara S, Toyama K, Goda N, Doya K, Kawato M: Hierarchical Bayesian estimation for MEG inverse problem. NeuroImage, 23, 806-826 (2004)
参考文献2 Yoshioka T, Toyama K, Kawato M, Yamashita O, Nishina S, Yamagishi N, Sato M: Evaluation of hierarchical bayesian method through retinotopic signal reconstruction from MEG measurement. NeuroImage, 42, 1397-1413 (2008)
4.再構成の方法
計算した皮質電流の時間変化から、指先の位置を0.02秒ごとに予測しました。具体的には、予測する時点から0.2秒前までの皮質電流に対して適切な値（重み）をかけ、得られた値の和で、指先の位置を予測します（線形予測モデル、図4）。予め用意したサンプルデータを用いて、適切な重みの値を推定しますが、このとき、重要な皮質電流のみを効率的に選び出すと、サンプルに含まれていない未知のデータに対する予測精度を高めることができます。佐藤所長らが開発した「スパース推定法」（*5: 参考文献3）を用いると、どの部位の皮質電流に対する重みが予測にとって重要であるかを考慮しながら、自動的に皮質電流を選び出して適切な重みの値を計算することができます。
【図4】再構成の方法／個々の重みの値を仮に色で表す．赤・青が濃いほど正・負の値が大きいことを示す。再構成に重要でない点の値は０（白色）にすることで効率的な予測ができる
参考文献3. Sato M: Online Model Selection Based on the Variational Bayes. Neural Computation 13, 1649–1681 (2001)
5.再構成の結果
図5は、人間が指先を上方向、または右方向に動かしたときの再構成の例を示します。脳活動から再構成した指先の時間変化（赤）と、計測装置を付けて実測した指先の時間変化（青）が、良く一致している様子がわかります。動画はhttps://bicr.atr.jp/~imamizu/Movie_01.mpg で見ることができます。いずれも、サンプルデータには含まれない、新しい脳活動データから予測した結果です。
【図5】再構成結果の例
6.提案手法の特長
特長（1） 速い運動を高い精度で滑らかに再構成したこと
5人の実験参加者について予測誤差（脳活動から予測した位置と実測した位置とのずれ）の平均を計算すると、15 ミリメートルであった。指先の往復移動距離は20センチメートルなので、わずか7%の誤差で再構成できたことになります。速い運動を滑らかに再構成するためには、脳波やMEGなど、神経細胞の電気的な活動を計測する必要があります。我々は、脳波やMEGによる従来の再構成手法に従い、センサー信号から直接、指先の位置を再構成することも試みましたが、今回提案した手法の方が、高い精度で再構成できました。提案手法は、センサー信号を皮質電流に変換することで、再構成にとって重要な指先の運動に関連する脳活動を効率的に選択できたためです。
特長（2） 神経科学における知見に直接関連
脳のさまざまな部位の皮質電流に対する重みの値を、脳の表面上に色で示すと図６のようになります。重みの絶対値が大きい（赤・青）場所は、再構成にとって重要であることを示しています。このように皮質電流を使って再構成すると、脳のどの場所の活動が再構成にとって重要であったかがすぐに解り、神経科学における知見と比較・検討することができます。神経科学では、運動野は「身体運動を直接にコントロールする部位」、体性感覚野は「運動によって生じる感覚情報を受け取る部位」、頭頂連合野の一部は「運動を計画する部位」とされていますが、今回の推定でもそれらの部位に高い重みの値が見られ、指先の運動に関わる脳活動を利用して運動を再構成していたことが確認できました。また、今回は「スパース推定」を用いて、重要な皮質電流を自動的に選び出しましたが、上記のような神経科学的な知見と脳の解剖地図を基に、研究者が手動で皮質電流を選び出すことも可能です。サンプルデータが少ないときに、手動による選択方法が有効であることも、具体的なデータに基づき明らかにしました。
【図6】脳の表面上に色で表した皮質電流に対する重みの値
7.今後の展望
これまでの非侵襲BMI技術は、脳活動のパターンから運動の種類を識別したり、数カ所の標的の中から、どの標的に手を伸ばすかを推定することなど、限定された運動を対象としたものが主流であり、人間の速い動きをそのまま再構成しようとする試みは少ない状況でした、しかし、今回の成果のように、速い動きを滑らかに再構成することができたことで、ユーザが「自分自身が操作している」という主体感・操作感をBMI技術に付加することができるようになります。
本研究では、脳活動をオフラインで解析・再構成しましたが、今後はリアルタイムで運動を再構成することに取り組んでいきます。また、現在は、MEGやfMRIという大型の装置を用いていますが、より軽量で持ち運びのできる装置（具体的には、MEGの代わりに脳波記録装置、fMRIの代わりに近赤外光計測装置）で脳活動を計測し、同様の手法で運動を再構成すれば、より実用に近いBMI技術の開発に繋がります。この手法は、遠隔地からのロボットアームの制御や、遠隔医療や遠隔手術でのロボット操作の支援システム、訓練を要しないBMIによる身体機能補助など重要な応用につながるものです。
また、頭の中に運動イメージを浮かべたときや、四肢を動かす前の脳活動からの運動を再構成することにも利用できる可能性があり、意図しただけで自在に操作できる情報機器インターフェィスの開発に繋がるものと期待できます。例えば、携帯電話などの情報端末は、機能が増えるにつれて操作が複雑になってきています。操作方法をマスターできないユーザは、必要な情報を受け取ることや、発信することが益々難しくなり、情報格差が拡大しています。たとえ操作できるとしても、ユーザは面倒な操作をすることなく、思い描いたイメージや、意図をそのまま伝えたいという願望を常に持っています。本研究開発の成果は、伝えたいことをそのまま伝える、未来の情報通信インターフェィスの基礎技術となると期待しています。
＜説明資料パワーポイントおよびPDF＞
今水寛
佐藤雅昭