MindLLM - イェール大学、ケンブリッジ大学、その他の機関によって開発された医療AIモデル。 - AiBoss

MindLLMとは何ですか？

イェール大学、ダートマス大学、ケンブリッジ大学が共同開発したAIモデル「MindLLM」は、脳の機能的磁気共鳴画像法（fMRI）信号を自然言語テキストにデコードします。MindLLMは、被験者に依存しないfMRIエンコーダと大規模言語モデル（LLM）に基づき、高性能なデコードを実現します。さらに、脳命令チューニング（BIT）技術を組み込むことで、fMRI信号から多様な意味情報を捉えます。MindLLMは複数のベンチマークにおいて優れた性能を発揮し、下流タスクのパフォーマンスが12.0%向上、個人間汎化能力が16.4%向上、新しいタスクへの適応性が25.0%向上しました。MindLLMは、脳コンピュータインターフェースと神経科学研究に新たな可能性をもたらします。

MindLLMの主な機能

脳活動の解読知覚、思考、想起の際の脳の神経活動を直感的なテキスト記述に変換することで、科学者や医師は脳の働きをより深く理解することができる。
個人を超えた普遍性このモデルは、個々の被験者ごとに個別の訓練を必要とせずに、異なる被験者からの脳信号を処理できるため、モデルの汎化能力が大幅に向上する。
多機能デコーダーMindLLMは、視覚シーンの理解、記憶の想起、言語処理、複雑な推論など、さまざまなタスクに適応可能であり、強力な汎用性を示しています。
医療支援とヒューマンコンピュータインタラクション失語症患者のコミュニケーション能力回復を支援するため、あるいは神経信号に基づいて義肢、仮想アシスタント、その他の機器を制御することで、脳・コンピュータインターフェース技術の開発を促進するため。

MindLLMの技術的原理

fMRIエンコーダー神経科学に着想を得た注意メカニズムを用いて、fMRI信号は一連の「脳特徴トークン」に符号化される。エンコーダーは、異なる脳領域から機能的および空間的な情報を学習し、特徴を動的に抽出し、個人差による情報損失を回避する。
大規模言語モデル（LLM）この手法では、エンコードされた脳特徴トークンと言語モデルを組み合わせ、言語モデリング（LLM）の強力な生成機能を活用して脳信号を自然言語テキストに変換します。生成されたテキストが意味的に一貫性があり正確であることを保証するため、事前学習済みのLLM（Vicuna-7bなど）をデコーダーとして使用します。
脳指令の最適化このモデルは、fMRI信号から多様な意味情報を捉えるために、視覚的な質問応答、画像キャプション生成、記憶検索タスクなど、多様なデータセットで学習されています。BITデータセットは、画像を媒介としてfMRIデータと対応するテキスト注釈をペアリングすることで、モデルが複数のタスクを実行できるように学習させ、汎用性と適応性を向上させています。
被験者非依存型デザインMindLLMは、分離された脳領域の機能情報（個人間で一貫性がある）とfMRI信号値に基づいて、異なる個人間で事前知識を共有し、個人間で普遍的なデコード能力を実現します。

MindLLMのプロジェクトアドレス

arXiv技術論文：https://arxiv.org/pdf/2502.15786

MindLLMの応用事例

医療リハビリテーションこのシステムは、脳信号を解読することで、失語症や麻痺などの症状を持つ患者がコミュニケーション能力を取り戻せるよう支援し、ユーザーが自分の考えを表現したり、外部機器を操作したりすることを可能にします。
脳コンピューターインターフェース義肢、車椅子、仮想現実装置などを制御するための、より効率的で直感的な脳・コンピュータインターフェースシステムを開発し、障害を持つ人々の生活の質を向上させる。
神経科学研究科学者が脳の認知メカニズム、意識活動、神経信号と行動の関係をより深く理解できるよう支援し、神経科学の発展を促進する。
人間とコンピュータの相互作用脳信号を用いて電子機器、スマートホームシステム、自動運転システムなどを制御し、より自然で直接的な人間とコンピュータの相互作用を実現し、インタラクティブな体験を向上させる。
メンタルヘルスサポート脳活動をモニタリングおよび分析することは、精神疾患の診断や治療効果の評価に役立ち、精神保健分野に新たなツールと方法を提供する。