HealthGPT - 浙江大学がアリババをはじめとする複数の機関と共同で開発した医療用視覚言語モデル。 - AiBoss

HealthGPTとは何ですか？

HealthGPTは、浙江大学、中国電子科技大学、アリババなどが共同開発した高度な医療画像言語モデル（Med-LVLM）です。異種知識適応技術により、医療画像の理解と生成タスクのための統一フレームワークを実現しています。革新的な異種低ランク適応（H-LoRA）技術を採用し、視覚理解と生成タスクの知識を独立した「プラグイン」に格納することで、タスク間の競合を回避しています。HealthGPTには、Phi-3-miniとPhi-4の事前学習済み言語モデルをそれぞれベースとしたHealthGPT-M3（38億パラメータ）とHealthGPT-L14（140億パラメータ）の2つのバージョンがあります。このモデルは、階層的視覚知覚（HVP）と3段階学習戦略（TLS）を導入し、視覚特徴学習とタスク適応能力を最適化しています。

HealthGPTの主な機能

医用画像解析および診断支援HealthGPTは、X線、CTスキャン、MRIスキャンなど、さまざまな医療画像を処理することができ、医師が画像結果を解釈し、診断に関する提案を行うのに役立ちます。
ビジュアルQ&Aこのモデルは、医療画像に基づいて関連する質問に答えることができ、例えば、画像内の異常や病変の位置を説明することができる。
医療テキストの理解と生成HealthGPTは、診療記録の要約や診断レポートなどの医療文書を処理・生成することができ、医師が患者情報を迅速に整理・記録するのに役立ちます。
マルチモーダル融合HealthGPTは、視覚情報とテキスト情報を組み合わせることで、複雑な医療状況をより包括的に理解し、より正確な診断と治療に関する推奨事項を提供することができます。
個別の治療計画に関する推奨事項HealthGPTは、患者の病歴と医療画像に基づいて、医師が臨床上の意思決定を行う際に役立つ、個別の治療計画を作成することができます。

HealthGPTの技術原則

異種低ランク適応（H-LoRA）HealthGPTは、視覚理解タスクと生成タスクの学習プロセスを分離することでタスク間の競合を回避する、異種低ランク適応技術を導入しています。H-LoRAは、重みを更新するための低ランク行列を導入することで、モデルの表現力を維持しながら、トレーニングに必要なパラメータ数を大幅に削減します。
階層的視覚知覚（HVP）この技術は、視覚の詳細学習と視覚変換（ViT）を分離することで、視覚理解タスクと視覚生成タスクそれぞれに必要な視覚的な粒度の違いに対応します。これにより、モデルは複雑な医用画像データをより効率的に処理できるようになります。
3段階学習戦略（TLS）HealthGPTは、H-LoRAプラグインを段階的に学習させる3段階の学習戦略を採用しており、これによりモデルは様々な下流の医療タスクに迅速に適応できます。限られたデータでも非常に優れた性能を発揮し、複数の指標において最先端モデルの性能を達成、あるいは上回ります。

HealthGPTプロジェクトの住所

プロジェクト公式サイト：https://llsuzy.github.io/HealthGPT.github.io/
GitHubリポジトリ：https://github.com/DCDmllm/HealthGPT
ハギングフェイスモデルライブラリ：https://huggingface.co/lintw/HealthGPT-M3
arXiv技術論文：https://arxiv.org/pdf/2502.09838

HealthGPTの応用シナリオ

医用画像生成HealthGPTは、超解像処理や画像再構成など、医療診断や研究に役立つ高品質な医用画像を生成できます。
医学教育と研究HealthGPTは、医学教育において学生が医用画像や診断手順をより深く理解するのに役立つツールとして活用できます。また、マルチモーダルデータの分析と処理を支援する強力なツールとして、医学研究にも活用できます。
スマートヘルスアシスタントHealthGPTはスマートな健康アシスタントとして機能し、ユーザーが健康データを照会したり、日々の健康管理に関する提案を提供したりするのに役立ちます。