VisionFM - 少数のサンプルで複数の疾患を診断できる汎用眼科AIモデル。 - AiBoss

VisionFMとは何ですか？

VisionFMは、眼科用人工知能全般向けに特別に設計された、マルチモーダルかつマルチタスクな視覚基盤モデルです。560,457人の被験者から得られた340万枚の眼科画像で事前学習されており、幅広い眼科疾患、画像診断法、機器、人口統計を網羅しています。VisionFMは、眼底写真、光干渉断層計（OCT）、蛍光眼底血管造影（FFA）など、8種類の一般的な眼科画像診断法に対応しており、眼科疾患の識別、疾患進行予測、疾患表現型のセグメンテーション、全身バイオマーカーおよび疾患予測など、さまざまな眼科AIタスクに適用できます。12種類の一般的な眼科疾患の診断において、初級および中級レベルの眼科医を凌駕し、大規模な眼科疾患診断ベンチマークデータベースにおいて、強力なベースライン深層ニューラルネットワークを上回る性能を発揮します。 VisionFMは、新しい眼科的モダリティ、疾患系統、および画像診断装置に対しても高い汎化能力を示す。

VisionFMの主な機能

疾患のスクリーニングと診断VisionFMは、糖尿病網膜症、緑内障、加齢黄斑変性症など、さまざまな眼疾患のスクリーニングと診断を行うことができます。
疾患の予後このモデルは、疾患の進行傾向や予後を予測することもできる。
疾患表現型のセグメンテーションVisionFMは、病変、血管、層のセグメンテーションやランドマーク検出など、疾患表現型のサブ分類を実行できます。
全身バイオマーカーと疾患予測VisionFMは、眼疾患に加えて、眼の画像から全身性バイオマーカーや疾患を予測することもできます。
マルチモーダル処理機能VisionFMは、眼底写真、光干渉断層計（OCT）、蛍光眼底血管造影（FFA）など、8種類の一般的な眼科画像診断法に対応しています。
診断方法に依存しない診断VisionFMは、モダリティに依存しない診断をサポートしており、単一のデコーダーを使用して、異なる画像診断モダリティにおける複数の眼疾患を診断できます。
少数ショット学習VisionFMは、少数のサンプルで学習する能力を示しており、ラベル付きサンプルがわずかしかなくても、高い精度で新しい疾患を診断することを可能にする。
高い一般化能力このモデルは、新しい眼科的治療法、疾患スペクトル、および画像診断装置に対して高い汎化能力を示す。
合成データ強化学習VisionFMは、合成眼科画像データを活用することで、表現学習能力を強化し、下流の眼科AIタスクにおいて大幅な性能向上を実現することも可能です。

VisionFMの技術原則

大規模な事前トレーニングVisionFMは、深層学習に基づく視覚基盤モデルであり、560,457人の被験者から得られた340万枚の眼科画像を用いて事前学習されています。このデータは、幅広い眼科疾患、画像診断法、画像診断装置、および人口統計データを網羅しています。
マルチモーダル・マルチタスク学習VisionFMは、眼底写真、OCT、FFAなど、複数の眼科画像診断法に対応でき、疾患スクリーニング、診断、疾患予後予測、疾患表現型セグメンテーションといった様々な眼科AIタスクに適用可能です。
専門家レベルの知能と精度事前学習済みのVisionFMは、複数の眼科AIアプリケーションにおいて、専門家レベルの知能と精度を発揮した。その総合的な知能は、12種類の一般的な眼疾患の共同診断において、若手および中堅眼科医の能力を凌駕した。

VisionFMのプロジェクト住所

GitHubリポジトリ：https://github.com/ABILab-CUHK/VisionFM
arXiv技術論文：https://arxiv.org/pdf/2310.04992

VisionFMの応用事例

眼科臨床業務VisionFMは、眼科臨床における課題、特に疾患のスクリーニングや診断において役立つ可能性があります。
様々な眼疾患の診断このモデルは、糖尿病網膜症、緑内障、加齢黄斑変性症など、さまざまな眼疾患の診断と予測において優れた性能を発揮することが実証されている。
プライマリヘルスケア環境このモデルは、画像診断リソースが限られているプライマリヘルスケア環境において、医師の業務負担を軽減する上で重要な役割を果たすことができる。
眼科医の密度が低い地域VisionFMは、眼科医の密度が低い地域や国において特に有用です。
教育と訓練VisionFMは、眼科画像診断と疾患診断に関する幅広い知識を持つ経験豊富な眼科医が、若手眼科医を育成するための研修プラットフォームとして機能することができます。
診断レポートの作成を支援するこのモデルは大規模言語モデル（LLM）と統合することで診断レポートを生成でき、眼科疾患診断の閉ループを完成させることができる。