TITAN - ハーバード大学医学部が開発したマルチモーダルな全スライス病理モデル

TITANとは何ですか？

TITANは、ハーバード大学医学部の研究チームが開発したマルチモーダルな全スライス病理モデルです。視覚的自己教師あり学習と視覚言語アライメントによる事前学習を通して、微調整や臨床ラベル付けなしで、普遍的なスライス表現を抽出し、病理レポートを生成できます。335,645枚の全スライス画像（WSI）とその対応する病理レポート、およびマルチモーダル生成AIコラボレーターによって生成された423,122個の合成キャプションを組み合わせて使用しました。TITANは、線形プロービング、少数ショットおよびゼロショット分類、希少癌の検索、クロスモーダル検索、病理レポート生成など、さまざまな臨床タスクで非常に優れた性能を発揮しました。

タイタンの主な機能

• 病理報告書を作成するTITANは、希少疾患の検索や癌の予後予測など、リソースが限られた臨床現場において、汎用的な病理報告書を作成することができる。
• マルチタスク性能TITANは、線形プロービング、少数サンプルおよびゼロサンプル分類、希少がんの検索、クロスモーダル検索、病理報告書の作成など、さまざまな臨床タスクにおいて優れた性能を発揮します。
• 一般的なスライス表現の抽出TITANは、さまざまな病理学的タスクに適用可能な汎用的なスライド表現を抽出することができ、病理学的研究および臨床診断のための強力なツールとなる。
• 類似のスライスとレポートを検索TITANは、希少がんの検索やクロスモーダル検索において優れた性能を発揮し、臨床診断の意思決定を支援するために、類似のスライス画像やレポートを効果的に検索します。
• 誤診と観察者間のばらつきを減らすTITANは臨床診断ワークフローにおいて大きな可能性を秘めており、病理医や腫瘍医が類似のスライドやレポートを検索する際に役立ち、誤診や観察者間のばらつきを低減する。

TITANの技術原理

• 自己教師あり学習と視覚言語の整合TITANは、視覚的自己教師あり学習と視覚言語アライメントを用いて事前学習されており、微調整や臨床ラベル付けなしに汎用的なスライス表現を抽出することが可能です。
• 事前トレーニング戦略TITANの事前学習は、視覚的および言語的な監督信号によって支援され、最終的に生成されるスライスレベルの表現がROIレベルとWSIレベルの両方で組織形態学的意味を捉えることができるように、3つの異なる段階で構成されています。
  • フェーズ1（視覚的な事前トレーニングのみ）事前学習は、Mass-340Kと呼ばれる社内データセットで行われました。このデータセットには、335,645枚の全スライス画像（WSI）と182,862件の医療レポートが含まれています。
  • フェーズ2（関心領域と複合タイトルの整合）TITANVは、423,122個の関心領域（ROI）とPathChatによって生成された合成キャプションを使用して事前学習されており、モデルが領域レベルで形態学的情報を捉えることができるようになっています。
  • フェーズ3（スライド全体の画像と病理報告書の位置合わせ）最終モデルであるTITANは、182,862枚の全スライス画像とその病理報告書を用いてさらに事前学習を行うことで得られ、スライスの高レベルな記述を処理できるようになった。
• モデル設計TITANはVisual Transformer（ViT）アーキテクチャに基づいています。そのスライスエンコーダは、空間コンテキストを保持するために、事前に抽出された画像パッチ特徴を2次元特徴グリッドに配置して使用します。画像パッチサイズを大きくすることで、入力シーケンスの長さを効果的に短縮できます。フルスライス画像のサイズや形状が不規則であるという問題に対処するため、領域切り出しとデータ拡張手法が用いられています。
• 言語能力第2段階と第3段階でタイトル生成器（CoCa）を事前学習データと比較することで、スライス表現はそれぞれ合成されたタイトルと病理報告書に整合されます。スライスエンコーダ、テキストエンコーダ、マルチモーダルデコーダは、病理報告書の生成、ゼロショット分類、クロスモーダル検索など、モデルが言語機能を備えるように微調整されます。

TITANのプロジェクトアドレス

• GitHubリポジトリ：https://github.com/mahmoodlab/TITAN
• ハギングフェイスモデルライブラリ：https://huggingface.co/MahmoodLab/TITAN
• arXiv技術論文：https://arxiv.org/pdf/2411.19666

TITANの応用事例

• 病理学的研究と臨床実践TITANは、視覚的自己教師あり学習と視覚言語アライメントの事前トレーニングを通じて、一般的なスライド表現を抽出し、病理レポートを生成することができ、病理学研究と臨床実践のためのより効果的なツールを提供する。
• 限られた資源での臨床シナリオTITANは、希少疾患の検索やがんの予後予測など、リソースが限られた臨床現場に特に適しており、汎用性の高い病理報告書を作成することができます。
• 臨床診断ワークフローTITANは、病理医や腫瘍医が類似のスライドやレポートを検索するのを支援し、誤診や観察者間のばらつきを減らすことができます。
• 多様な臨床業務TITANは、線形プロービング、少数サンプルおよびゼロサンプル分類、希少がんの検索およびクロスモーダル検索、病理報告書の作成など、さまざまな臨床タスクにおいて優れた性能を発揮します。
• 病理報告書の作成TITANは、資源が限られた状況下でも、一切の修正や臨床的なラベル付けを行うことなく、高品質の病理報告書を生成します。
• クロスモーダル検索TITANは、希少がんの検索やクロスモーダル検索タスクにおいて非常に優れた性能を発揮し、臨床診断の意思決定を支援するために類似のスライスやレポートを効果的に検索します。