PaliGemma 2 - Google DeepMindの新しい視覚言語モデル - AiBoss

PaliGemma 2とは何ですか？

PaliGemma 2は、Google DeepMindが開発した次世代ビジュアル言語モデル（VLM）であり、Gemma 2言語モデルファミリーを基盤として構築され、PaliGemmaモデルのアップグレード版として位置づけられています。SigLIP-So400mビジュアルエンコーダと様々なサイズのGemma 2モデルを組み合わせることで、複数の解像度に対応し、多段階トレーニングに基づく幅広い知識転移機能を備えています。PaliGemma 2は、様々な学術的タスクにおいて卓越した性能を発揮し、特に大規模モデルや高解像度構成において顕著なパフォーマンスを示しています。また、OCR、楽譜認識、医療画像レポート生成といった新興分野でも画期的な成果を上げています。

PaliGemma 2の主な特徴

マルチスケール画像処理さまざまな視覚タスクのニーズに対応するため、異なる解像度（224px²、448px²、896px²）での画像入力をサポートしています。
広範な転移学習PaliGemma 2は、高度に調整された事前学習済みモデルに基づいており、画像キャプション生成、視覚的質問応答（VQA）など、30種類以上の学術的なタスクに応用可能です。
マルチモーダルタスク処理画像情報とテキスト情報を組み合わせて、画像キャプション生成や視覚的推論といったマルチモーダルなタスクを実行します。
OCR関連のタスクこれには、表構造認識、分子構造認識、楽譜認識などが含まれます。
詳細な記述生成詳細な情報を含む長文の画像説明を生成できます。
医用画像理解放射線レポート作成などの医用画像理解タスクにおいて優れた性能を発揮します。

PaliGemma 2の技術的原理

モデルアーキテクチャPaliGemma 2は、Gemma 2ファミリーの言語モデルとSigLIP-So400mビジュアルエンコーダを組み合わせたものです。ビジュアルエンコーダは、Gemma 2入力空間への線形射影マッピングに基づいて、画像を埋め込み表現に変換します。
多段階トレーニング：
- フェーズ1これは、事前学習済みのビジュアルエンコーダーとGemma 2モデルを組み合わせ、多数のマルチモーダルタスクサンプルを使用する。
- フェーズ2より高解像度でのさらなるトレーニングは、高解像度の恩恵を受けるタスクの重要度を高める。
- フェーズ3モデルのパフォーマンスを最適化するために、特定のタスクに合わせて微調整が行われます。
回帰サンプリングGemma 2言語モデルは、テキストプロンプトからの予測を自己回帰的にサンプリングして、目的の出力シーケンスを生成するために使用されます。
パラメータ最適化転移学習のパフォーマンスを最適化するために、モデルのサイズに応じて学習率を調整してください。
計算効率: LLMにおけるビュータグ制御の計算コストを最適化することに基づいています。
量子化とCPU推論8ビットスイッチ浮動小数点量子化をサポートしており、モデルをCPU上で効率的に実行できます。

PaliGemma 2プロジェクトのアドレス

プロジェクト公式サイト：paligemma-2
ハギングフェイスモデルライブラリ：https://huggingface.co/collections/google/paligemma-2
arXiv技術論文：https://arxiv.org/pdf/2412.03555

PaliGemma 2の応用シナリオ

画像認識と記述ソーシャルメディア、コンテンツ管理、検索エンジン最適化に適した、画像の詳細な説明文を自動的に生成します。
視覚的質問応答（VQA）教育およびエンターテイメント用途において、画像コンテンツに関するユーザーからの質問に答える。
光学文字認識（OCR）画像内のテキストを認識することができ、文書のデジタル化、歴史的文書のアーカイブ、自動データ抽出などに利用される。
テーブル構造認識財務報告分析、科学研究、データ処理に利用するため、画像から表の構造と内容を抽出します。
分子構造認識化学および生物医学研究において、分子構造の同定と再構築。