project
SigLIP 2 - Google DeepMindによる多言語対応の視覚言語エンコーダーモデル
SigLIP 2は、Google DeepMindが提案した高度な多言語ビジュアル言語モデルです。SigLIPのアップグレード版であり、画像とテキストのアライメントを改善しています。改良されたトレーニング方法とアーキテクチャにより、大幅に性能が向上しています。
SigLIP 2とは何ですか？
Google DeepMindが提案したSigLIP 2は、高度な多言語対応の視覚言語モデルであり、SigLIPのアップグレード版で、画像とテキストのアライメントを改善しています。改良されたトレーニング方法とアーキテクチャにより、多言語理解、ゼロショット分類、画像テキスト検索などのタスクにおけるモデルのパフォーマンスが大幅に向上しています。SigLIP 2は、複数の言語のテキスト入力を処理し、画像との正確なマッチングを実行できます。マスク予測や自己蒸留などの自己教師あり学習技術を導入し、モデルの特徴抽出能力をさらに最適化しています。SigLIP 2には2つのバリアントがあります。FixRes（固定解像度） NaFlex（複数の解像度とアスペクト比をサポートし）異なる解像度の画像入力にも対応できます。
SigLIP 2の主な機能
- 多言語対応SigLIP 2は複数の言語に対応しており、強力な多言語対応の視覚言語符号化機能を提供するため、言語や文化的背景の異なるタスクに適しています。
- ゼロショット分類SigLIP 2は、特定のタスクに合わせて微調整を行うことなく、新しいカテゴリを直接分類できます。
- 画像テキスト検索画像からテキストへの検索、およびテキストから画像への検索をサポートしており、入力コンテンツに最も一致する対応するアイテムを迅速に見つけることができます。
- 大規模言語モデルのための視覚化機能を提供するSigLIP 2は、他の言語モデルに画像理解機能を提供するためのビジョンモジュールとして使用できます。
- 高効率トレーニングと最適化シグモイド損失関数は、従来の対照学習法（CLIPのInfoNCE損失など）におけるストレージと計算のボトルネックを解消するために使用され、それによって学習効率を向上させます。
SigLIP 2の技術原理
- シグモイド損失関数SigLIP 2は、従来の対照的損失関数（CLIPのInfoNCE損失など）の代わりにシグモイド損失関数を使用します。これにより、グローバル特徴とローカル特徴のバランスの取れた学習が可能になり、対照的学習でよく見られる計算上のボトルネックを回避できます。
- 自己教師あり学習とデコーダの事前学習SigLIP 2は、画像記述の事前学習と、自己蒸留やマスク予測などの自己教師あり学習手法を組み合わせています。デコーダーの事前学習により、モデルは画像領域とその対応するテキスト記述をより深く理解できるようになり、微細なディテールを捉える能力が向上します。
- 動的解像度サポートSigLIP 2では、複数の解像度と元の縦横比をサポートするNaFlexバリアントが導入されました。これは画像の空間情報を保持するため、文書認識やOCRなど、解像度に敏感なタスクに適しています。
- 多言語サポートとバイアス補正技術SigLIP 2は、学習時に多言語データセットを使用し、性別や文化による不公平なバイアスを軽減するためのバイアス除去技術を採用しています。これにより、モデルは多言語タスクにおいてより公平かつ正確なパフォーマンスを発揮します。
- グローバルな特徴とローカルな特徴の組み合わせSigLIP 2は、グローバル・ローカル損失とマスク予測損失を採用することで、グローバルな意味とローカルな詳細に同時に焦点を当てることができ、セマンティックセグメンテーションや深度推定などの高密度予測タスクにおいて優れた性能を発揮します。
- 後方互換性SigLIP 2はVision Transformerアーキテクチャに基づいており、以前のバージョンとの互換性を維持しています。ユーザーはシステム全体を再構築することなく、モデルの重みをシームレスに置き換えることができます。
SigLIP 2プロジェクトのアドレス
- GitHubリポジトリ：https://github.com/google-research/siglip2.md
- ハギングフェイスモデルライブラリ：https://huggingface.co/collections/google/siglip2
- arXiv技術論文：https://arxiv.org/pdf/2502.14786
SigLIP 2の応用シナリオ
- 多言語画像分類SigLIP 2は、複数の言語におけるゼロショット分類タスクをサポートしており、言語を跨いだ画像認識と分類を可能にします。ユーザーが画像をアップロードすると、モデルはその画像が「動物」カテゴリに属することを識別できます。
- 視覚的質問応答（VQA）SigLIP 2は言語モデルと組み合わせることで、画像コンテンツに基づいてユーザーに自然言語による応答を提供する、視覚的な質問応答タスクを処理できます。
- 文書の理解SigLIP 2は複数の解像度をサポートし、アスペクト比を維持するため、OCRや文書内容の理解といった文書画像処理に適しています。
- オープンボキャブラリーのセグメンテーションと検出セマンティックセグメンテーションや物体検出タスクにおいて、SigLIP 2は未知のカテゴリを処理でき、動的な環境における視覚タスクに適しています。