SAM 2 - Meta社のAIオブジェクトセグメンテーションモデル

SAM 2とは何ですか？

SAM 2（Segment Anything Model 2）は、Meta社が開発したAIオブジェクトセグメンテーションモデルで、リアルタイムの画像および動画オブジェクトセグメンテーションに特化しています。ゼロショット汎化機能を備え、未知のオブジェクトを正確にセグメンテーションし、統一されたアーキテクチャを通じて画像と動画を同時に処理します。SAM 2はインタラクティブなプロンプトをサポートするように設計されており、ユーザーはボックスをクリックまたは選択することでセグメンテーションプロセスをガイドできます。SAM 2モデルはオープンソースであり、動画編集、自動運転、医療画像処理などの分野におけるAIの応用を促進します。

SAM 2の主な機能

• 統合処理機能SAM 2は、静止画像と動画の両方のセグメンテーション処理を同時に行うことができ、アプリケーションの柔軟性と効率性を向上させます。
• 高効率なリアルタイム処理SAM 2は、毎秒最大44フレームの解析が可能な効率的なリアルタイム処理機能を誇り、ビデオ編集や拡張現実技術など、迅速なフィードバックを必要とするアプリケーションのニーズを満たします。
• 非常に適応力が高いSAM 2は優れた適応性を備えており、トレーニング段階では出現しなかった新しい物体を識別し、セグメント化することができる。
• ユーザーインタラクションの改善SAM 2を使用する際に、何がうまくいっていて何がうまくいっていないかを伝えると、SAM 2はあなたのフィードバックから学習し、改善していくことができます。
• 複雑なシーン分析複雑なシーンやぼやけたシーンに直面した場合、SAM 2は複数のセグメンテーションオプションを提供し、重なり合ったオブジェクトや部分的に遮蔽されたオブジェクトをインテリジェントに解析して区別することができます。

SAM 2 技術原理

• 統一モデルアーキテクチャSAM 2は、画像と動画のセグメンテーション機能を単一のモデルに統合し、プロンプトベースのインターフェースを使用して、ポイント、バウンディングボックス、またはマスクを介して対象オブジェクトを指定します。
• 高度な処理機構SAM 2には、オブジェクトの遮蔽や再現など、ビデオセグメンテーションにおける一般的な課題に対処するためのメカニズムが組み込まれています。複雑なメモリ機構を用いて各フレーム内のオブジェクトを追跡し、連続性を確保します。
• モデルアーキテクチャこれには、画像およびビデオエンコーダ、キューエンコーダ、メモリ機構（メモリエンコーダ、メモリバンク、メモリアテンションモジュール）、およびマスクデコーダが含まれます。これらのコンポーネントは連携して、特徴抽出、ユーザーキューの処理、過去のフレームからの情報の保存、および最終的なセグメンテーションマスクの生成を行います。
• メモリ機構とオクルージョン処理メモリ機構により、SAM2は時間的な依存関係や遮蔽の問題を処理できます。オブジェクトが移動したり遮蔽されたりした場合でも、モデルはメモリを利用してオブジェクトの位置と外観を予測できます。
• マルチマスクぼかしソリューション複数のセグメンテーション対象が存在する場合、SAM2は複数のマスク予測を生成することができ、複雑なシーンの精度を向上させることができます。
• SA-VデータセットSAM 2の学習のために、SA-Vデータセットが開発されました。これは、51,000本以上の動画と600,000件以上のマスク注釈を含む、これまでにない多様性と複雑さを備えた、最大規模かつ最も多様な動画セグメンテーションデータセットの一つです。
• 視覚的セグメンテーションタスクのプロンプトSAM 2は、ビデオ内の任意のフレームからの入力キューを受け取り、予測対象となる時空間マスクを定義し、これらのキューに基づいて現在のフレームのマスクを即座に予測し、それを時間的に伝播させて、すべてのビデオフレームにおける対象オブジェクトのマスクを生成するように設計されています。

SAM 2プロジェクトの住所

SAM 2の応用シナリオ

• 動画編集ビデオのポストプロダクションにおいて、SAM 2はビデオオブジェクトを迅速にセグメント化できるため、編集者は複雑な背景から特定の要素を抽出して、エフェクトを追加または置き換えることができます。
• 拡張現実（AR）ARアプリケーションにおいて、SAM 2は現実世界の物体をリアルタイムで識別・分割し、仮想情報や画像をユーザーに重ね合わせることができます。
• 自動運転自動運転車において、SAM 2は道路、歩行者、車両などを正確に識別・区分するために使用でき、ナビゲーションと障害物回避の精度を向上させる。
• 医用画像処理医療分野において、SAM 2は医師が医用画像内の病変領域をセグメント化して特定するのに役立ち、診断や治療計画の策定を支援する。
• コンテンツ作成コンテンツ制作者にとって、SAM 2は動画や画像内の特定のオブジェクトを素早く選択できるため、より創造的な可能性が広がります。