SAM 2.1 - メタオープンソース画像セグメンテーションモデル

SAM 2.1とは何ですか？

SAM 2.1（Segment Anything Model 2.1）は、Meta（Facebookの親会社）が画像および動画処理向けに開発した高度な視覚セグメンテーションモデルです。シンプルなTransformerアーキテクチャとストリーミングメモリ設計に基づいており、リアルタイムの動画処理を可能にします。前モデルをベースに、SAM 2.1はデータ拡張技術を導入することで、視覚的に類似した小さなオブジェクトの認識精度を向上させ、オクルージョン処理機能を強化しています。さらに、MetaはSAM 2の開発者キットをオープンソース化しており、トレーニングやネットワークデモ用のフロントエンドおよびバックエンドコードが含まれているため、ユーザーによる導入やモデルの微調整が容易になります。

SAM 2.1の主な機能

• 画像と動画のセグメンテーション画像や動画を視覚的に分割し、異なる物体や要素を識別・分離する。
• リアルタイムビデオ処理ストリーミングメモリとTransformerアーキテクチャに基づいて、ビデオストリームをリアルタイムで処理します。
• ユーザーインタラクティブなセグメンテーションユーザーのクリックや選択に基づいて、画像や動画内のオブジェクトをインタラクティブにセグメント化します。
• 複数物体追跡動画シーケンス内の複数のオブジェクトを追跡し、各オブジェクトのセグメンテーションマスクを生成する機能をサポートしています。
• データ拡張データ拡張技術を導入することで、視覚的に類似した物体や小さな物体を認識するモデルの能力を向上させる。
• 隠すモデルの位置エンコーディングとトレーニング戦略を改善し、オクルージョンへの対応能力を向上させる。

SAM 2.1の技術的原則

• トランスフォーマーアーキテクチャSAM 2.1は、画像やビデオフレームなどの連続データを処理できる効率的なアテンションメカニズムモデルであるTransformerアーキテクチャに基づいています。
• ストリーミングメモリ動画データを処理するために、ストリーミングメモリ機構が導入されています。これにより、モデルは動画フレームを処理しながら以前のフレームの記憶を保持することができ、シーンの動的な変化をよりよく理解することが可能になります。
• データ拡張技術視覚的に類似したシミュレーションオブジェクトや小型オブジェクトに基づくデータ拡張は、認識が困難なオブジェクトを識別する能力を向上させる。
• ロケーションコーディング空間記憶と物体指し示し記憶の位置符号化を改善することで、モデルは物体の空間的位置と物体間の相互作用をよりよく理解できるようになる。

SAM 2.1プロジェクトのアドレス

• プロジェクト公式サイト：https://ai.meta.com/blog/fair-news-segment-anything-2-1-meta-spirit-lm-layer-skip-salsa-sona/
• GitHubリポジトリ：https://github.com/facebookresearch/sam2

SAM 2.1の適用シナリオ

• コンテンツの作成と編集動画編集における動的な背景置換は、動画制作をより柔軟かつ効率的にします。
• 拡張現実（AR）と仮想現実（VR）ARアプリケーションにおいては、正確な物体認識とインタラクションを可能にし、それによってユーザーエクスペリエンスを向上させる。
• 医用画像解析医療画像中の病変部位を自動的に識別することで診断を支援し、診断精度を向上させる。
• 自動運転とロボット工学自動運転システムの環境認識能力を向上させ、運転の安全性を確保するため。
• セキュリティ監視公共の場所における群衆数の計測や異常行動の検知を行うことで、公共の安全性を向上させる。