アポロ・メタ社は、スタンフォード大学と共同で、大規模なマルチモーダルモデルを開発した。

アポロとは何ですか？

Apolloは、Metaとスタンフォード大学が共同開発した大規模マルチモーダルモデル（LMM）であり、動画理解に焦点を当てています。体系的な研究に基づき、ApolloはLMMにおける動画理解の主要な推進要因を明らかにし、「スケーリングの一貫性」という現象を提唱しています。これは、小規模モデルで行われた設計上の決定が、大規模モデルにも効果的に適用できることを示しています。Apolloプロジェクトでは、動画理解を評価するための効率的なベンチマークであるApolloBenchと、さまざまなスケールで優れたパフォーマンスを発揮する一連の高度なApolloモデルが紹介されています。特に、長時間の動画の処理において優れた性能を発揮し、数時間にわたる動画を効率的に理解します。Apollo-3BおよびApollo-7Bモデルは、複数のベンチマークテストにおいて、より多くのパラメータを持つモデルを凌駕する性能を示し、動画LMM研究における新たな進歩を示しています。

アポロの主な機能

動画の理解度向上Apolloは、時空間的特徴の取得と処理を含む大規模マルチモーダルモデル（LMM）を使用することで、ビデオコンテンツの理解を深めます。
デザイン空間の探求ビデオLMMの設計空間を体系的に探求する。これには、ビデオサンプリング、アーキテクチャ、データ構成、トレーニングプランなどが含まれる。
パフォーマンス最適化「スケーリングの一貫性」現象の発見に基づき、Apolloはより小さなモデルで設計上の決定を行い、これらの決定をより大きなモデルに効果的に適用することで、計算コストを削減できる。
高効率評価モデルのパフォーマンスを迅速かつ正確に評価するための、効率的な動画理解評価ベンチマークであるApolloBenchをご紹介します。
モデルファミリーさまざまな規模において、特に長時間の動画処理において優れた性能を発揮するApolloモデルファミリーをご紹介します。

アポロの技術原理

Scaling Consistencyより小さなモデルにおける効果的な設計およびトレーニングの決定が、より大きなモデルにも適用できるという発見は、「スケーリングの一貫性」として知られています。
ビデオサンプリング戦略アポロは、フレームレート（fps）サンプリングが、トレーニングと推論の両方において、均一サンプリングよりも優れた性能を発揮することを発見した。
エンコーダの選択実験に基づき、最適なビデオ表現を実現するための最適な単一エンコーダとエンコーダの組み合わせが決定された。
トークンの再サンプリングPerceiver Resamplerを使用してビジュアルトークンをリサンプリングすることで、フレームあたりのトークン数を減らし、モデルの効率を向上させます。
データミキシングこの研究では、テキスト、画像、動画データの混合比率を調査し、適切な量のテキストデータを含め、動画データの比率をわずかに維持することで、最高のパフォーマンスが得られることを発見した。
トレーニングプラン多段階のトレーニング計画に基づき、モデルのトレーニングダイナミクスを最適化するために、さまざまなコンポーネントが段階的に解凍されます。

アポロ計画の住所

プロジェクト公式サイト：apollo-lmms
GitHubリポジトリ：https://github.com/Apollo-LMMs/Apollo
ハギングフェイスモデルライブラリ：https://huggingface.co/Apollo-LMMs
arXiv技術論文：https://arxiv.org/pdf/2412.10360

アポロのアプリケーションシナリオ

動画コンテンツ分析このソフトウェアは、ビデオコンテンツを分析し、ビデオ内のオブジェクト、シーン、イベントを識別し、ビデオコンテンツの自動注釈とインデックス作成をサポートします。
動画の検索とおすすめ動画コンテンツの理解に基づき、動画検索エンジンを改善し、より正確な検索結果とパーソナライズされた動画のおすすめを提供します。
インテリジェントモニタリングセキュリティ監視の分野では、異常な動作を検知し、リアルタイムの分析と対応を提供します。
自動運転アポロの映像認識機能は、自動運転システムにおいて、車両が周囲の状況をより正確に把握するために活用されている。
教育と訓練教育分野では、教育ビデオを分析し、個々の学習ニーズに合わせた提案やフィードバックを提供しています。