MM1.5 - Appleのアップグレード版マルチモーダル大型モデル

MM1.5とは何ですか？

MM1.5は、Appleが開発したマルチモーダルな大規模言語モデルで、リッチな画像理解、視覚的な参照と位置特定、および複数画像推論機能を強化するように設計されています。このモデルはデータ中心のトレーニングアプローチを採用しており、大規模な事前トレーニング、高解像度OCRデータを用いた継続的な事前トレーニング、最適化された視覚的指示による微調整を通じて、10億から300億のパラメータで高いパフォーマンスを実現しています。MM1.5には、インテンシブおよびMoEバリアントが含まれており、高度なデータキュレーションとトレーニング戦略によって小規模モデルでも強力なパフォーマンスを実現できることを示しています。また、MM1.5には、動画理解とモバイルUI理解に最適化された専用バリアントであるMM1.5-VideoとMM1.5-UIも導入されており、経験的研究に基づいたトレーニングプロセスと意思決定に関する詳細な洞察を提供し、マルチモーダルAI技術の今後の発展を導きます。

MM1.5の主な機能

• テキストが豊富な画像の理解MM1.5は、画像内のテキストコンテンツと、テキストと画像コンテンツの関係性を理解できます。
• 視覚的な参照と位置決めこのモデルは画像内の特定の物体を識別し、「あの赤いボール」のようなテキスト中の物体への言及を理解する。
• 複数画像推論MM1.5は、複数の画像を分析し、それらの間の関係性を理解し、論理的な推論を実行できます。
• 動画の理解MM1.5-Videoのバリアントに基づくと、このモデルは、動作、イベント、時間シーケンスを含むビデオコンテンツを理解できます。
• モバイルUIを理解するMM1.5-UIバージョンは、モバイルアプリケーションにおけるインターフェース要素の理解、認識、操作を目的として特別に設計されています。

MM1.5の技術的原則

• ディープラーニングと自然言語処理深層学習に基づく視覚モデルと自然言語処理技術を組み合わせることで、このモデルは画像コンテンツに関連するテキストを理解し、生成することができる。
• トークンと視覚的注意メカニズムの協調座標トークンを使用して画像内のオブジェクトの位置を特定し、視覚的注意メカニズムに基づいて画像の特定の領域に焦点を当てます。
• 画像セグメンテーションとマルチモーダル融合画像を複数の部分に分割し、テキスト情報と統合することで、複数画像を用いた推論をサポートする。
• ビデオフレームのサンプリングとタイミング解析このプロセスには、ビデオフレームのサンプリング、フレーム間の時間的関係の分析、およびビデオコンテンツの理解が含まれます。
• インターフェース要素認識画像認識技術を用いて、ボタンやアイコンなど、モバイルインターフェース上の要素を識別する。

MM1.5プロジェクトの住所

• arXiv技術論文：https://arxiv.org/pdf/2409.20566v1

MM1.5の適用シナリオ

• 画像と動画の理解MM1.5は画像や動画コンテンツを理解・分析することができ、画像注釈、動画コンテンツ分析、セキュリティ監視などの分野に応用可能です。
• ビジュアル検索電子商取引やデジタルライブラリにおいて、MM1.5はユーザーが説明文やクエリ画像に基づいて特定の製品や文書を検索するのに役立ちます。
• 運転支援および自動運転自動車業界では、MM1.5は路面状況の把握と分析、および運転判断の支援に用いられています。
• スマートアシスタントスマートフォンやスマートホーム機器において、MM1.5はユーザーの音声コマンドやテキストコマンドを理解することで、より自然で直感的な操作方法を提供します。
• 教育と訓練MM1.5は、学生が複雑な概念を理解するのに役立つ教育ツールとして機能し、個々のニーズに合わせた学習体験を提供します。