大規模モーションモデル - SenseTimeと南洋理工大学が共同開発した、統一されたマルチモーダルモーション生成モデル

大規模運動モデルとは何ですか？

Large Motion Model (LMM) は、シンガポールの南洋理工大学 S-Lab と SenseTime 研究チームが共同開発した、統合型マルチモーダルモーション生成モデルです。LMM は、テキストからモーション、音楽からダンスなど、さまざまなモーション生成タスクに対応でき、複数のベンチマークにおいてエキスパートモデルに匹敵する性能を発揮します。このモデルは、さまざまなモダリティ、フォーマット、タスクのデータセットを統合した包括的な MotionVerse データセットに基づいて構築されています。革新的な ArtAttention メカニズムと事前学習戦略を採用することで、身体部位の精密な制御と幅広い知識の汎化を実現しています。LMM は、未知のタスクを処理する際に高い汎化能力を発揮し、大規模モーションモデルに関する今後の研究に新たな展望をもたらします。

大規模運動モデルの主な機能

• マルチタスク動作生成テキストからモーションへ、音楽からダンスへ、アクションからモーションへなど、さまざまなモーション生成タスクを実行できます。
• データセットの統合異なるモダリティ、フォーマット、タスクのデータセットを統合し、統一されたモーション表現を実現するMotionVerseデータセットを作成します。
• 精密制御ArtAttentionメカニズムを採用することで、身体の各部位を正確に制御し、動作生成の精度を向上させています。
• 一般化能力高い汎化能力を発揮し、様々な未知のタスクにおいて効果的な動作生成を実現します。
• マルチモーダル入力処理テキスト、音楽、ビデオなど、複数のモードの入力を同時に処理し、それに対応するモーション出力を生成できる。

大型運動モデルの技術原理

• 統合データセット（MotionVerse）様々なタスクやモダリティからの動作データを含む統合データセットMotionVerseに基づき、TOMATO表記法を用いて異なる形式の動作データを統一する。
• 拡散トランスフォーマーバックボーンネットワークTransformerアーキテクチャに基づく拡散モデルを用いて、ノイズ除去拡散確率モデル（DDPM）により高品質なモーションシーケンスを生成する。
• アートアテンションメカニズム私たちは、身体部位の知覚モデリングを組み合わせることで、モデルが異なる身体部位を独立して制御・学習できるように支援する、ArtAttentionと呼ばれる斬新な注意機構を設計しました。
• 事前トレーニング戦略事前学習戦略では、ランダムなフレームレートと複数のマスキング技術を用いて、さまざまなデータソースからのモデルの学習能力と汎化能力を向上させる。
• ゼロショット学習ゼロサンプル法は、長いシーケンスモーションを生成するために使用され、モデルが追加のサンプルなしでモーションを生成することを可能にします。

大型モーションモデルのプロジェクト住所

• プロジェクト公式サイト：https://mingyuan-zhang.github.io/projects/LMM
• GitHubリポジトリ：https://github.com/mingyuan-zhang/LMM
• arXiv技術論文：https://arxiv.org/pdf/2404.01284
• オンラインでデモを体験してください：https://huggingface.co/spaces/mingyuan/LMM

大規模運動モデルの応用シナリオ

• アニメーションとゲーム制作リアルなキャラクターアニメーションを生成し、手作業によるアニメーション制作の時間とコストを削減し、アニメーション制作の効率を向上させます。
• 仮想現実（VR）と拡張現実（AR）VRやARアプリケーションでは、ユーザーの操作に合わせて仮想キャラクターの動きが生成され、没入感を高めます。
• 映画およびビデオ制作複雑な戦闘シーンやダンスの動きをシミュレートするなど、映画の特殊効果を生成することで、制作効率を向上させる。
• 運動分析とトレーニングアスリートの動きを分析し、トレーニングの提案を行ったり、標準的な動作テンプレートを作成したりする。
• ロボット工学ロボットに複雑な人間の動作を実行させ、サービス、医療、産業分野における応用能力を向上させること。