MotionCLRは、テキストプロンプトに基づいて対応するモーションシーケンスを生成するAIモーション編集モデルです。

MotionCLRとは何ですか？

MotionCLRは、テキストプロンプトに基づいて動作を生成し、動作の強調、縮小、置換、消去、スタイル転送などのユーザーによるインタラクティブな編集をサポートする、アテンションベースの人間動作生成および編集モデルです。MotionCLRは、自己アテンションと相互アテンションのメカニズムに基づいて動作を理解し編集し、動作の強調/縮小、インサイチュ動作置換、例に基づく動作生成など、多様な動作編集タスクをサポートします。このモデルはHumanML3Dデータセットで優れた性能を発揮し、テキスト記述に正確に一致する高品質の動作を生成し、多様性、解釈可能性、編集機能において最先端の性能を実現しています。

MotionCLRの主な機能

• テキスト駆動型アクション生成： ユーザーが提供したテキスト説明に基づいて、対応するアクションシーケンスを生成します。
• 動きの強調と抑制： テキスト内のアクションキーワードの重みを調整することで、生成されるアクションを増減できます。
• 現状維持措置の代替： これにより、ユーザーは他のアクションを変更せずに、特定のアクションのみを置き換えることができます。
• 事例に基づく行動生成： 指定されたアクション例に類似した、新しい一連のアクションを生成します。
• スタイルの変化： ある動作のスタイルを別の動作に適用すると、新たなスタイル特性を持つ一連の動作が生成される。
• アクションシーケンス編集： アクションの順序調整やアクションの継続時間の変更など、より複雑なアクションシーケンスの編集をサポートします。

MotionCLRの技術原理

• 自己注意機構： モーションシーケンス内のフレーム間の時間的な関係を捉えることで、動きの連続性と自然さを確保します。
• 相互注意メカニズム： テキストの説明とアクションのシーケンスとの間に、きめ細かな対応関係を確立し、生成されるアクションがテキストの内容を正確に反映するようにする。
• 拡散モデル： 生成されたアクションは拡散モデルを用いて段階的に改善され、モデルはより洗練され、より現実的なものとなる。
• 無料エディターのトレーニング： このモデルは再学習なしで動作編集をサポートしており、編集の利便性と実用性を向上させています。
• アテンションマップの操作：アクション編集は、アテンションマップを直接操作することによって実現されます。例えば、アテンションの重みを調整して、アクションの強調や軽減を変更します。

MotionCLRプロジェクトの住所

• プロジェクト公式サイト：lhchen.top/MotionCLR
• GitHubリポジトリ：https://github.com/IDEA-Research/MotionCLR
• arXiv技術論文：https://arxiv.org/pdf/2410.18977
• オンラインでデモを体験してください：https://huggingface.co/spaces/EvanTHU/MotionCLR

MotionCLRの応用シナリオ

• ゲーム開発： ゲームキャラクターのアニメーションを生成し、自然で多様なキャラクターの動きを提供します。
• アニメーション制作： アニメーターがキャラクターの動きを素早く生成または修正するのに役立ち、アニメーション制作の効率を向上させます。
• 仮想現実（VR）と拡張現実（AR）： VR/ARインタラクティブ体験で使用するための、リアルなユーザー操作を生成する。
• 映画・テレビ番組制作： アクションシーンの事前視覚化や、ポストプロダクションにおけるアクションの参考資料として使用されます。
• 人間とコンピュータの相互作用： モーションキャプチャやゲーム制御など、人間の動きを入力として必要とするインタラクティブシステムにおいて。