動きの言語 ― スタンフォード大学のフェイフェイ・リー氏のチームが開発した、統一されたマルチモーダル言語モデル。

動きの言語とは何か？

スタンフォード大学のフェイフェイ・リー氏のチームが開発した「ランゲージ・オブ・モーション」は、人間の行動から得られる言語情報と非言語情報を統合したマルチモーダル言語モデルです。このモデルは、テキスト、音声、モーションデータを処理して対応するターゲットモダリティを生成します。これは、自然なコミュニケーションを実現する仮想キャラクターの作成に不可欠です。ランゲージ・オブ・モーションは、共有音声生成やジェスチャー生成タスクにおいて優れた性能を発揮し、従来のモデルに比べてトレーニングに必要なデータ量を大幅に削減できます。また、行動から感情を認識する感情予測など、新たなタスクも実行可能です。ランゲージ・オブ・モーションは、ゲーム、映画、バーチャルリアリティなどの分野におけるアプリケーションに大きな影響を与え、仮想キャラクターと人間との自然なコミュニケーションを可能にする技術開発を推進します。

動作言語の主な機能

マルチモーダル入力処理テキスト、音声、モーションデータを入力として受け入れることができ、複数のモダリティのデータを柔軟に処理できる。
行動の理解と生成入力された音声、テキスト、またはモーションデータに基づいて、対応する3Dの人間の動きを理解し、生成します。
一般的な音声とジェスチャーの生成音声と同期したジェスチャーを生成することで、仮想キャラクターの自然なコミュニケーション能力を向上させる。
感情予測動作データから感情を予測することは、メンタルヘルスや精神医学といった分野を支援する上で役立つ可能性がある。
編集ジェスチャー生成音声やテキストによる指示に基づいて、特定の身体部位の動きを編集できるようにすることで、動きの表現力を高めることができます。

動作言語の技術的原理

モーダルタグ付け顔、手、上半身、下半身の動きは、ベクトル量子化変分オートエンコーダー（VQ-VAE）を使用してトークン化され、連続的な動きデータが離散的なトークンに変換されます。
マルチモーダル語彙目標は、異なるモダリティのタグを統合したマルチモーダル語彙を作成し、言語モデルが異なるモダリティからの入力を処理できるようにすることです。
エンコーダ・デコーダアーキテクチャエンコーダー・デコーダー構造を持つ言語モデルは、混合トークンを入力として受け取り、出力トークンのシーケンスを生成する。
事前学習済みの自己教師あり学習に基づいて、身体のさまざまな部位の動きの対応関係や音声とテキストの対応関係など、異なるモダリティ間の関係性を整合させる。
指示はトレーニングに従ってください事前学習後、モデルは指示テンプレートを使用して微調整され、自然言語による指示に基づいて特定の下流タスクを実行できるようになります。
エンドツーエンドのトレーニングこのモデルは、モダリティ間の整合性を最大化するために、事前学習フェーズと事後学習フェーズの両方でエンドツーエンドで学習されます。

「動きの言語」プロジェクトの講演

プロジェクト公式サイト：languageofmotion.github.io
arXiv技術論文：https://arxiv.org/pdf/2412.10523

動作言語の応用シナリオ

ゲーム開発ゲーム内のノンプレイヤーキャラクター（NPC）をよりリアルで自然なものにし、身振り手振りやジェスチャーを通してプレイヤーとより豊かな形で交流できるようにする。
映画およびアニメーション制作映画やアニメーションにおいて、より自然で滑らかな3Dキャラクターの動きを生成し、手作業によるアニメーション制作の作業量を削減し、制作効率を向上させます。
バーチャルリアリティ（VR）仮想現実環境では、よりリアルなインタラクティブ体験が提供され、仮想キャラクターの行動や反応が現実の人間のそれにより近いものとなる。
拡張現実（AR）ARアプリケーションでは、仮想オブジェクトやキャラクターの動作は、現実世界におけるユーザーのジェスチャーや動きと連動する。
ソーシャルロボットソーシャルロボットに、より自然なコミュニケーション手段を提供し、ロボットと人間の相互作用を強化し、サービス、教育、コンパニオンシップなどの分野でより効果的に機能させること。