3DHM - 1枚の画像から任意のビデオモーションを生成する3D人体モーション生成フレームワーク。

3DHMとは何ですか？

3DHM（3D Human Motions）は、カリフォルニア大学バークレー校の研究者によって開発された高度な3D人体動作生成技術です。1枚の写真から3D制御による動的な人体動画を生成し、静止画から動的な動画への変換を実現します。この技術は、人体の目に見えない部分に関する事前知識を学習し、与えられた3Dモーションシーケンスと組み合わせることで、適切な衣服やテクスチャを備えた新しい身体ポーズをレンダリングします。3DHMは、映画の特殊効果、バーチャルリアリティ、ゲーム開発など、幅広い用途があり、アニメーションや人体動作シミュレーションに新たな可能性をもたらします。

3DHMの主な機能

• 行動創出3DHMは、走る、踊る、バスケットボールをするなど、テキストによる説明に基づいて、対応する3Dの人間の動きを生成できます。
• アクション編集マスクベースの編集をサポートしており、ユーザーはアクションの期間や詳細など、アクションの特定の部分を指定して編集できます。
• 動作評価生成されたアクションの品質と現実性を評価するための評価スクリプトを提供します。
• テクスチャパターン修復不完全なテクスチャパターンは、1枚の写真から生成され、拡散モデルを用いて修復することで完全なテクスチャパターンが生成される。
• 人体レンダリング3D人体姿勢制御レンダリングパイプラインに基づいて、衣服、髪、および見えない部分を適切に埋めるなど、さまざまなポーズの対象キャラクターのリアルなレンダリングを生成できます。
• 行動を模倣する3DHMフレームワークは、対象動画内の動作を模倣することができ、身体の動きだけでなく、衣服や外見の変化も再現可能です。
• 3D制御3DHMは、さまざまな合成カメラ軌道を使用してキャラクターをレンダリングし、対象の動きに忠実で、入力画像により視覚的に類似した一連の3Dポーズを生成することができます。

3DHMの技術原理

• 質感と模様の修復（インペインティング拡散法）このプロセスでは、まず一枚の写真から不完全なテクスチャパターンを生成し、次に拡散モデルを使用してそれを修復し、完全なテクスチャパターンを生成します。最初に、与えられた一枚の写真から、部分的に見えるテクスチャパターンとその対応するマスクを抽出します。次に、これらの入力を拡散モデルに入力し、見えない領域を含む完全なテクスチャパターンを生成します。
• 人体レンダリング（拡散レンダリング）第2段階では、衣服、髪型、体型などの細部を含めた、よりリアルなキャラクターレンダリングを目指します。第1段階で生成されたテクスチャパターンを、俳優の3Dボディメッシュのシーケンスに適用し、俳優の動きを模倣する中間レンダリングを生成します。次に、得られた中間レンダリングと元のキャラクター写真をレンダリング拡散処理に入力し、与えられた入力に基づいてリアルな外観のキャラクターをレンダリングします。
• 予測モデル4DHumans：3DHMフレームワークは、最先端の予測モデルである4DHumansによる高精度な3D姿勢予測の利点を最大限に活用しており、俳優の動画から人間の動きを正確に追跡し、3Dの人間の姿勢を抽出することができます。

3DHMプロジェクトの住所

• プロジェクト公式サイト：https://boyiliee.github.io/3DHM
• GitHubリポジトリ：https://github.com/Boyiliee/3DHM
• arXiv技術論文：https://arxiv.org/pdf/2401.10889

3DHMの応用シナリオ

• 映画の特殊効果制作3DHMは複雑なキャラクターアニメーションを生成するために使用でき、手作業によるアニメーション制作の作業量を削減し、映画の特殊効果のリアリティと効率性を向上させる。
• バーチャルリアリティ（VR）VRアプリケーションでは、3DHMを使用してユーザーの身体の3Dモデルをリアルタイムで生成することができ、ユーザーの没入感とインタラクティブな体験を向上させることができます。
• ゲーム開発ゲーム開発者は3DHMを使用することで、多様なキャラクターアニメーションを迅速に生成でき、ゲームの豊かさと開発効率を向上させることができます。
• ダンスと体操3DHMは、ダンスや体操などの動きを高画質で映像化することができ、スポーツトレーニングや舞台芸術のデジタル表示に適しています。
• 動作模倣3DHMは、対象動画内の動きを模倣することができ、身体の動きだけでなく、衣服や外見の変化も再現できるため、モーションキャプチャやアニメーション制作に適しています。