DreamActor-M1 - ByteDanceが発表したAI搭載画像アニメーションフレームワーク - AiBoss

DreamActor-M1とは何ですか？

DreamActor-M1は、ByteDanceが開発した高度なAI画像アニメーションフレームワークで、静止画のポートレート写真を鮮やかなアニメーション動画に変換できます。暗黙的な顔表現、3Dヘッドスフィア、3Dボディスケルトンを制御信号として組み合わせたハイブリッド誘導メカニズムを採用し、表情や体の動きを精密に制御します。多言語音声による顔アニメーションに対応し、リップシンクされた動画も生成可能です。DreamActor-M1は、高い忠実度と人物の同一性保持能力を誇り、時間的な連続性に優れた動画を制作します。

DreamActor-M1の主な機能

静止画を動画に変換する静止画と参照動画を組み合わせることで、写真に写っている人物を動画シーンに違和感なく置き換えることができ、繊細な表情、自然な動き、そして高精細な画質を備えたダイナミックな画像が生成される。
微調整暗黙的な顔表現、3Dヘッドボール、および3Dボディスケルトンを組み合わせることで、顔の表情と体の動きを強力に制御します。
柔軟な動作伝達顔の表情や頭の動きなど、部分的な動きのみの伝達をサポートします。
顔のアニメーションのサポート音声連動型の顔アニメーションにも拡張可能で、複数の言語でのリップシンクを実現できる。
形状認識アニメーション形状に合わせてアニメーションを生成する技術は、骨の長さ調整技術によって実現されています。
多様なスタイルに対応様々な役割やスポーツスタイルに対応できる堅牢性を備えています。
複数の視点が支持されています様々な頭部のポーズに基づいたアニメーション結果を生成できます。

DreamActor-M1の技術原理

ハイブリッドブートメカニズムDreamActor-M1は、暗黙的な顔表現、3Dヘッドボール、および3Dボディスケルトン制御信号を組み合わせたハイブリッド誘導機構を採用し、顔の表情と体の動きを精密に制御します。このハイブリッド誘導方式により、全体的な協調性と滑らかさを維持しながら、細部まで非常にリアルなアニメーションを実現します。
マルチスケール適応このフレームワークは、段階的なトレーニング戦略を通じて、様々なポーズや解像度の画像に対応し、ポートレートから全身像への変換をサポートします。このマルチスケール適応性により、DreamActor-M1は様々なシナリオで高品質なアニメーションコンテンツを生成できます。
長期的な一貫性DreamActor-M1は、連続するフレームからの動きのパターンと視覚的な参照を統合することで、複雑な動きの中で観測されない領域における時間的な一貫性を確保します。これは、長くて一貫性のあるアニメーションを生成する上で非常に重要であり、よくある連続性エラーを回避するのに役立ちます。
顔の表情アニメーションと音声サポートこのフレームワークは音声駆動型の顔アニメーションをサポートし、複数の言語間でのリップシンク同期を可能にします。音声入力によって表情が変化し、自然な唇の動きが生成されることで、アニメーションのリアリティがさらに向上します。
形状認識アニメーションDreamActor-M1は形状認識アニメーション機能を備えており、骨の長さ調整技術によって形状適応型アニメーション生成を可能にします。これにより、生成されるアニメーションは様々なキャラクターの体型特性により良く適応します。

DreamActor-M1プロジェクトの住所

プロジェクト公式サイト：https://grisoon.github.io/DreamActor-M1/
arXiv技術論文：https://arxiv.org/pdf/2504.01724

DreamActor-M1の応用シナリオ

仮想キャラクターの作成俳優の演技を仮想キャラクターにシームレスに移行させることができ、俳優の表情、動きのリズム、感情の細部を捉え、仮想キャラクターに生き生きとした感情と動きを与えることができる。
パーソナライズされたアニメーションビデオ生成ユーザーは自分の写真を生き生きとした面白いアニメーション動画に変換することで、コンテンツの楽しさと魅力を高めることができます。例えば、静止画をダンスや歌、その他の楽しい動作のアニメーション動画に変換し、ソーシャルメディアで共有することができます。
バーチャルアンカーとインターネットセレブ仮想アンカーやインターネットセレブリティの作成に利用でき、制作コストと時間を削減できます。仮想アンカーは24時間ライブ配信やコンテンツ公開が可能で、その外見やスタイルはニーズに合わせてカスタマイズできます。
クリエイティブ広告制作広告代理店は、テクノロジーを活用することで、魅力的な広告動画を迅速に制作し、商品と生き生きとしたキャラクターアニメーションを組み合わせることで、広告の魅力とリーチを高めることができる。