InfinityHuman - ByteDanceと浙江大学が共同開発した、AIを活用したデジタルヒューマン動画生成モデル。

InfinityHumanとは何ですか？

ByteDanceと浙江大学の共同チームが開発した商用グレードの長期音声駆動型人間動画生成モデル「InfinityHuman」は、AIデジタルヒューマンの実用化に新たな章を開きます。粗密フレームワークに基づき、このモデルは低解像度の動き表現を生成し、ポーズ誘導リファイナーを通して徐々に高解像度の長期動画を生成します。また、手に特化した報酬メカニズムを導入することで、手の動きの自然さと同期性を最適化し、既存の手法におけるアイデンティティドリフト、不安定なビジュアル、ぎこちない手の動きといった一般的な問題を効果的に解決しています。InfinityHumanはEMTDおよびHDTFデータセットで優れた性能を発揮し、バーチャル放送、教育、カスタマーサービスなどの分野における新たな可能性を切り開きます。

InfinityHumanの主な機能

• 長時間の動画生成高解像度で長時間の人体アニメーション動画を、視覚的な一貫性と安定性を維持しながら生成できる。
• 自然な手の動き手に特化した報酬メカニズムを通して、自然で正確、かつ音声と同期した手のジェスチャーを生成します。
• アイデンティティの一貫性ポーズ誘導型リファイナーと最初のフレームを視覚的な基準点として使用することで、累積誤差が低減され、キャラクターの同一性の長期的な一貫性が維持される。
• リップシンク生成された動画内のキャラクターの口の動きが音声と高度に同期していることを確認し、リアリティを高めます。
• 多様なキャラクタースタイルさまざまなアプリケーションシナリオのニーズを満たすため、異なるスタイルの文字生成をサポートしています。

InfinityHumanの技術原則

• 低解像度アクション表現生成このモデルは、音声駆動生成によって音声と同期した低解像度の姿勢表現を生成します。これは、全体的なリズム、動き、唇の動きが事前に一致するようにするための「基礎を築く」ことに相当します。
• ポーズ誘導リファイナーこのモデルは、低解像度の動き表現の生成に基づいて、姿勢誘導型リファイナーを使用して高解像度ビデオを段階的に生成します。
  • ポーズシーケンスポーズシーケンスは、時間的な劣化に抵抗し、視覚的な一貫性を維持する、安定した中間表現として機能する。
  • 視覚的なアンカー最初のフレームは視覚的なアンカーポイントとして機能し、継続的にアイデンティティとイメージを参照および修正することで、蓄積されたエラーを減らします。
  • 手への報酬メカニズム高品質な手の動きのデータを用いてトレーニングを行うことで、手に特化した報酬メカニズムが導入され、手の動きの自然さと音声との同期が最適化される。
• マルチモーダル条件付き融合このモデルは、参照画像、テキストプロンプト、音声など、複数のモダリティ情報を統合することで、生成されるビデオの視覚的および聴覚的な一貫性と自然さを確保します。

InfinityHumanのプロジェクトアドレス

• プロジェクト公式サイト：https://infinityhuman.github.io/
• arXiv技術論文：https://arxiv.org/pdf/2508.20210

InfinityHumanの応用シナリオ

• バーチャルストリーマーバーチャルアンカーは、ニュース放送や番組の司会を自然かつスムーズに行うことができ、視聴体験を向上させ、人件費を削減する。
• オンライン教育AI教師は、知識を説明する際にそれに応じたジェスチャーを行うことで、授業プロセスをより生き生きと魅力的なものにし、生徒の学習意欲と集中力を向上させることができる。
• 顧客サービスデジタルカスタマーサービス担当者は、音声によるコミュニケーションにおいて自然な対応が可能であり、従来のカスタマーサービスの機械的な印象を払拭し、顧客満足度を向上させる。
• 映画およびテレビ制作アニメーション映画、テレビシリーズ、その他の映画やテレビ作品において、高品質で長尺のキャラクターアニメーションを迅速に生成できるため、手作業による作画やポストプロダクションでの修復作業の負担を軽減できます。
• バーチャルソーシャルこれにより、仮想現実（VR）や拡張現実（AR）における仮想キャラクターに自然な動きや表情を与えることができ、仮想空間での社会的交流をよりリアルで没入感のあるものにし、ユーザー間のインタラクティブ性を高めることができる。