InfiniteTalk - Meituanのオープンソースのデジタルヒューマン動画生成フレームワーク - AiBoss

InfiniteTalkとは何ですか？

InfiniteTalkは、美団のビジュアルインテリジェンス部門が開発した、デジタルヒューマンを主体とした新しい技術です。スパースフレーム動画吹き替えパラダイムを採用することで、少数のキーフレームのみでデジタルヒューマンによる自然で滑らかな動画を生成し、従来の技術における唇の動き、表情、身体の動きの不一致という問題を解決します。InfiniteTalkは、デジタルヒューマン動画をより没入感のある自然なものにし、高い生成効率と低コストを実現します。InfiniteTalkの論文、コード、重み付けデータはオープンソースで公開されており、デジタルヒューマン技術の開発において重要な参考資料となります。

InfiniteTalkの主な機能

仮想人間の高効率運転わずか数フレームのキーフレームだけで、仮想人間を正確に制御し、自然で滑らかな動画を生成することができ、唇の動き、表情、体の動きの完璧な同期を実現します。
多様なシーンへの適応仮想アンカー、カスタマーサービス、俳優など、さまざまなシナリオに適用可能であり、さまざまな業界に効率的かつ低コストな仮想人間ソリューションを提供する。
高効率ビデオ生成スパースフレーム駆動と時間補間技術を用いることで、高品質な動画を迅速に生成でき、制作コストと時間を大幅に削減できる。

InfiniteTalkの技術原則

スパースフレームビデオ吹き替えパラダイムスパースフレーム駆動型アプローチに基づき、人物の唇の動き、表情、動作の変化を捉えるには、少数のキーフレームのみで済みます。キーフレームには、人物の動きや表情に関する重要な情報が含まれています。適切な時間補間によって中間フレームが生成され、完全なビデオシーケンスが実現します。高度な時間補間アルゴリズムを用いて、キーフレーム間の時間間隔を適切に埋めます。同時に、融合技術を用いて、動作、表情、唇の動きをキーフレームから中間フレームへと自然に移行させ、一貫性のあるビデオコンテンツを生成します。
マルチモーダル融合と最適化これは、テキスト、音声、および視覚情報を融合させる技術です。例えば、音声認識技術は音声から音声コンテンツを抽出し、それをテキスト情報と組み合わせることで、仮想人間の唇の動きや表情をより正確に制御します。ディープラーニングの最適化アルゴリズムに基づき、仮想人間の動き、表情、唇の動きを微調整することで、入力された音声やテキストとの整合性を高め、動画の自然さとリアリティを向上させます。
高効率コンピューティングアーキテクチャ計算リソースの消費を削減しつつ、モデルのパフォーマンスを確保するために、軽量な深層学習モデルを構築します。また、並列コンピューティング技術を用いて動画生成プロセスにおける複数のタスクを並列処理することで、動画生成の速度と効率をさらに向上させます。

InfiniteTalkプロジェクトのアドレス

プロジェクト公式サイト：https://meigen-ai.github.io/InfiniteTalk/
GitHubリポジトリ：https://github.com/MeiGen-AI/InfiniteTalk
ハギングフェイスモデルライブラリ：https://huggingface.co/MeiGen-AI/InfiniteTalk
arXiv技術論文：https://arxiv.org/pdf/2508.14033

InfiniteTalkのアプリケーションシナリオ

バーチャルストリーマーニュース、バラエティ番組、生放送、その他の番組に仮想アンカーを提供することで、24時間途切れることのない放送を可能にし、番組の効率性とエンターテイメント性を向上させます。
映画およびテレビ制作映画やテレビ制作においては、仮想キャラクターの迅速な生成とモーションキャプチャに使用され、制作コストと時間の削減に貢献する。
ゲーム開発これはゲーム内の仮想キャラクターの生成を助け、キャラクターの動きの自然さと滑らかさを向上させ、ゲームへの没入感を高めます。
オンライン教育生徒一人ひとりに合わせた教育サービス（オンラインでの質疑応答や授業内容の説明など）を提供する仮想教師を作成し、教育効果を高める。
トレーニングシミュレーション顧客サービス研修や営業研修など、企業研修で使用される仮想シナリオシミュレーションは、従業員が仮想環境で練習し、学ぶことを可能にする。