LatentSync - ByteDanceと北京交通大学がオープンソース化した、エンドツーエンドのリップシンクフレームワーク。

LatentSyncとは何ですか？

LatentSyncは、ByteDanceと北京交通大学が共同開発したエンドツーエンドのリップシンクフレームワークです。音声条件付き潜在拡散モデルに基づいており、中間的な3D表現や2D特徴点を必要としません。LatentSyncは、Stable Diffusionの強力な生成機能を活用して、複雑な視聴覚関係を捉え、動的にリアルな音声ビデオを生成します。異なるフレーム間の拡散プロセスの不整合によって生じる時間的一貫性の問題に対処するため、Temporal REPresentation Alignment（TREPA）メソッドを導入しています。このメソッドは、大規模な自己教師ありビデオモデルを使用して時間的表現を抽出し、リップシンクの精度を維持しながら、生成されたフレームと実際のフレーム間の時間的一貫性を向上させます。包括的な実験研究に基づき、LatentSyncはSyncNetの収束問題を解決し、リップシンクの精度を向上させます。

LatentSyncの主な機能

• 唇の形状を同時に生成入力された音声に基づいて、対応する口の動きを生成し、動画内のキャラクターの口の動きを音声と同期させます。吹き替えやバーチャルアバターなどの用途に適しています。
• 高解像度ビデオ生成この技術は高解像度の動画を生成し、ピクセル空間で拡散が発生する場合に高いハードウェア要件を必要とする従来の拡散モデルの限界を克服します。
• ダイナミックでリアルな効果生成された動画は、ダイナミックでリアルな効果を持ち、感情のトーンに関連する微妙な表情を捉えることで、登場人物のセリフをより自然で生き生きとしたものにしている。
• 時間の一貫性の向上時間表現アライメント（TREPA）法に基づき、生成される動画の時間的な一貫性を向上させ、動画のちらつきを軽減し、動画再生をよりスムーズにします。

LatentSyncの技術原理

• 音声条件付き潜在拡散モデルこの手法では、潜在拡散モデルを用いて、ピクセル空間拡散や2段階生成プロセスを必要とせず、音声情報に基づいて潜在空間を直接モデル化します。潜在拡散モデルは、音声情報と視覚情報の複雑な関係性をより的確に捉え、高品質なリップシンク動画を生成します。
• エンドツーエンドのフレームワークエンドツーエンドのフレームワークに基づき、音声特徴抽出、潜在表現生成、リップシンク生成を統合モデルに組み込むことで、中間ステップを簡素化し、生成効率と精度を向上させています。
• Temporal REPresentation Alignment (TREPA)TREPA法を紹介します。この方法は、大規模な自己教師ありビデオモデルVideoMAE-v2を使用して時間的表現を抽出し、生成された連続フレームの時間的表現と実際の連続フレームの時間的表現との間の距離を損失関数として計算することで、生成されたビデオの時間的一貫性を向上させます。
• SyncNet監視トレーニング中、生成された動画は、事前に学習済みのSyncNetを用いて監視され、良好なリップシンクが確保されます。SyncNetの損失関数がピクセル空間に追加され、モデルが音声と唇の動きの対応関係をより正確に学習できるようにします。

LatentSyncプロジェクトのアドレス

• GitHubリポジトリ：https://github.com/bytedance/LatentSync
• arXiv技術論文：https://arxiv.org/pdf/2412.09262

LatentSyncの応用シナリオ

• 映画・テレビのポストプロダクション映画の吹き替え作業では、吹き替え音声に基づいて口の動きが自動的に生成されるため、制作効率が向上し、キャラクターイメージの一貫性が維持されます。
• 教育オンライン英語レッスンでは、教師は音声を口の動きに合わせて動画に変換し、生徒がより正確に発音を学べるように支援する。
• 広告ビデオ制作自動車広告では、広告コピーをより自然に見せ、広告の魅力を高めるために、バーチャルなスポークスパーソン向けに口パク動画が制作される。
• リモート会議国境を越えた遠隔会議におけるリアルタイムのリップシンクビデオ生成は、ネットワーク遅延によって引き起こされる音声と映像の非同期性の問題を解決し、コミュニケーションの有効性を向上させます。
• ゲーム開発RPGゲームにおいて、会話中のNPCの口の動きと声を同期させることは、ゲームへの没入感とキャラクター間の相互作用を高める。