LivePortrait - Kuaishouがリリースしたオープンソースのポートレートアニメーション生成フレームワーク - AiBoss

LivePortraitとは何ですか？

LivePortraitは、Kuaishouが開発したオープンソースのポートレートアニメーション生成フレームワークです。動画の表情やポーズを静止画または動画に効率的かつ制御可能に転送し、表現力豊かな動画を作成することに重点を置いています。この技術は、大規模で高品質な学習データとハイブリッド学習戦略を活用した暗黙的キーポイントフレームワークによって実装されており、モデルの汎化能力とモーションコントロール精度を向上させています。LivePortraitは、RTX 4090 GPU上で1フレームあたり12.8ミリ秒という非常に高速な生成速度を実現しており、さらなる最適化の可能性を秘めています。オープンソースコミュニティは熱狂的に反応しており、LivePortraitのGitHubページには詳細な使用ガイドとリソースが掲載されています。

LivePortraitの主な機能

表情と姿勢の伝達LivePortraitは、運転中の動画に映る表情やポーズをリアルタイムで静止画または動画のポートレートに変換し、豊かな表情を持つ動画を生成します。
高効率このフレームワークは、RTX 4090 GPU上で最大12.8ミリ秒という単一フレーム生成速度を実現しており、非常に高い処理速度を実証している。
一般化能力LivePortraitは、動画と画像を組み合わせたハイブリッドな学習戦略と大規模かつ高品質な学習データを用いることで、優れた汎化能力を発揮し、様々なスタイルや個性を持つ人物のポートレートにも対応できる。
制御可能性LivePortraitは、暗黙的なキーポイントと軽量なMLPネットワークを活用することで、アニメーション生成プロセスに対する制御を強化します。
複数のスタイルに対応LivePortraitは、写実的なものから様式化されたもの（アニメなど）まで、さまざまなスタイルの肖像画に対応できます。
高解像度アニメーション生成LivePortraitは高解像度アニメーションの生成をサポートしており、より鮮明な視覚体験を提供します。
モジュールを添付してリダイレクトしますこのシステムは、トリミングや集合写真などの複雑な状況に対応し、ピクセルのずれを防ぐために、フィッティングモジュールと目と口の位置調整モジュールを組み込んでいます。

LivePortraitの技術的原理

基本モデルトレーニング最初の段階では、外観抽出器、動き抽出器、ねじりモジュール、およびデコーダーの最適化に重点を置きます。これらのモデルはすべてゼロから学習されます。
スプライシングおよびリダイレクトモジュールのトレーニング第1段階でベースモデルを学習した後、外観抽出器、モーション抽出器、ワープモジュール、デコーダーは固定され、第2段階では変更されません。第2段階では、ステッチングモジュールと位置調整モジュールのみが最適化されます。
動画・画像融合トレーニングLivePortraitは各画像をビデオフレームとして扱い、ビデオと画像の両方で同時にモデルをトレーニングすることで、モデルの汎化能力を向上させます。
ネットワークアーキテクチャのアップグレードLivePortraitは、標準的な暗黙的キーポイント推定ネットワーク、頭部姿勢推定ネットワーク、および顔面変形推定ネットワークを単一のモデルに統合し、ConvNeXt-V2-Tinyを構造として使用して、入力画像の標準的な暗黙的キーポイント、頭部姿勢、および顔面変形を直接推定します。
キーポイントによって誘導される暗黙的なキーポイント最適化2Dキーポイントを導入して微細な表情を捉え、キーポイントによって誘導される損失を暗黙的なキーポイント最適化のガイドとして使用する。
カスケード損失関数我々は、face vid2vid から得られる暗黙的なキーポイント不変損失、キーポイント事前損失、頭部姿勢損失、および変形事前損失を採用し、知覚損失と GAN 損失を適用してテクスチャ品質を向上させます。

LivePortraitプロジェクトのアドレス

プロジェクト公式サイト：https://liveportrait.github.io/
GitHubリポジトリ：https://github.com/KwaiVGI/LivePortrait
ハグ顔モデルライブラリ：https://huggingface.co/spaces/KwaiVGI/LivePortrait
arXiv技術論文：https://arxiv.org/pdf/2407.03168

LivePortraitの応用事例

ソーシャルメディアコンテンツの作成ユーザーは自分の写真や動画を動的なコンテンツに変換してソーシャルメディアプラットフォームで使用でき、インタラクティブ性とエンゲージメントを高めることができます。
バーチャルアンカーとライブストリーミングLivePortraitテクノロジーを使用すると、ユーザーはカメラに映ることなく、ライブストリーミングやビデオ制作用の仮想アバターを作成できます。そのため、ゲーム配信や教育プレゼンテーションなどのシナリオに適しています。
映画およびアニメーション制作映画やテレビのポストプロダクションにおいて、LivePortraitはキャラクターの表情キャプチャやアニメーション生成に利用でき、制作効率の向上とコスト削減に貢献します。
広告とマーケティング企業はLivePortraitテクノロジーを利用して、ダイナミックなキャラクターデザインを用いた魅力的な広告動画を作成し、潜在顧客の注目を集めることができます。