PortraitGen - 中国科学技術大学が開発したAI搭載ポートレート動画編集ツール - AiBoss

PortraitGenとは何ですか？

PortraitGenは、中国科学技術大学の研究チームが開発したAI搭載のポートレート動画編集ツールです。3Dガウス拡散技術とニューラルガウステクスチャ機構に基づき、2Dポートレート動画を4Dガウス場に変換することで、高品質な3D編集と時間的に一貫性のある編集を実現します。テキスト編集、画像編集、照明調整など、マルチモーダル編集に対応しており、動画内の人物のスタイリング、服装変更、照明調整を迅速かつ効率的に行うことができます。顔認識編集と表情類似性ガイダンスにより、PortraitGenは編集後のポートレートが自然で、元の動画フレームと一貫性のあるものとなるよう保証します。

PortraitGenの主な機能

マルチモーダルポートレート編集テキスト編集モードと画像編集モードの両方に対応しています。ユーザーはテキストでキャラクターの動作、表情、シーンの変更を指定したり、参照画像を使用してスタイルの転送や仮想的な試着を行うことができます。
再点灯IC-Light技術に基づき、テキストによる説明に基づいて動画内の照明効果を動的に調整し、照明がシーンに自然に溶け込むようにします。
顔認識編集顔認識編集モジュールは、動画編集プロセス中に人物の顔の構造と個性的な特徴が確実に保持されるようにし、人物の表情や顔の動きの自然さと一貫性を最適化します。
スタイルチェンジとバーチャル試着スタイル転送と仮想試着に対応しており、ユーザーは参照画像を使用してグローバルスタイル（アニメーションスタイルへの変換など）を転送したり、動画内のキャラクターに仮想の服やその他のアイテムを追加したりすることができます。
マルチカメラと複雑なシーン処理スタイルやキャラクターの一貫性を保ちながら、複数のカメラで撮影した動画を処理できます。また、ガウステクスチャ技術を用いることで、レゴ風やピクセルアート風といった複雑な動画レンダリングスタイルも実現可能です。
高速生成と高フレームレート出力短時間で編集を完了でき、動画生成時には最大100フレーム/秒（FPS）のレンダリング速度をサポートするため、高効率な動画制作シナリオに適しています。

PortraitGenの技術原理

3Dガウス型スパッタリング（3DGS）シーンの3Dガウス表現に基づいて、各ガウスの中心点、方向、サイズ、および不透明度と色属性が3D共分散行列によって定義され、動的な3Dフィールドの構築が実現されます。
ニューラルガウステクスチャメカニズムSMPL-XモデルのUV空間に3Dガウス場を維持し、入力ビデオトラッキングの基となるメッシュの変形に応じてガウス場を変形させ、UVマッピングと2Dニューラルレンダラーを使用して特徴マップをRGB信号に変換する。
顔認識編集モジュール顔の構造認識を高め、編集品質を向上させるため、頭部領域は2回編集されます。
表現類似性ガイダンスレンダリングされた画像と入力元の画像はEMOCAの潜在表情空間にマッピングされ、損失関数によって表情の類似性が保証される。
マルチモーダル編集技術大規模な2D生成モデルから得られる知識を組み合わせることで、テキスト主導の編集、画像主導の編集、および再照明を実現できる。

PortraitGenのプロジェクトアドレス

プロジェクト公式サイト：ustc3dv.github.io/PortraitGen
GitHubリポジトリ：https://github.com/USTC3DV/PortraitGen-code
arXiv技術論文：https://arxiv.org/pdf/2409.13591

PortraitGenの応用例

映画およびテレビ制作映画、テレビシリーズ、短編映画制作において、特殊効果メイクや様式化されたシーン転換を実現するために、登場人物の外見を作成または変更する。
芸術創作アーティストやイラストレーターは、PortraitGenを使用して、ピクセルアートや油絵風など、特定のスタイルの肖像画作品を制作します。
広告およびプロモーション広告業界では、ターゲット層を惹きつけるために、ブランドイメージや製品特性に基づいて人物の肖像画がカスタマイズされる。
ファッション業界ファッションデザイナーや小売業者は、仮想環境で衣料品やアクセサリーを紹介するために、バーチャル試着機能を活用しており、顧客に新たなショッピング体験を提供している。
ソーシャルメディアとショートビデオコンテンツクリエイターやインフルエンサーは、PortraitGenを使って自身のポートレート動画を編集し、クリエイティブなエフェクトを追加することで、コンテンツの魅力とインタラクティブ性を高めています。
ゲーム開発ゲームのキャラクターデザインにおいては、キャラクターの外見を迅速に生成または編集することが可能になり、ゲームのパーソナライズと豊かさを向上させる。