CHANGER - 俳優の頭部をターゲットとなる身体にシームレスに統合するAIヘッドスワッピング技術。

CHANgerとは何ですか？

CHANGERは、デジタルコンテンツ制作において、俳優の頭部をターゲットとなる身体にシームレスに合成する、産業グレードの超自然的なAIヘッドスワッピングおよびクロマキー合成技術です。視覚効果、デジタルヒューマン制作、バーチャルアバターなどに適しています。CHANGERは、クロマキー合成によって背景と前景を分離し、H2エンハンスメントによって多様な頭部の形状や髪型をシミュレートし、FPATモジュールによって重要な領域を予測・フォーカスすることで、高精細な合成を実現します。CHANGERは、既存の技術を凌駕する性能を持ち、様々な実世界のシナリオに適用可能です。

チェンジャーの主な機能

• 高忠実度頭部融合俳優の頭部は体のさまざまな部分に違和感なく融合されており、高いレベルのリアリズムと自然さを保っている。
• 背景と前景の分離クロモボンディング技術に基づき、背景と前景が分離され、独立した処理が可能となり、合成品質が向上します。
• H2エンハンスメント様々な頭の形や髪型をシミュレートすることで、モデルの多様な個性への適応性を高めます。
• FPATモジュール融合領域の詳細処理を向上させるため、頭部と身体の主要領域を予測し、重点的に処理します。
• 産業用途視覚効果、デジタルヒューマン作成、バーチャルアバターなどの産業用途に適しています。

CHANgerの技術原理

• カラーキー技術クロマキー合成技術に基づき、緑色の背景を置き換えることで、アーティファクトのない背景生成を実現し、複雑な環境下でも高い忠実度を維持します。
• H2エンハンスメント（頭の形を整え、髪を長くする施術）：
  • 頭部の形状補正アフィン変換、圧縮、膨張、および膨張幅の変化に基づいて、さまざまな頭部形状がシミュレートされます。
  • ロングヘアの強化長髪の個人を無作為に抽出し、長髪強化技術を適用し、さまざまなヘアスタイルが融合プロセスに与える影響をシミュレーションする。
• 前景予測アテンショントランスフォーマー（FPAT）：
  • 前景領域の予測FPATは、身体と首を含む前景領域を予測し、それをバイナリマスクとして使用します。
  • 注意機構FPATは予測されたマスクに基づいて注意の重みを再調整し、融合処理中にモデルが頭部と胴体の接合部などの重要な領域に重点を置くことを可能にする。
  • ネットワークアーキテクチャCHANGERは、エンコーダー、ヘッドシェーダー、FPATモジュールを含むボディミキサー、およびデコーダーで構成されており、これらが連携して高精度のヘッドフュージョンを実現します。
• 研修目標再構成損失、マスキング損失、知覚損失、敵対的損失など、複数の損失関数を使用してモデルのパフォーマンスを最適化します。

CHANGERのプロジェクトアドレス

• プロジェクト公式サイト：hahminlew.github.io/changer
• arXiv技術論文：https://arxiv.org/pdf/2411.00652

CHANGERの応用シナリオ

• 映画およびテレビ制作映画やテレビシリーズのポストプロダクションでは、特定の視覚効果を実現したり、撮影中の問題を解決したりするために、俳優の頭部が置き換えられたり、合成されたりする。
• ビデオゲームビデオゲームのキャラクター作成において、キャラクターの頭部を生成または修正することで、より多様で個性的なキャラクターデザインを実現します。
• バーチャルストリーマーとバーチャルアイドルCHANGEテクノロジーを用いることで、様々な声や動きを合成された頭部と組み合わせることで、バーチャルアンカーやバーチャルアイドルを作成することができ、ライブ配信やパフォーマンスにおける新たな表現形式を提供する。
• 拡張現実（AR）と仮想現実（VR）ARおよびVRアプリケーションにおいて、仮想キャラクターの頭部を生成または変更することで、ユーザーエクスペリエンスを向上させる。
• 広告とマーケティング広告業界では、魅力的なビジュアルを作成するために、モデルの頭部を別のものに差し替えて、様々なヘアスタイルやメイクアップを披露することがよくあります。