HRAvatar - 清華大学とIDEAが共同開発した、単眼ビデオから3Dアバターを生成する技術

HRAvatarとは何ですか？

HRAvatarは、清華大学がIDEAチームと共同開発した単眼ビデオ再構成技術です。通常の単眼ビデオから、高品質で再照明された3Dアバターを生成することを可能にします。HRAvatarは、学習可能な変形ベースと線形スキニング技術を、高精度な顔エンコーダーに基づいて使用することで、トラッキングエラーを低減し、再構成品質を向上させています。HRAvatarは、アバターの外観をアルベド、粗さ、フレネル反射などの属性に分解し、物理ベースのレンダリングモデルと組み合わせることで、リアルな再照明効果を実現します。HRAvatarは、既存の手法を複数の指標で凌駕し、リアルタイムレンダリング（約155 FPS）をサポートし、デジタルヒューマン、バーチャルアンカー、AR/VRなどの分野に新たな技術ソリューションを提供します。

HRAvatarの主な機能

• 高品質な復元通常の単眼カメラ映像から、精緻で表情豊かな3Dアバターを生成します。
• リアルタイム最大約155FPSの速度でリアルタイムレンダリングをサポートしており、リアルタイムアプリケーションに適しています。
• 再点灯生成されたアバターは、さまざまな照明条件に適応するために、リアルタイムで照明が調整されます。
• アニメーションアバターの表情や動作のアニメーションをサポートします。
• 素材編集アバターの素材特性（アルベド、粗さ、反射率など）を編集して、さまざまな視覚効果を実現できます。
• クロスビューレンダリングさまざまな視点からのアバターのレンダリングをサポートし、3Dの一貫性とマルチビューサポートを提供します。

HRAvatarの技術原則

• 正確な顔表情追跡エンドツーエンドの顔表情エンコーダーを用いて、顔表情パラメータを最適化し、より正確なパラメータを抽出することで、事前トラッキングパラメータの誤差が再構成に与える影響を軽減します。顔表情エンコーダーと3D頭部再構成は共同で学習され、ガウス型再構成損失を用いて教師あり学習を行うことで、再構成精度を向上させます。
• 幾何学的変形モデル学習可能な線形ブレンドシェイプに基づき、各ガウス点に対して形状基底、表現基底、およびポーズ基底が導入され、標準空間からポーズ空間への柔軟な変形が可能になります。次に、線形ブレンドスキニングを使用してガウス点をポーズ空間に変換し、個々のポーズ変形に適応させます。
• 外観モデリングアバターの外観は、アルベド、粗さ、フレネル反射率などのマテリアル特性に分解されます。シェーディングには、BRDF物理ベースレンダリングモデルと簡略化されたSplitSum近似手法を組み合わせることで、高品質でリアルタイムな再照明レンダリングを実現します。マテリアル情報をより適切に分離し、局所的な照明をアルベドに誤って解釈することを避けるために、擬似アルベド事前分布が導入されています。
• 通常の推定と材料の事前各ガウス点の最短軸を法線として使用し、レンダリングされた画像の法線マップは、深度微分から得られた法線マップに基づいて監視され、幾何学的一貫性が確保されます。既存のモデルから擬似的なリアルなアルベドが抽出され、アルベドは監視下でレンダリングされ、粗さと基本反射率が定義済みの範囲内に制限されることで、よりリアルなマテリアルが得られます。

HRAvatarのプロジェクトアドレス

• プロジェクト公式サイト：https://eastbeanzhang.github.io/HRAvatar/
• GitHubリポジトリ：https://github.com/Pixel-Talk/HRAvatar
• arXiv技術論文：https://arxiv.org/pdf/2503.08224

HRAvatarの応用事例

• デジタル人間とバーチャル放送局リアルなデジタル人間や仮想アンカーを作成し、リアルタイムの表情や動きをサポートすることで、インタラクティブ性を向上させます。
• AR/VRリアルタイムでライティングを調整できる3Dアバターを生成し、仮想環境の没入感を高めます。
• 没入型ミーティング高品質な3Dアバターを提供することで、遠隔コミュニケーションをより自然でリアルなものにします。
• ゲーム開発ゲームの視覚効果を高めるために、高品質な3Dキャラクターアバターを素早く生成します。
• 映画およびテレビ制作特殊効果制作において、高品質なアバターを迅速に生成し、制作効率を向上させるために使用されます。