Pixal3D - テンセント、清華大学、その他の機関が共同開発した、単一画像から3Dを生成するプロジェクト。 - AiBoss

Pixal3Dとは何ですか？

Pixal3Dは、テンセントARCラボが清華大学およびビクトリア大学ウェリントン校と共同で開発した、単一画像から3Dを生成するプロジェクトです。Pixal3Dは、バックプロジェクションによってピクセルの特徴を3次元空間に明示的にアップスケールし、ピクセルと3Dの直接的な対応関係を確立します。精緻な幾何学的構造とPBRテクスチャを備えた、ほぼ復元レベルの忠実度を持つ3Dアセットを生成でき、ゲーム、映画、テレビ、デジタルコンテンツ制作などの用途に適しています。

Pixal3Dの主な機能

一枚の画像を高精細な3Dモデルに変換します。1枚のRGB画像から、詳細な形状とPBRテクスチャを備えた3Dアセットを生成できます。
ピクセルレベルの3D対応関係の再構築逆投影を行うことで、元のピクセルと3次元空間との間の明確なマッピングが確立され、入力画像の局所的な詳細が保持されます。
PBR材料の生成物理レンダリングパイプラインに準拠し、基本色、粗さ、金属感などを含むテクスチャマップを同期的に出力します。
再構成レベルの忠実度出力生成された結果は、幾何学的精度とテクスチャの一貫性の点で、マルチビュー再構成のレベルに近い。

Pixal3Dの技術原理

背面投影機能の強化Pixal3Dの核となるイノベーションは、バックプロジェクション機構を用いて2D画像のピクセル特徴を3D空間に明示的にアップスケールすることにあります。暗黙的なニューラル表現や純粋な最適化に依存する従来の手法とは異なり、Pixal3Dは各ピクセルに対して直接的な3D対応関係を確立し、画像内の色、エッジ、および意味情報を幾何学的表面に正確にマッピングします。
ピクセルと3Dの対応関係を明確に示す本プロジェクトでは、2Dピクセル座標を3D頂点または表面点に直接関連付けることができる明示的なマッピングフレームワークを構築します。明示的なマッピングにより、中間特徴抽出時の情報損失が回避され、生成されたモデルの輪郭とテクスチャの詳細が入力画像と高い整合性を保つことが保証されます。
PBRテクスチャと高精度ジオメトリの同時モデリングPixal3Dは、ジオメトリを再構築する際に、物理ベース（PBR）マテリアルを生成するための統合最適化戦略を採用しています。アルベドや粗さなどのマテリアル特性をジオメトリ表面に紐付け、ピクセルレベルの対応関係を用いてテクスチャマッピングを行うことで、主流のゲームエンジンにインポート可能な高品質なアセット出力を実現します。

Pixal3Dの使い方

プロジェクトのホームページにアクセスして、インタラクティブなデモを体験してください。オンライン体験インターフェースにアクセスするには、https://huggingface.co/spaces/TencentARC/Pixal3D のPixal3Dデモをご覧ください。画像を1枚アップロードすると、生成された3Dモデルが読み込まれ、インタラクティブにプレビューできます。
事前学習済みモデルをダウンロード公式に公開されている事前学習済み重みファイルを入手してください。
クローンコードリポジトリ構成環境GitHubリポジトリにアクセスし、プロジェクトをローカルマシンにクローンして、READMEに従って依存関係をインストールし、疎なSDF特徴量ボリューム演算とピクセルバックプロジェクションに必要な深層学習フレームワークがサポートされていることを確認してください。
入力画像を準備し、推論を実行する。前景が鮮明で被写体が明確に定義されたRGB画像をインプットとして選択し、推論スクリプトを実行します。Pixal3Dの画像バックプロジェクションコンディショナーは、マルチスケールの2D特徴を明示的に3D特徴ボリュームにアップスケールし、ピクセルに整列した粗構造かつ高忠実度の詳細潜在表現を生成します。
3Dアセットをデコードして出力します。予測された疎な潜在表現は、VAEによって高忠実度のメッシュモデルにデコードされ、同時に精細な形状とPBRテクスチャマップを取得し、業界標準フォーマットに直接エクスポートできます。
オーサリングエンジンにインポートする生成されたテクスチャ付き3Dモデルを、Blender、Unity、Unreal Engineなどの主要なDCCツールやゲームエンジンにインポートします。

Pixal3Dの主な利点

再構築レベルの忠実度生成された画像の品質はマルチビュー再構成に近く、幾何学的およびテクスチャの詳細度は単一画像生成の基準値よりも大幅に優れている。
明示的なピクセル対応バックプロジェクション機構は、ピクセルと3Dを直接マッピングすることで、特徴圧縮による情報損失を低減する。
PBRマテリアルはネイティブにサポートしています業界標準を満たす物理レンダリングされたテクスチャを一度に出力するため、後処理における手動のマテリアルマッピングが不要になります。
主要な学術会議が評価されましたこの論文はSIGGRAPH 2026に採択され、その技術的解決策は厳格な査読と検証を受けています。

Pixal3Dプロジェクトのアドレス

プロジェクト公式サイト：https://ldyang694.github.io/projects/pixal3d/
GitHubリポジトリ：https://github.com/TencentARC/Pixal3D
ハギングフェイスモデルライブラリ：https://huggingface.co/TencentARC/Pixal3D
arXiv技術論文：https://arxiv.org/pdf/2605.10922

Pixal3Dの競合製品との比較

比較対象寸法	Pixal3D	Tripo3D	CSM (Common Sense Machines)
テクニカルルート	バックプロジェクション、ピクセルから3Dへの明示的なマッピング	マルチビュー拡散＋スパース再構成パイプライン	単一画像から3Dへの普遍的な神経再構築
出力忠実度	再構築レベル、高精度ジオメトリ + PBRテクスチャ	高忠実度、複数のスタイル生成をサポート	中程度の忠実度、迅速な生成に重点を置く
材料サポート	ネイティブPBRテクスチャ出力	PBRテクスチャのサポート	基本的な色の質感に基づいています
対応	明示的なピクセル3Dマッピング	暗黙的特徴マッチング	隠れた神経表現
学歴	SIGGRAPH 2026 優秀会議論文	工業製品の反復	研究プロジェクト
適用可能なシナリオ	プロフェッショナルなコンテンツ制作、ゲーム、映画	ラピッドプロトタイピング、AIGCの作成	概念実証、教育デモンストレーション

Pixal3Dの応用例

ゲームアセットの迅速な制作コンセプトアートや参考写真から直接、Unity/Unreal Engineにインポート可能な、具現化された3Dモデルを生成します。
映画およびデジタルコンテンツ制作リハーサルやシーン設定のために、高精細な3D小道具と基本的なキャラクターモデルを提供します。
Eコマース向け3Dディスプレイ商品画像を自動的にインタラクティブで回転可能な3D表示モデルに変換し、オンラインショッピング体験を向上させます。
建築と工業デザインのプレビュー1枚の製品写真から3Dプロトタイプを生成することで、デザインレビューと反復プロセスを加速します。