4D-LRM - Adobeがミシガン大学およびその他の機関と共同で開発した4D再構築モデル。

4D-LRMとは何ですか？

4D-LRM（Large Space-Time Reconstruction Model）は、Adobe Research、ミシガン大学、およびその他の研究機関の研究者によって共同開発された、斬新な4D再構成モデルです。このモデルは、疎な入力ビューと任意の時間点に基づいて、任意の新しいビューと時間的組み合わせを持つ動的なシーンを、迅速かつ高品質に再構成できます。Transformerアーキテクチャに基づき、各ピクセルに対して4Dガウスプリミティブを予測することで、統一された空間的および時間的表現を実現し、高い効率性と優れた汎化能力を発揮します。4D-LRMは、さまざまなカメラ設定、特に交互の標準ビューとフレーム補間設定において優れた性能を発揮し、時間を効果的に補間することで高品質な再構成結果を生成します。

4D-LRMの主な機能

• 高効率4D再構成4D-LRMは、疎な入力ビューと任意の時間点から、あらゆる新しいビューと時間の組み合わせで、動的シーンを高速かつ高品質に再構築できます。単一のA100 GPUで、24フレームのシーケンスを1.5秒未満で再構築でき、その効率性と拡張性を示しています。
• 高い一般化能力このモデルは、新しいオブジェクトやシーンへの一般化をサポートします。様々なカメラ設定、特に交互に変化する標準ビューやフレーム補間設定において優れた性能を発揮し、時間を効果的に補間することで高品質な再構成結果を生成します。
• 表示形式と時間軸のあらゆる組み合わせに対応しています。これは、任意の視点と時間の組み合わせによる動的なシーンの生成をサポートし、動的なシーンの理解と生成のための新たな可能性を提供する。
• 幅広い用途4D生成タスクへの拡張をサポートしており、SV3Dなどのモデルと組み合わせることで、より高精細な4Dコンテンツを生成できます。

4D-LRMの技術原理

• 4次元ガウス表現（4DGS）4D-LRMは、動的なシーン内の各オブジェクトを4次元ガウス分布の集合として表現します。ガウス分布は、オブジェクトの空間的な位置と外観、および時間的な変化を捉えます。各4次元ガウス分布は、空間中心、時間中心、空間スケール、時間スケール、回転行列、色などのパラメータによって定義されます。
• トランスフォーマーアーキテクチャ4D-LRMは、Transformerアーキテクチャに基づいて入力画像を処理します。入力画像はまず画像パッチに分割され、その後多次元ベクトルにエンコードされてTransformerへの入力として使用されます。Transformerは、マルチヘッド自己注意機構と多層パーセプトロン（MLP）に基づいて入力を処理し、最終的に各ピクセルに対して4次元ガウスプリミティブを予測します。
• ピクセルアライメントされたガウスレンダリング4D-LRMは、ピクセルアライメントされたガウスレンダリング技術を使用して、予測された4Dガウス分布を画像平面に投影し、アルファブレンドに基づいて最終画像を合成します。
• トレーニングと最適化4D-LRMは大規模データセットで学習され、再構成画像と実画像との差を最小化することでモデルパラメータを最適化します。学習過程で、モデルは汎用的な時空間表現を習得し、新しい物体やシーンにも適用できるようになり、入力データが少ない状況でも高品質な再構成結果を生成できます。

4D-LRMプロジェクトの住所

• プロジェクト公式サイト：https://4dlrm.github.io/
• GitHubリポジトリ：https://github.com/Mars-tin/4D-LRM
• ハギングフェイスモデルライブラリ：https://huggingface.co/papers/2506.18890
• arXiv技術論文：https://arxiv.org/pdf/2506.18890

4D-LRMの応用シナリオ

• ビデオゲームおよび映画制作動的なシーンを効率的に再構築およびレンダリングし、キャラクターアニメーションやシーンチェンジなどの複雑なシーンのモデリングに適しており、ゲームや映画の視覚効果を大幅に向上させ、リアルタイムレンダリングとマルチビュー生成をサポートし、視聴者の没入感を高めます。
• 拡張現実（AR）と仮想現実（VR）ARおよびVRアプリケーションにリアルで没入感のある体験を提供し、リアルタイムのインタラクションをサポートし、ユーザーが仮想環境内で自由に移動したり観察したりすることを可能にします。
• ロボットと自動運転これは、ロボットや自動運転システムが環境変化をよりよく理解し予測するのに役立ち、正確な経路計画情報を提供する。
• デジタルコンテンツ制作これにより、手作業によるモデリングやアニメーション制作の作業負荷が軽減され、ビデオ編集のための豊富な編集オプションが提供されます。
• 科学研究これは、心拍や呼吸運動などの生体医用画像データを再構築および分析するために使用され、研究者が生物体内の動的なプロセスを理解するのに役立ちます。