NutWorld - シンガポール国立大学、南洋理工大学、およびSkywork AIによって開発されたビデオ処理フレームワーク。

NutWorldとは何ですか？

NutWorldは、シンガポール国立大学、南洋理工大学、およびSkywork AIが共同開発したビデオ処理フレームワークです。日常的な単眼ビデオを効率的に動的な3Dガウススプラッティングに変換します。空間時間整合ガウス（STAG）表現に基づき、NutWorldは単一のフィードフォワードパスでビデオの空間時間的に整合性のあるモデリングを実現し、複雑な動きや遮蔽下における従来の手法の限界を克服します。NutWorldは、深度とオプティカルフローの正則化技術を組み合わせることで、単眼ビデオにおける空間的なぼけや動きの不確実性の問題に効果的に対処します。NutWorldは高忠実度のビデオ再構成をサポートし、新しいビュー合成、ビデオ編集、フレーム補間、一貫した深度予測など、さまざまな下流タスクをリアルタイムでサポートします。

NutWorldの主な機能

• 高効率ビデオ再構成日常的な単眼カメラ映像を動的な3Dガウス散乱画像に変換し、高忠実度で映像コンテンツを再構築します。
• リアルタイム処理機能リアルタイム処理に対応しており、従来の最適化手法よりもはるかに優れています。
• 複数の下流タスクのサポート：
  • 新しいビューコンポジット単眼ビデオから新たな視点を生み出す。
  • 動画編集フレーム単位での精密な編集とスタイル設定をサポートします。
  • フレーム補間中間フレームを生成することで、ビデオのフレームレートを向上させます。
  • 一貫した深度予測時空間的に整合性のある深度推定を提供します。
  • ビデオオブジェクトセグメンテーションターゲットのセグメンテーションは、伝播オブジェクトマスクに基づいて行われます。
• 時空間的コヒーレンス構造化された時空間的に整列したガウス分布（STAG）表現に基づいており、ビデオの時間的および空間的な一貫性を保証します。

NutWorldの技術原則

• 時空間整合ガウス表現（STAG表現）動画内の各ピクセルは、時空間的な位置合わせによって制約された3次元ガウス分布に関連付けられています。各ガウス分布には、位置、スケール、色、不透明度などの属性があり、時間的な変化は変形場に基づいて捉えられます。
• フィードフォワードネットワークアーキテクチャTransformerベースのエンコーダー・デコーダーアーキテクチャは、入力ビデオフレームをSTAG表現にマッピングします。エンコーダーはTransformerブロックを使用して入力フレームを処理し、時空間的な対応関係を捉えます。デコーダーは静的なガウス特性とその変形可能な場を予測し、効率的なフィードフォワード予測をサポートします。
• 深度とオプティカルフローの正則化深度正則化とオプティカルフロー正則化が導入される。深度正則化は、較正済みの単眼深度事前情報に基づいて深度予測の堅牢性を向上させる。オプティカルフロー正則化は、事前に計算されたオプティカルフロー場を用いてガウス分布の運動軌跡を監視し、時間的な一貫性を確保する。
• 断片ベース推論セグメントベースの推論戦略では、長い動画を複数の重複するセグメントに分割して処理します。重複するフレーム間でガウス分布を伝播させることで、全体的な時空間の一貫性を維持します。

NutWorldのプロジェクトアドレス

• GitHubリポジトリ：https://github.com/Nut-World/NutWorld/
• arXiv技術論文：https://arxiv.org/pdf/2502.03465

NutWorldの応用事例

• 動画コンテンツの制作と編集単眼ビデオから新しい視点を生成するための新しいビュー合成に使用されます。ビデオのフレームレートを向上させるためのフレーム補間をサポートします。正確なビデオ編集とスタイル設定を可能にし、ビデオクリエイターに強力なツールを提供します。
• 拡張現実と仮想現実動的な3Dシーンをリアルタイムで再構築することで、AR/VRアプリケーションにおけるシーン理解の精度が向上し、仮想オブジェクトを現実世界のシーンに自然に統合することで、ユーザーエクスペリエンスが向上します。
• 自動運転とロボットビジョン動的なシーンを効率的に再構築し、自律走行における環境認識を支援するための奥行き情報や動き情報を提供するとともに、複雑な環境におけるロボットのリアルタイムモデリングや人間とコンピュータのインタラクションをサポートする。
• ゲーム開発リアルタイムで高品質な3Dシーンを生成し、インタラクティブなコンテンツとスムーズなゲーム体験をサポートします。
• トレーニング業界これは、運転や飛行などの訓練シミュレーションにおいて、現実的な動的シナリオを提供し、訓練効果を向上させるために使用されます。