HoloTime - 北京大学と彭城実験室が共同開発したパノラマ4Dシーン生成フレームワーク - AiBoss

HoloTimeとは何ですか？

HoloTimeは、北京大学深圳大学院と鵬城研究室が開発したパノラマ4Dシーン生成フレームワークです。ビデオ拡散モデルに基づき、単一のパノラマ画像をリアルな動的効果を持つパノラマビデオに変換し、さらに没入感のある4Dシーンへと再構築します。HoloTimeは、固定カメラで撮影された多数のパノラマビデオを含む360Worldデータセットを組み込み、Panoramic Animatorをトレーニングして高品質のパノラマビデオを生成します。HoloTimeは、パノラマ時空間再構築技術を導入し、時空間深度推定に基づいてパノラマビデオを4D点群に変換し、一貫性のある4Dガウス点群表現に最適化することで、没入感のある仮想現実体験を実現します。

HoloTimeの主な機能

1枚のパノラマ画像からパノラマ動画を生成する静止したパノラマ画像を、物体の動きや場面転換といった豊富な動き情報を含む、動的な効果を備えたパノラマ動画に変換します。
パノラマ動画を4Dシーンに再構成する生成されたパノラマ動画を4D点群に変換し、さらに最適化して一貫性のある4Dシーン表現を作成する機能、および仮想ローミングとマルチビュー観測をサポートする機能を備えています。
没入型体験のサポート生成された4Dシーンは、VR（仮想現実）およびAR（拡張現実）アプリケーション向けに没入感のあるインタラクティブな体験を提供し、ユーザーがシーン内を自由に移動したり探索したりすることを可能にします。

HoloTimeの技術原則

パノラミックアニメーター：
- 2段階生成戦略まず、全体的な動きのガイダンスを提供するために、低解像度の粗い動画が生成されます。次に、高解像度の精緻化モデルを使用して、局所的な詳細が強調されます。
- ハイブリッドデータファインチューニング（HDF）このモデルは、類似した風景のパノラマ動画と通常の動画データを組み合わせて学習させることで、データ分布の違いを補正し、モデルの汎化能力を向上させています。
- パノラマ円形撮影法（PCT）パノラマ動画の水平方向の連続性を確保し、つなぎ目部分での視覚的な途切れを避けるため、動画の左右に繰り返し領域を作成してブレンドします。
パノラマ時空間再構成この手法では、パノラマオプティカルフロー推定モデルと狭視野深度推定モデルを用いて、パノラマビデオの各フレームの深度を推定し、深度情報の時間的・空間的な連続性を確保します。次に、パノラマビデオとその深度マップを時間属性を持つ4D点群に変換し、4Dシーンの初期表現として使用します。最適化された4D点群表現に基づいて、空間的にも時間的にも一貫性のある4Dシーンの再構築を実現し、効率的なレンダリングと動的なビュー合成をサポートします。
360Worldデータセットこれは、Panoramic Animatorのトレーニングに使用できる、大規模な固定カメラによるパノラマ動画データセットを提供します。このデータセットには、豊富なシーン情報と動的な情報が含まれており、モデルがパノラマ動画の生成ルールを学習するのに役立ちます。

HoloTimeのプロジェクトアドレス

プロジェクト公式サイト：https://zhouhyocean.github.io/holotime/
GitHubリポジトリ：https://github.com/PKU-YuanGroup/HoloTime
ハギングフェイスモデルライブラリ：https://huggingface.co/Marblueocean/HoloTime
arXiv技術論文：https://arxiv.org/pdf/2504.21650

HoloTimeの応用シナリオ

仮想現実（VR）と拡張現実（AR）没入感のある4Dシーンを提供することで、ユーザーは仮想環境内を自由に動き回り、体験を向上させることができます。
バーチャル観光とオンライン展示会パノラマ4Dシーンを生成することで、ユーザーはまるで実際にその場にいるかのように、遠隔地から観光名所や展覧会を見学できるようになります。
映画およびテレビ制作高品質なパノラマ背景や特殊効果を素早く生成でき、撮影コストを削減し、視覚効果を高めることができます。
ゲーム開発プレイヤーの没入感と視覚体験を向上させる、ダイナミックなゲームシーンを作成する。
建築設計と都市計画デザイナーがデザインプランを視覚的に提示し、事前にその効果を評価できるよう、パノラマ4Dシーンを生成します。