UniWorld-View - RabbitShow Intelligenceと北京大学などが共同開発した世界モデルであり、オープンソースとして公開されている。

UniWorld-Viewとは何ですか？

UniWorld-Viewは、RabbitShow Intelligenceが北京大学および鵬城実験室と共同開発したオープンソースの世界モデルです。李飛飛氏のチームによるWorldScore世界モデル評価リストでトップを獲得しました。このモデルは、単一の画像またはビデオクリップに基づいて、指定されたカメラ軌道に従って新しい遠近画像を生成し、単一画像3D生成とビデオ4D生成のための統一されたアーキテクチャを実現しています。国内のAscendコンピューティングパワーに対応しており、コードと重み付けの両方がオープンソースです。

UniWorld-Viewの主な機能

• 単一画像による新たな視点の合成単一の画像を入力として受け取り、指定されたカメラパスに従ってマルチビュー画像を生成し、プッシュ、プル、パン、チルト、および360°サラウンドをサポートします。
• 動的ビデオの新たな視点合成単眼ビデオを入力として、未撮影の空間を推測し、時間的な一貫性を維持しながら、新しい視点から動的なビデオを生成する。
• 統合世代フレームワーク同じモデルとコードで、静止画像と動画の両方に対して、新しい遠近法生成タスクを同時にサポートできます。
• カメラ軌道制御高精度なカメラ姿勢制御をサポートし、広いベースラインでの視点切り替えを可能にします。

UniWorld-Viewの技術原理

• オクルージョンを考慮した点群レンダリング点群レンダリングにおける前景と背景のティアリングやバックライト漏れといった問題に対処するため、二重投影と法線フィルタリングのメカニズムを提案する。
• 二重再投影ソース画像はターゲットの視点に投影され、その後同じ経路に沿って逆投影されます。返されないピクセルは遮蔽領域です。これらはフレームごとに蓄積され、遮蔽マスクを形成します。これにより、誤ったテクスチャが生成モデルを誤導するのを防ぎます。
• ノーマルフィルタリングカメラが物体の背後に移動した際に、前面へのピクセル漏れを防ぐために、通常の情報を使用して背面の点群を除去します。
• 幾何学と生成の融合まず、幾何モデルを用いて3D点群を構築し、目標視点条件マップをレンダリングします。次に、ビデオ拡散モデルを入力して生成を完了し、カメラ制御精度と画質のバランスを取ります。

WeChatでフォローして「オープンソース「、参加するAIオープンソースプロジェクトに関するディスカッショングループ

UniWorld-Viewの使い方

• 環境準備GitHubリポジトリをクローンし、Python環境を設定し、依存関係をインストールします。
• モデルのダウンロードHugging FaceまたはGitHub Releaseからオープンソースの重みデータをダウンロードしてください。
• データ入力ソース素材として単一の画像またはビデオクリップを用意し、ターゲットとなるカメラの軌道を定義します。
• 推論を実行中推論スクリプトを実行すると、モデルは指定された視点から新しい画像または動画を自動的に生成します。
• 昇天展開国内での計算能力が必要な場合は、公式ドキュメントに従ってAscend NPUの適応と推論アクセラレーションを完了してください。

UniWorld-Viewプロジェクトのアドレス

• GitHubリポジトリ：https://github.com/PKU-YuanGroup/UniWorld-View
• ハギングフェイスモデルライブラリ：https://huggingface.co/Drexubery/UniView

UniWorld-Viewと類似の競合製品との比較

UniWorld-Viewの応用事例

• 映画および広告制作複数のカメラによるシーンのプレビューを迅速に生成することで、実写撮影と3D再構築のコストを削減します。
• バーチャルリアリティとゲーム単一のコンセプト画像または動画に基づいて、インタラクティブな360°サラウンドシーンを生成します。
• ロボット工学と自動運転シミュレーション: 視覚認識モデルと経路計画モデルのトレーニングのために、現実世界の新しい視点データを構築する。
• 文化遺産のデジタル化文化遺産や古代建築物の画像または動画を1枚撮影した後、周囲を見渡せるデジタルディスプレイが生成される。
• 電子商取引と不動産単一の製品画像または室内動画を使用して、複数の角度からの表示コンテンツを生成し、ユーザーの没入感を高めます。