StereoCrafter - Tencentが開発した、あらゆる2D動画を立体視3D動画に変換するためのオープンソースフレームワーク。 - AiBoss

StereoCrafterとは何ですか？

Tencent AI LabとARC Labが共同開発した革新的なフレームワーク「StereoCrafter」は、単眼ビデオ（2Dビデオ）を立体視3Dビデオに変換し、3Dコンテンツへの高まる需要に応えます。StereoCrafterは、深度推定、ビデオスプラッティング、立体視ビデオインペインティングという3つのコアステップに基づき、高忠実度の2D-3Dビデオ変換を実現します。事前学習済みの安定したビデオ拡散モデルを基盤として、StereoCrafterは立体視ビデオインペインティングタスクに最適化されており、長さや解像度の異なるビデオ入力にも対応します。StereoCrafterの開発は、ビデオコンテンツの没入感を高め、デジタルメディアの将来的な発展に新たな可能性をもたらします。

StereoCrafterの主な機能

2Dから3Dへのビデオ変換単眼2Dビデオを、3DメガネやApple Vision Proなどの様々なディスプレイデバイスに適した、臨場感あふれる立体3Dビデオに変換します。
高忠実度生成ディープラーニング技術を用いることで、生成される動画が高品質かつ一貫性のあるものとなり、最新の3Dディスプレイ機器のニーズを満たすことを保証します。
深度推定高度な深度推定手法に基づき、入力ビデオの深度情報を取得し、後続処理の基礎を提供する。
ビデオスプラッティング深度マップを使用してビデオを歪ませ、正しい視点を生成してオクルージョンマスクを抽出することで、ビデオ内の遮蔽された領域を処理します。
3Dビデオ修復変形した動画の欠落部分を補完し、最終的に生成される立体視動画が完全かつ自然なものになるようにします。

StereoCrafterの技術原理

深度推定入力された単眼ビデオから、高度な深度推定モデル（DepthCrafterなど）に基づいて深度マップを抽出します。
ビデオスプラッティング深度マップに基づいて、左視点のビデオを右視点のビデオに変換し、オクルージョンマスクを生成してビデオ内のオクルージョンを処理します。
3Dビデオ修復生成されたオクルージョンマスクを使用して、立体視ビデオ復元技術に基づいて、変形したビデオの欠落領域を補完し、最終的な右視点ビデオを生成します。
データ処理パイプラインモデルのトレーニングをサポートし、生成される結果の忠実度と一貫性を確保するために、高品質なデータセットを構築する。

StereoCrafterプロジェクトの住所

プロジェクト公式サイト：stereocrafter.github.io
GitHubリポジトリ：https://github.com/TencentARC/StereoCrafter
ハギングフェイスモデルライブラリ：https://huggingface.co/TencentARC/StereoCrafter
arXiv技術論文：https://arxiv.org/pdf/2409.07447

StereoCrafterの応用事例

映画およびテレビ制作映画やテレビ番組の制作においては、従来の2D映像を立体視の3D映像に変換することで、視聴者により没入感のある視聴体験を提供し、視覚効果を高める。
仮想現実（VR）と拡張現実（AR）VRおよびARアプリケーションでは、単眼ビデオがVRヘッドセットやARデバイスに適した3Dコンテンツに変換され、ユーザーの没入感とインタラクティブ性が向上します。
ゲーム開発ゲーム開発者は、ゲームの視覚的な表現を豊かにし、より多くのプレイヤーを引き付けるために、2Dのゲーム動画やアニメーションを3Dバージョンに変換する。
オンライン教育オンライン教育プラットフォームにおいて、教育ビデオを3D形式に変換することで、学習コンテンツの魅力が高まり、学生が複雑な概念をより深く理解するのに役立つ。
広告とマーケティングブランドは、広告動画を立体視3Dに変換することで、広告の視覚的なインパクトと魅力を高め、それによって消費者の記憶定着率と購買意欲を向上させている。