BlenderFusion - Google DeepMindが開発した生成型ビジュアル合成フレームワーク - AiBoss

BlenderFusionとは何ですか？

BlenderFusionは、Google DeepMindが開発した生成型ビジュアル合成フレームワークで、従来の3D編集ソフトウェア（Blender）とAIモデルを組み合わせることで、高精度な幾何学的編集と多様なビジュアル合成を実現します。このフレームワークは、次の3つのステップに基づいています。まず、ソース画像から対象オブジェクトを抽出し、編集可能な3D要素に変換します（オブジェクト中心のレイヤリング）。次に、Blenderでオブジェクトに対して多様な編集を行います（Blenderベースの編集）。最後に、生成型コンポジターを使用して編集された要素をシームレスにブレンドし、最終的なリアルな画像を生成します（生成型合成）。BlenderFusionは、複雑なビジュアル合成タスクに優れており、オブジェクト、カメラ、背景の柔軟で分離された3D対応の操作を可能にします。

BlenderFusionの主な機能

高精度な3D形状制御Blenderをベースにしたオブジェクトの精密な3D編集が可能になり、位置、回転、拡大縮小などの変換に加え、色、材質、形状などの属性の変更も行えます。
柔軟なカメラ制御オブジェクト操作とは独立してカメラビューを調整できるため、複雑な視点変更が可能になります。
複雑なシーン合成編集されたオブジェクトと背景をシームレスに融合させ、リアルな最終画像を生成し、複数オブジェクトの操作や複雑なシーン編集にも対応しています。
オブジェクトとカメラの制御を分離するこれにより、高度に分離された制御が可能になり、カメラを静止させたまま対象物を操作したり、対象物を静止させたままカメラの位置を調整したりすることが可能になります。
一般化能力目に見えないシーンやオブジェクトでのアプリケーションをサポートし、段階的な複数ステップ編集を含む、単純なものから複雑なものまで、あらゆる編集作業をサポートします。

BlenderFusionの技術的原理

オブジェクト中心のレイヤリング入力画像から、視覚的なベースモデル（セグメンテーションにはSAM2、深度推定にはDepth Proなど）を使用してオブジェクトを抽出し、編集可能な3D要素に変換します。オプションとして、画像から3Dモデルを作成するツール（RodinやHunyuan3Dなど）を使用して完全な3Dメッシュを生成し、2.5Dサーフェスメッシュと位置合わせすることで、テスト中の編集をより柔軟に行うことができます。
Blenderを基盤とした編集レイヤー処理で得られた3DオブジェクトをBlenderにインポートし、Blenderの強力な機能を活用して、基本的なオブジェクト変換、属性変更、非剛体変形など、多様な編集操作を行うことができます。カメラ制御と背景置換にも対応しており、合成処理のための正確な3D制御信号を提供します。
ジェネレーティブコンポジティング拡散ベースの生成コンポジターは、Blenderのレンダリング結果と背景をブレンドして、最終的なリアルな画像を生成します。2ストリームアーキテクチャに基づき、生成コンポジターは元のシーン（編集前）とターゲットシーン（編集後）からの情報を同時に処理し、クロスビューアテンションメカニズムを使用して両方の情報を融合します。ソースマスキングとシミュレートされたオブジェクトのジッターという2つのトレーニング戦略により、複雑な編集タスクにおけるモデルの柔軟性と分離能力が向上します。

BlenderFusionプロジェクトのアドレス

プロジェクト公式サイト：https://blenderfusion.github.io/
arXiv技術論文：https://arxiv.org/pdf/2506.17450

BlenderFusionの応用事例

映画およびテレビ制作映画やテレビシリーズの視覚効果（VFX）制作に使用され、仮想オブジェクトの追加、シーンレイアウトの調整、背景の変更、リアルな合成シーンの作成などを行う。
ゲーム開発これは、ゲーム開発者がゲームシーンを迅速に設計・編集したり、ゲーム内のオブジェクトを追加・調整したり、カメラの視点を変更したり、リアルなゲーム環境を作成したりするのに役立ちます。
広告これは、広告デザイナーが製品の特徴を際立たせる高品質な製品表示画像を作成するのに役立ちます。
建築設計建築家やインテリアデザイナーは、インテリアデザインを視覚化し、家具や装飾品などを追加・調整して、リアルなインテリアレンダリングを作成することができます。
芸術創作アーティストは3D編集とジェネレーティブ合成機能を活用して、独自のデジタルアート作品を制作し、創造的な視覚化を実現している。