ObjectMover - 香港大学とAdobeが共同で開発した新しい画像編集モデル。

ObjectMoverとは何ですか？

ObjectMoverは、香港大学とAdobe Researchが共同で提案した新しい画像編集モデルです。画像からオブジェクトを移動、挿入、または削除する際に発生する、照明や影の不整合、オブジェクトの歪みといった問題に対処します。オブジェクトの動きを2フレーム動画の特殊なケースとして扱い、事前学習済みの動画生成モデルのフレーム間一貫性学習機能を活用し、それを画像編集タスクに適用できるようモデルを微調整します。このモデルはシーケンス・トゥ・シーケンス・モデリングを採用しており、入力として元の画像、ターゲットオブジェクト画像、および指示マップを受け取り、オブジェクト移動後の合成画像を出力します。

ObjectMoverの主な機能

• 物体の動き画像内のオブジェクトを指定された位置に移動させ、照明、影、反射などの関連する物理的効果を自動的に調整しながら、オブジェクトの特徴を維持することができます。
• オブジェクト削除削除されたオブジェクトの背景を、無関係な新しいオブジェクトを生成することなく、リアルに埋めることができ、オブジェクトに関連する照明や影を正確に除去できます。
• オブジェクト挿入挿入されたオブジェクトの識別特性を正確に保持し、環境と調和した照明効果と影効果を自動的に生成することができます。

ObjectMoverの技術的原理

• 動画の事前転送ObjectMoverは、物体移動タスクを2フレーム動画の特殊なケースとして扱い、事前学習済みの動画生成モデル（拡散モデルなど）のフレーム間一貫性学習機能を活用します。モデルを微調整することで、このアプローチを動画生成タスクから画像編集タスクへと応用します。動画モデルの事前学習で得られた物理法則と物体対応関係を最大限に活用し、画像編集タスクにおいて正確な照明同期と特徴の保持を実現します。
• シーケンス・ツー・シーケンス・モデリングこのモデルは、物体の移動タスクをシーケンス予測問題として再構築します。入力には、元の画像、対象物体の画像、およびコマンド画像（移動位置と方向を示すラベル）が含まれます。出力は、移動後の物体の合成画像です。これにより、モデルは、物体のさまざまな位置における照明や影の変化、および遮蔽関係をより適切に理解し、処理することができます。
• 合成データセットの構築大規模な物体移動に関する実世界のデータが不足しているため、研究チームは最新のゲームエンジン（Unreal Engineなど）を用いて高品質な合成データペアを生成した。このデータは、複雑な照明、マテリアル、オクルージョンを含むシーンを網羅しており、モデル学習の多様性と汎化能力を向上させた。
• マルチタスク学習戦略ObjectMoverは、オブジェクトの移動、削除、挿入、ビデオデータの挿入という4つのサブタスクを組み合わせたものです。統一されたフレームワークを用いて、合成ビデオデータと実在のビデオデータの両方で学習されています。これにより、モデルの実世界シーンへの汎化能力が向上し、さまざまな画像編集タスクを処理する際の適応性と堅牢性が向上します。

ObjectMoverのプロジェクトアドレス

• プロジェクト公式サイト：https://xinyu-andy.github.io/ObjMover/
• arXiv技術論文：https://arxiv.org/pdf/2503.08037

ObjectMoverの応用シナリオ

• 特殊効果制作オブジェクトの消失や出現といった複雑な特殊効果シーンの場合、ObjectMoverはシーンのリアリティを維持しながらオブジェクトの削除や挿入を行うことができます。
• 仮想シーン編集仮想現実やゲーム開発においては、仮想シーン内のオブジェクトを柔軟に調整することが不可欠です。ObjectMoverは、小道具をある位置から別の位置へ移動させるなど、シーン内のオブジェクトを移動させる際に、オブジェクトの照明や影を環境と整合させながら移動させるのに使用できます。
• ゲームレベルデザイン開発者はObjectMoverを使用することで、レベル内のオブジェクトの配置を素早く調整でき、レベルデザインの効率を向上させることができます。
• 製品紹介製品広告においては、ObjectMoverを使用することで、製品をさまざまな場面に配置し、製品の多様な使用シーンを効果的にアピールできます。
• 空間計画建築やインテリアデザインにおいて、ObjectMoverは家具や装飾品を別の場所に移動させ、さまざまなデザイン案を評価するために使用できます。