project
InstructMove ― 東京大学とAdobeが共同で、指導型画像編集モデルを発表。
InstructMoveは、東京大学とAdobeが共同開発した、指示に基づく画像編集モデルです。動画のフレームごとの変化を観察することで、指示に基づいた画像操作の実行方法を学習します。このモデルは、マルチモーダルな大規模言語モデルに基づいています。
InstructMoveとは何ですか？
InstructMoveは、東京大学とAdobeが共同開発した、指示に基づく画像編集モデルです。動画内のフレームペアの変化を観察することで、指示に従って画像を操作することを学習します。このモデルは、マルチモーダル大規模言語モデル（MLLM）に基づいてフレームペア間の変化を記述する編集指示を生成し、被写体のポーズ調整、表情変更、視点変更など、コンテンツの一貫性を維持しながら複雑で柔軟な編集タスクを実行できるように学習します。InstructMoveは、実際の動画フレームをデータソースとして使用することで、編集中のコンテンツの自然さとリアリティを確保し、複雑な編集タスクにおける合成データセットの限界を克服します。また、マスクなどの制御メカニズムに基づく高精度な局所編集をサポートしており、実世界でのアプリケーションにおける柔軟性と実用性をさらに高めています。
InstructMoveの主な機能
- 非厳密な編集与えられた編集指示に従って、画像内の被写体の姿勢や表情といった非剛体的な特徴を調整することができます。
- 表示調整指示に従って画像の撮影角度を変更します。例えば、カメラの角度を左右に移動することで、画像の構図や視覚効果を変更します。
- 要素の再配置このツールは、おもちゃの足を揃えたり、鳥の尾が見えるようにしたりするなど、画像内の要素を再配置または移動して、特定の編集ニーズに対応します。
- 正確なローカル編集マスクなどの制御機構と組み合わせることで、画像内の特定領域を正確に局所的に編集することが可能になり、より詳細な修正効果を実現できます。
InstructMoveの技術原理
- データセットの構築
- ビデオフレームサンプリングインターネット動画からフレームペアをサンプリングし、被写体のポーズの変化、要素の動き、カメラの視点調整など、フレームペア間に意味のある変化があることを確認し、自然でリアルな画像変換サンプルを多数取得します。
- マルチモーダル言語モデル生成手順GPT-4oやPixtral-12Bなどのマルチモーダル大規模言語モデル（MLLM）を用いて、サンプリングされたフレームペア間の差異を分析し、正確な編集指示を生成します。
- モデルアーキテクチャとトレーニング
- 事前学習済みモデルの微調整Stable Diffusionなどの事前学習済みテキスト・トゥ・イメージ（T2I）モデルを、構築したデータセットで微調整する。
- 空間条件戦略従来のチャネルステッチングの代わりに、空間次元に沿って参照画像とノイズ入力をステッチングするための空間条件付き戦略が導入される。
- ノイズ除去ネットワークのトレーニング連結された入力データは、ノイズマップを予測するノイズ除去U-Netネットワークに入力されます。予測されたノイズマップと元のノイズマップとの差が計算され、編集指示に従って対象画像を正確にノイズ除去および再構築するようにモデルパラメータが最適化され、画像編集が実現されます。
- 制御機構の統合
- マスク着用に関するガイダンスマスクなどの制御メカニズムとの統合をサポートし、精密な局所編集を実現します。推論フェーズでは、マスクを使用して編集領域を制御し、更新された潜在表現を基準となる潜在表現と融合することで、画像の特定部分を変更します。
- その他の空間制御ControlNetなどの制御可能な拡散モデルと統合し、スケッチやスケルトンキーポイントなど、ユーザーが提供する追加の視覚的手がかりを受け入れることで、より複雑で精密な画像編集操作を実現します。
InstructMoveのプロジェクトアドレス
- プロジェクト公式サイト：ljzycmd.github.io/projects/InstructMove
- arXiv技術論文：https://arxiv.org/pdf/2412.12087v1
InstructMoveの応用シナリオ
- 映画・テレビのポストプロダクション特殊効果アーティストは、SF映画に登場するエイリアンのクリーチャーの表情を調整し、物語の展開に必要な怒りをより適切に表現できるようにする。
- 広告クリエイティブデザインデザイナーたちはこの手法を用いて、自動車広告におけるレーシングカーの遠近感や背景要素を調整し、新型モデルのスピード感や情熱を強調して消費者の注目を集めた。
- インテリアデザインインテリアデザイナーは、クライアントの美観と実用性に関するニーズを満たすために、寝室のベッドサイドテーブルの位置やカーテンのスタイルを調整し、暖かく快適な睡眠環境を作り出します。
- 芸術教育教師は絵画の授業で人物のポーズを調整することで、生徒たちが動作と感情の関係を理解し、芸術創造への理解を深められるようにする。
- 個人の写真編集個々のユーザーは、パーティー写真の表情を調整して、より自然でリラックスした印象に仕上げ、ソーシャルメディアで共有することで、友人から「いいね！」や肯定的なフィードバックを得ることができます。