Lego-Edit - Xiaomiのオープンソース画像編集フレームワーク - AiBoss

Lego-Editとは何ですか？

Lego-Editは、Xiaomiが開発したオープンソースの命令ベースの画像編集フレームワークです。マルチモーダル大規模言語モデル（MLLM）の汎化能力を活用し、柔軟な画像編集を実現します。モデルレベルのツールキットを採用し、多様な画像操作を実行できる、効率的に学習された様々なモデルが含まれています。Lego-Editは、教師ありファインチューニング（SFT）、タスク固有の強化学習（RL）、そして最後に、ラベルなし命令を多数用いた追加の強化学習トレーニングという、3段階の漸進的強化学習トレーニング戦略を採用し、柔軟な命令を処理する能力を強化しています。その強みは、強力な汎化能力にあり、複数のベンチマークで最先端（SOTA）のパフォーマンスを達成しています。ローカル、グローバル、マルチステップ編集をサポートし、編集領域を正確に制御するためのマスク入力も受け入れます。Lego-Editは、再学習なしで新しいツールを統合できるため、機能拡張が容易です。

Lego-Editの主な機能

強力な画像編集機能Lego-Editは、ユーザーの指示に従って、ローカル編集、グローバル編集、マルチステップ編集など、さまざまな複雑な画像編集タスクを実行でき、さまざまなシナリオにおける画像処理ニーズに対応します。
柔軟な指示理解と実行マルチモーダル大規模言語モデル（MLLM）の汎化能力により、Lego-Editはオープン領域の命令を理解し実行することができ、強力な推論能力によって馴染みのない命令さえも処理することができます。
モデルレベルツールキットの効率的な活用このフレームワークには、限られたデータでも効率的に学習できる様々なモデルレベルツールが含まれています。これらのツールは、多様な画像操作機能を備えています。MLLMはこれらのツールを用いて、きめ細かな編集操作を実行し、効率的かつ正確な画像修正を実現できます。
再トレーニングなしで新しいツールを統合するLego-Editは、新たに導入された編集ツールを追加の調整なしに統合できるため、変化し続ける画像編集のニーズに合わせて機能を容易に拡張できます。
マスク入力は正確な編集をサポートしますLego-Editの特長の一つは、マスク入力に対応している点です。ユーザーはマスクを使用して編集する画像領域を正確に指定できるため、より精度の高い局所的な編集効果が得られます。
オープンソースで使いやすいLego-EditのコードはApache 2.0ライセンスの下でオープンソースとして公開されており、モデルはCC BY-NC 4.0ライセンスの下でオープンソースとして公開されているため、ユーザーは容易にアクセスして利用できます。簡単な環境設定と事前学習済みモデルのダウンロードにより、ユーザーはGradio WebUIを使用して画像編集を開始でき、参入障壁が低くなります。

Lego-Editの技術的原理

モデルレベルのツールキットLego-Editは、効率的に学習された複数のモデルを統合しており、それぞれが色調整やオブジェクト置換といった特定の画像処理機能を担当することで、複雑な画像編集作業を基本的な面からサポートする、機能豊富なツールキットを形成しています。
マルチモーダル大規模言語モデル（MLLM）駆動MLLMの強力な汎化能力と推論能力を活用することで、ユーザーコマンドを理解し、モデルレベルツールキット内のさまざまなモデルを連携させて、コマンド解析から具体的な操作への変換を完了させ、柔軟な画像編集を可能にします。
3段階の漸進的強化学習トレーニング戦略まず、教師ありファインチューニング（SFT）を実行して、モデルに基本的な画像編集知識を学習させます。次に、強化学習（RL）を用いて、特定の編集タスクでモデルを訓練し、推論能力とツール使用知識を構築します。最後に、大規模なクリティカルモデルからのフィードバックを受けながら、大量のラベルなし指示を用いて追加のRL訓練を行い、柔軟な指示を処理する能力をさらに向上させます。
マスクされた入力メカニズムマスクを使用して編集する画像領域を指定できるため、編集操作の精度が向上します。画像の特定部分のみを変更でき、他の領域に影響を与えないため、編集の柔軟性と精度が向上します。
再トレーニングを必要としないツール統合Lego-Editは、新たに導入された編集ツールを追加の調整なしで直接統合できるため、新しい編集ニーズに迅速に対応し、機能範囲を拡大し、システムの効率性と拡張性を維持できます。

Lego-Editプロジェクトのアドレス

プロジェクト公式サイト：https://xiaomi-research.github.io/lego-edit/
GitHubリポジトリ：https://github.com/xiaomi-research/lego-edit
arXivテクノロジー紙：https://arxiv.org/pdf/2509.12883

Lego-Editの応用事例

クリエイティブデザイン分野デザイナーはLego-Editを使用することで、創造的なアイデアを迅速に実現し、画像合成やスタイル変換といった複雑な操作を簡単なコマンドで完了できるため、デザイン効率が向上し、より多くの創造的なアイデアが生まれます。
コンテンツの作成と編集ビデオ制作、広告デザイン、ソーシャルメディアコンテンツ制作といった場面において、Lego-Editは、クリエイターが多様なコンテンツ制作ニーズに対応するため、色調整、背景の差し替え、エフェクトの追加など、画像素材を迅速に修正するのに役立ちます。
Eコマースと商品表示Eコマース事業者は、Lego-Editを使用して、傷の除去、照明の調整、仮想シーンの追加など、商品画像を最適化し、商品の見栄えを向上させ、ユーザーの購買意欲を高めることができます。
教育と訓練教育分野において、Lego-Editは、学生が画像編集スキルを習得し、創造性と美的感覚を養うための教材として活用できます。同時に、教師はLego-Editを使って授業用教材を素早く作成することも可能です。
個人の写真加工一般ユーザーは、Lego-Editを使用して、背景の削除、肌の色調調整、装飾要素の追加など、個人の写真の加工を行うことができ、ソーシャルメディアでの共有や個人コレクションに適した満足のいく写真を簡単に作成できます。
バーチャルリアリティとゲーム開発仮想現実やゲーム開発において、Lego-Editはキャラクターの外見やシーン要素など、ゲーム内の画像リソースを迅速に生成・変更するために使用でき、開発効率の向上とゲームの視覚効果の充実に貢献します。