Step1X-Edit - Step1Xがオープンソース化した汎用画像編集フレームワーク。 - AiBoss

Step1X-Editとは何ですか？

Step1Xチームが開発したStep1X-Editは、オープンソースの画像編集モデルとクローズドソースモデル（GPT-4oやGemini2 Flashなど）の性能差を縮める汎用画像編集フレームワークです。Step1X-Editは、マルチモーダル大規模言語モデル（MLLM）と拡散モデルを組み合わせ、参照画像とユーザーの編集コマンドを処理することで潜在埋め込みを抽出し、ターゲット画像を生成します。このモデルをトレーニングするために、研究者らは大規模かつ高品質なデータ生成パイプラインを構築し、100万組以上の画像とコマンドのペアを生成しました。Step1X-Editは、実際のユーザーコマンドを評価するための新しいベンチマークであるGEdit-Benchを導入しています。

Step1X-Editの主な機能

多様な編集機能被写体の追加、削除、置換、背景の変更、色の調整、素材の変更、スタイルの変更、ポートレートの美化、テキストの変更、トーンの変更など、さまざまな画像編集タスクをサポートしています。
自然言語による指示ドライバーユーザーは自然言語を用いて編集ニーズを説明し、モデルは複雑な編集指示を理解して実行することができる。
高品質な画像生成高精細でリアルな画像生成をサポートします。
現実世界のシーンへの翻案大規模かつ高品質なデータセットで学習されているため、現実世界における様々な複雑な編集シナリオに対応できます。

Step1X-Editの技術的原理

マルチモーダル大規模言語モデル（MLLM）この手法では、MLLMを用いて参照画像とユーザーの編集指示を処理し、意味情報を抽出します。MLLMの強力な意味理解能力を活用することで、編集タスクに関連する埋め込みベクトルを生成します。
拡散モデル画像生成は、拡散モデル（DiTスタイルのアーキテクチャなど）を組み合わせることによって実現されます。拡散モデルの高い生成能力を利用して、MLLMによって提供される埋め込みベクトルをターゲット画像にデコードします。
データ生成パイプライン100万組以上の画像と指示のペアを生成する、大規模かつ高品質なデータ生成パイプラインを構築する。このデータパイプラインは、様々な編集タスクのカテゴリを網羅しており、モデルが多様な編集操作を学習できるようにする。
トレーニング戦略テキストから画像への変換モデルは、美的品質と視覚的な一貫性を維持しながら初期化されます。全体的なパフォーマンスは、共同で学習された接続モジュールと下流の拡散モデルに基づいて最適化されます。
ベンチマーク（GEdit-Bench）モデルの実際のパフォーマンスを評価するために、実際のユーザーコマンドに基づいたベンチマークであるGEdit-Benchをリリースしました。GEdit-Benchには、実世界のシナリオにおけるモデルの有効性を確認するための様々な編集タスクが含まれています。

ステップ1X - プロジェクトアドレスを編集する

プロジェクト公式サイト：https://step1x-edit.github.io/
GitHubリポジトリ：https://github.com/stepfun-ai/Step1X-Edit
ハギングフェイスモデルライブラリ：https://huggingface.co/stepfun-ai/Step1X-Edit
arXiv技術論文：https://arxiv.org/pdf/2504.17761
オンラインでデモを体験してください：https://huggingface.co/spaces/stepfun-ai/Step1X-Edit

Step1X-Editの応用シナリオ

クリエイティブデザイン背景の変更、色の調整、要素の追加など、クリエイティブな画像を素早く生成し、デザイン効率を向上させます。
映画やテレビ番組のポストプロダクション特殊効果制作において、物体の追加・削除、外観の変更、色調調整などに使用され、ポストプロダクションのコスト削減につながる。
ソーシャルメディア写真を加工したり、楽しい要素を追加したり、スタイルを調整したりして、コンテンツの魅力を高めましょう。
ゲーム開発キャラクター、シーン、小道具を生成し、装備やスタイルを素早く調整し、アートアセットの開発時間を短縮します。
教育教育効果を高めるため、歴史的な写真の加工や科学的なイラストの作成など、教材を作成する。