EasyControl - Tiamat AIが上海科技大学およびその他の機関と共同で開発した、オープンソースの画像生成および制御フレームワーク。

EasyControlとは何ですか？

EasyControlは、Tiamat AIのDiffusion Transformer（DiT）アーキテクチャに基づいた、オープンソースで高効率かつ柔軟な制御フレームワークです。軽量な条件付き注入LoRAモジュールを介して、条件付き信号を独立して処理し、プラグアンドプレイ機能、既存モデルとの互換性、ゼロショット条件付きマルチモーダル事前学習のサポートを実現し、モデルの柔軟性と汎用性を向上させます。位置認識型トレーニングパラダイムにより、入力条件を固定解像度に標準化し、任意のアスペクト比を持つ生成画像をサポートすることで、計算効率を最適化し、生成画像の品質と柔軟性を向上させます。因果的アテンションメカニズムとキーバリューキャッシュの組み合わせにより、画像合成の遅延が大幅に削減され、推論効率が向上し、単一条件制御と複数条件制御の両方でモデルが高品質の出力を維持できるようになり、テキストの一貫性と制御性を実現します。

EasyControlの主な機能

• マルチコンディション制御機能本システムは、Cannyエッジ検出、深度情報、HEDエッジスケッチ、画像修復、人体姿勢推定、セマンティックセグメンテーションなど、複数の制御モデルをサポートしています。ユーザーはさまざまな制御信号を入力することで、モデルを正確に制御し、特定の構造、形状、レイアウトに適合する画像を生成できます。
• 高効率画像生成様々な解像度とアスペクト比での画像生成をサポートしており、画像生成、スタイル変換、ジブリアニメーションのライティングや色彩表現など、多様な生成タスクに適しており、高品質な画像を生成します。

EasyControlの技術原理

• 軽量条件付き注入LoRaモジュールEasyControlは、軽量な条件注入LoRA（低ランク適応）モジュールを導入しました。このモジュールは、条件信号を独立して処理し、事前学習済みのDiTモデルに注入します。これにより、ベースモデルの重みを変更する必要がなくなり、プラグアンドプレイ機能を実現するとともに、柔軟な条件注入と複数の条件の効率的な融合をサポートします。単一条件データのみで学習する場合でも、ゼロショット多条件汎化をサポートします。
• 位置認識トレーニングのパラダイム入力条件は固定解像度に標準化されているため、モデルは任意のアスペクト比と柔軟な解像度で画像を生成できます。計算効率が最適化されているため、モデルは多様なアプリケーションシナリオに適応できます。
• 因果的注意機構とキーバリューキャッシュ技術EasyControlは、従来のフルアテンション機構を、KVキャッシング技術と組み合わせた因果アテンション機構に置き換えています。最初の拡散タイムステップでは、すべての条件付き特徴のキーと値のペアを事前に計算してキャッシュします。後続のタイムステップでは、これらのキャッシュされたキーと値のペアを直接再利用することで、計算負荷と推論レイテンシを大幅に削減します。

EasyControlのプロジェクトアドレス

• プロジェクト公式サイト：https://easycontrolproj.github.io/
• GitHubリポジトリ：https://github.com/Xiaojiu-z/EasyControl
• ハギングフェイスモデルライブラリ：https://huggingface.co/Xiaojiu-Z/EasyControl
• arXiv技術論文：https://arxiv.org/pdf/2503.07027

EasyControlのアプリケーションシナリオ

• 画像生成高品質な画像生成機能を提供し、様々な解像度やアスペクト比に対応した生成要件をサポートします。
• スタイル変換コンテンツの一貫性と芸術性を維持しながら、通常の画像をジブリ風などの特定のスタイルに変換することをサポートします。
• アニメーション生成複雑な時空間関係を捉え、滑らかで表現力豊かなアニメーションを生成します。
• バーチャル試着衣服の画像と人間の姿勢図を組み合わせることで、リアルな試着効果を生み出し、服飾デザイナーに直感的なデザイン参考資料を提供する。
• 画像編集エッジ検出と深度マップを組み合わせることで、背景の置き換えやオブジェクトの抽出など、画像の詳細をユーザーが正確に調整するのに役立ちます。