ACE - アリババ同義研究所が開発した、総合的な画像生成・編集モデル - AiBoss

ACEとは何ですか？

ACE（All-round Creator and Editor）は、アリババグループの同義研究所が開発した、拡散変換に基づくオールラウンドな画像生成・編集モデルです。ACEは、長文コンテキスト条件ユニット（LCU）と統一された条件フォーマットを導入することで、自然言語による指示を理解し実行し、幅広い画像生成タスクを実現します。ACEモデルはマルチモーダル入力に対応し、画像生成、編集、複数ターンのインタラクションといった複雑なタスクも処理できるため、ビジュアルコンテンツ制作の効率性と柔軟性を向上させる統一的なソリューションを提供します。

ACEの主な機能

マルチモーダルな視覚生成Aはテキスト指示に基づいて画像を生成し、スタイル転送、オブジェクトの追加や削除など、さまざまな視覚生成タスクをサポートします。
画像編集このモデルは、既存の画像を編集します。これには、意味編集、要素編集（テキストやオブジェクトの追加または削除など）、およびインペインティングが含まれます。
長時間のコンテキスト処理長文コンテキスト条件付きユニット（LCU）に基づいて、対話履歴の一貫性を維持しながら、複数ターンの対話における画像編集タスクを理解し、実行します。
データ収集と処理効率的なデータ収集方法を採用し、合成またはクラスタリングパイプラインに基づいてペアリング画像を取得し、微調整された大規模マルチモーダル言語モデルを使用して正確なテキスト指示を生成する。
単一モデルによるマルチタスク処理: ビジュアルプロキシで使用される煩雑なプロセスを回避し、単一のモデルバックエンドを使用してあらゆる画像作成リクエストに対応することで、効率を向上させます。

ACEの技術原則

長文コンテキスト条件文単位（LCU）LCUは、履歴情報と現在のテキスト指示を組み合わせることで、ユーザーの要求をより的確に理解し、目的の画像を生成する、統一された条件付きフォーマットです。
トランスフォーマーに基づく拡散モデル我々は、LCUを入力として使用し、Transformerをベースとした拡散モデルを構築し、様々な生成および編集タスクに対して共同で学習させることで、モデルのマルチタスク処理能力を向上させる。
条件付きトークン化このモデルは、テキストによる指示と視覚情報（画像やマスクなど）をシーケンスにエンコードし、それらを統合することで、マルチモーダル情報の整合性を実現します。
画像インジケータの埋め込みテキストによる指示で言及されている画像順序がCU内の画像シーケンスと一致するようにするため、画像順序は定義済みのテキストタグによって示されます。
長文コンテキスト注意ブロックこのモジュールは、時間ステップ埋め込み（T-Emb）と3D回転位置符号化（RoPE）に基づいて、異なる空間レベルおよびフレームレベルの画像埋め込みを区別し、自己注意層と相互注意層において、テキスト埋め込みと画像埋め込みがフレームごとに整列されるようにします。

ACEプロジェクトの住所

プロジェクト公式サイト：ali-vilab.github.io/ace-page
GitHubリポジトリ：https://github.com/ali-vilab/ACE/
arXiv技術論文：https://arxiv.org/pdf/2410.00086

ACEの適用シナリオ

芸術的な創造とデザインアーティストやデザイナーは、創造的なアイデアを実現し、創作効率を高めるために、画像を生成したり編集したりすることができる。
メディアとエンターテインメント映画制作においては、キーフレームの生成や補助的な視覚効果の作成が含まれます。ゲーム開発においては、迅速なプロトタイピングやゲームアセットの生成が含まれます。
広告とマーケティングマーケティング担当者は、魅力的な広告画像やマーケティング資料を迅速に作成できる。
教育と訓練教育者は、生徒の学習体験を向上させるために、個々の生徒に合わせた教材や視覚補助資料を作成する。
電子商取引Eコマースプラットフォームは、顧客のニーズに基づいて商品画像を生成したり、パーソナライズされた商品表示を提供したりします。