LaDeCo - 西安交通大学とマイクロソフトが共同開発した、自動グラフィックデザインおよび合成手法。

LaDeCoとは何ですか？

LaDeCoは、西安交通大学とマイクロソフトリサーチが共同開発した、自動グラフィックデザイン合成手法です。デザインタスクを階層的なステップに分解することを基本としています。LaDeCoは入力されたデザイン要素に対してレイヤープランニングを行い、背景、ボトムレイヤー、画像/ロゴ、テキスト、装飾など、異なる意味レイヤーに割り当てます。次に、LaDeCoはレイヤーごとに予測を行い、各デザインレイヤーの要素属性を生成します。この際、以前に生成されたレイヤーのレンダリング画像をコンテキスト情報として使用し、後続のレイヤーの生成をガイドします。LaDeCoは、大規模マルチモーダルモデル（LMM）に基づいてマルチモーダル入力を処理し、解像度調整、要素の塗りつぶし、デザインのバリエーションなど、タスク固有のトレーニングを必要としないデザインサブタスクをサポートします。

LaDeCoの主な機能

• レイヤープランニング入力されたマルチモーダルデザイン要素（画像やテキストなど）を、背景、ボトムレイヤー、画像/ロゴ、テキスト、装飾レイヤーなど、異なる意味レイヤーに自動的に割り当てます。
• 階層型設計生成層計画の結果に基づき、各層の要素属性が段階的に予測・生成され、完全な設計図が作成されます。
• 解像度調整さまざまなサイズのキャンバス上でデザインが魅力的に見えるよう、キャンバスのサイズに合わせてデザインを調整してください。
• 要素の塗りつぶし既存のデザインに新しい要素を追加することで、その魅力は高まる。
• デザイン変更同じ入力要素が与えられた場合、ユーザーに複数の選択肢を提供するために、さまざまなデザインを作成してください。

LaDeCoの技術原理

• 大規模マルチモーダルモデル（LMM）大規模なマルチモーダルモデルに基づいて、マルチモーダルなコンテキストを理解し、ドメイン横断的な応答を生成します。
• レイヤープランニングモジュール事前学習済みのLMM（例：GPT-4o）に基づいて、入力要素の意味ラベルが予測され、要素をデザイン層に自動的に分類することが可能になります。
• 階層的生成プロセスレイヤープランニングの結果に基づいて、デザイン要素の属性がレイヤーごとに生成され、生成されたレイヤーのレンダリング画像がコンテキスト情報としてモデルにフィードバックされ、後続のレイヤーの生成をガイドする。
• ビジュアルエンコーダーおよびプロジェクター要素画像や中間設計をエンコードし、画像埋め込みを生成し、LMMのバックボーンが必要とする隠れ状態の次元に一致するように投影するために使用されます。
• 思考連鎖推論LaDeCoの階層的生成手法は、連鎖思考推論の概念を体現しており、設計レイヤーを段階的に生成・調整することで推論性能を向上させる。

LaDeCoのプロジェクト住所

• プロジェクト公式サイト：elements2design.github.io
• arXiv技術論文：https://arxiv.org/pdf/2412.19712

LaDeCo アプリケーションシナリオ

• デザイナーこれは、デザイナーがグラフィックデザインや構成作業を自動的に完了できるように支援し、デザインの効率と品質を向上させます。
• 研究者と計画担当者景観変化研究、美的評価、視覚的影響評価において、この技術は研究者や計画担当者が画像内の視覚要素の割合を迅速かつ客観的に計算することを可能にし、評価プロセスを簡素化します。
• 評価者これは景観の視覚要素を評価する上で重要な役割を果たし、評価者がより効率的な視覚要素分析を行うのに役立つ。
• 開発者開発者にとって、LaDeCoは様々なアプリケーションを開発するために使用されます。
• 若年層LaDeCoの自動グラフィックデザイン分野におけるアプリケーションは、クリエイティブなコンテンツ、共有、音楽、ショートビデオ、ゲーム、ファッションに強い関心を持つ19歳から35歳までの人々を惹きつけている。