シンガポール国立大学のLinFusion社は、単一のGPUで毎分1万6000枚の画像を生成できる画像生成モデルを発表した。

LinFusionとは何ですか？

シンガポール国立大学の研究チームが開発したLinFusionは、高解像度画像生成タスクを処理するための線形アテンションメカニズムに基づいた革新的な画像生成モデルです。これにより、多数のピクセルを処理する際の計算複雑度が線形に維持され、生成効率が大幅に向上します。LinFusionは、ControlNetやIP-Adapterなどの既存の事前学習済みモデルコンポーネントとの互換性が高く、ゼロショットのクロス解像度生成をサポートし、これまで見られなかった解像度での画像生成を可能にします。単一のGPUで最大16K解像度の画像生成を実現し、アート制作、ゲームデザイン、バーチャルリアリティなどの分野に強力なビジュアルコンテンツ生成機能を提供します。

LinFusionの主な機能

• テキストから画像への生成ユーザーが提供したテキスト説明に基づいて、対応する高解像度画像を生成します。
• 高解像度対応: トレーニング中に遭遇しなかった解像度を含む、高解像度画像を生成するために特に最適化されています。
• 線形複雑度線形アテンション機構を用いることで、モデルの計算効率を高め、多数のピクセルを処理する際のリソース消費量を削減できる。
• クロス解像度生成トレーニング中に見られなかった解像度も含め、さまざまな解像度で画像を生成します。
• 事前学習済みモデルコンポーネントと互換性がありますControlNetやIP-Adapterなどの事前学習済みのStable Diffusionコンポーネントと互換性があり、追加の学習なしで使用できます。

LinFusionの技術原則

• 線形注意機構LinFusionは、従来のTransformerベースのモデルにおける自己注意機構の二次的な複雑さとは異なり、斬新な線形注意機構を採用しています。この線形注意機構により、多数のピクセルを処理する際のモデルの計算複雑度はピクセル数に線形的に比例するため、計算リソースの要求を大幅に削減できます。
• 一般化された線形注意LinFusionは、Mamba、Mamba2、Gated Linear Attentionなどの既存の線形複雑性ラベルミキサーを拡張した、汎用的な線形アテンションパラダイムを導入しています。この汎用的な線形アテンションメカニズムには、高解像度の視覚生成の要求に対応するため、正規化された知覚と非因果的な操作が含まれています。
• 標準化された知覚正規化された知覚注意メカニズムは、各トークンの注意重みの合計が1になることを保証し、それによって異なるスケールの画像間で一貫したパフォーマンスを維持します。
• 非因果関係これは、線形アテンションメカニズムの非因果的なバージョンであり、従来のRNNのようにラベルを順次処理するのではなく、生成時にすべてのノイズを含む空間ラベルに同時にアクセスできます。これにより、モデルは画像の空間構造をより適切に捉えることができます。

LinFusionのプロジェクトアドレス

• プロジェクト公式サイト：lv-linfusion.github.io
• GitHubリポジトリ：https://github.com/Huage001/LinFusion
• arXiv技術論文：https://arxiv.org/pdf/2409.02097

LinFusionの応用事例

• 芸術創作アーティストやデザイナーは、LinFusionを使用してテキストの説明から高解像度のアートワークを生成し、創作プロセスを加速させています。
• ゲーム開発ゲームデザインにおいては、ゲームシーン、キャラクター、コンセプトアートなどを迅速に生成できるため、ゲームアート制作の効率が向上します。
• 仮想現実（VR）と拡張現実（AR）VRやARコンテンツの制作において、LinFusionはリアルな背景画像や環境の生成を支援し、ユーザーエクスペリエンスを向上させます。
• 映画およびビデオ制作映画制作者はLinFusionを使用して、映画のコンセプトアートや特殊効果の背景を作成し、プリプロダクション時間を短縮しています。
• 広告とマーケティングマーケティングチームはLinFusionを使用して、魅力的な広告画像やソーシャルメディア投稿を迅速に作成し、マーケティングコンテンツの魅力を高めています。