CLEAR - シンガポール国立大学が開発した線形アテンションメカニズムで、8K画像の生成速度を6.3倍向上させる。 - AiBoss

CLEARとは何ですか？

シンガポール国立大学が開発した新しい線形アテンションメカニズムであるCLEARは、高解像度画像を生成する際の事前学習済み拡散トランスフォーマー（DiT）の効率を向上させます。CLEARは、各クエリのアテンションをローカルウィンドウに制限することで、画像解像度に対して線形な計算量を実現し、計算コストを削減します。実験結果によると、10,000回のファインチューニング後、CLEARは元のモデルと同等のパフォーマンスを維持しながらアテンション計算を99.5%削減し、8K画像の生成時に6.3倍の高速化を実現しました。CLEARは、モデルとプラグイン間でのゼロショット汎化、およびマルチGPU並列推論をサポートし、モデルの適用性と拡張性を向上させます。

CLEARの主な機能

線形複雑度局所的な注意機構を用いることで、事前学習済みのDiTの複雑さが二次関数から線形関数に低減され、高解像度画像の生成に適したものとなる。
効率改善高解像度画像を生成する際の計算負荷と時間遅延を大幅に削減し、画像生成プロセスを高速化します。
知識移転最小限の微調整で、生成データの品質を維持しながら、事前学習済みモデルから学習モデルへ効果的に知識を伝達することができる。
クロス解像度一般化CLEARは優れた解像度横断的な汎化能力を示し、さまざまなサイズの画像生成タスクに対応できます。
クロスモデル/プラグインの一般化CLEARで学習させたアテンション層は、追加の適応を必要とせずに、サンプル数がゼロの他のモデルやプラグインにも一般化できます。
マルチGPU並列推論CLEARはマルチGPU並列推論をサポートし、大規模画像生成の効率と拡張性を最適化します。

CLEARの技術原則

局所的な注意窓このアプローチでは、各クエリをローカルウィンドウ内に制限し、そのウィンドウ内のキーと値のペアとのやり取りのみを可能にすることで、線形計算量を実現します。
円形窓のデザイン従来の正方形のスライディングウィンドウとは異なり、CLEARは円形のウィンドウを使用して、各クエリのユークリッド距離内にあるすべてのキー値を考慮します。
知識抽出微調整の際、CLEARはフローマッチング損失と予測/アテンション出力の一貫性損失に基づいた目的関数の知識蒸留を用いて、線形化モデルと元のモデルとの差を縮小します。
マルチGPU並列推論の最適化CLEARは、局所的注意機構の局所性を活用することで、マルチGPU並列推論時の通信オーバーヘッドを削減し、大規模画像生成の効率を向上させます。
元の機能を維持する各クエリはローカル情報にしかアクセスしませんが、複数のTransformerブロックを積み重ねることで、各トークンは畳み込みニューラルネットワークの動作と同様に、全体的な情報を徐々に捉えることができます。
スパースアテンションの実装疎なアテンションメカニズムとして、GPU上で効率的に実装でき、基盤となる最適化を活用できる。

CLEARプロジェクトの住所

GitHubリポジトリ：https://github.com/Huage001/CLEAR
arXiv技術論文：https://arxiv.org/pdf/2412.16112

CLEARの応用シナリオ

デジタルメディア制作これにより、アーティストやデザイナーは高解像度の画像や作品を迅速に作成できるようになり、創作効率が向上します。
仮想現実（VR）と拡張現実（AR）VRやARアプリケーションでは、高解像度の仮想環境やオブジェクトをリアルタイムで生成するために使用され、ユーザーエクスペリエンスを向上させます。
ゲーム開発これにより、ゲーム開発者は高品質なゲームアセットや背景を生成できるようになり、開発時間とリソースの消費を削減できます。
映画およびビデオ制作映画やビデオ制作においては、高解像度の特殊効果画像やアニメーションを生成するために使用され、ポストプロダクションの効率を向上させる。
広告とマーケティングマーケターは、潜在顧客を引き付ける魅力的な広告画像やビジュアルコンテンツを迅速に作成できる。