SaRA - 上海交通大学とテンセントが共同で開発した、事前学習済み拡散モデルの微調整手法。 - AiBoss

SaRAとは何ですか？

SaRAは、上海交通大学とテンセントYouTu Labが共同開発した、事前学習済み拡散モデル向けの新しい微調整手法です。事前学習プロセスで効果がなかったと思われるパラメータを再活性化することで、モデルが新しいタスクに適応できるようにします。SaRAは、核ノルムに基づく低ランクスパース学習スキームを用いて過学習を回避し、段階的なパラメータ調整戦略を導入することでモデルのパフォーマンスを最適化します。SaRAは、モデルの適応性と汎化能力を向上させると同時に、計算コストを大幅に削減します。わずか1行のコードで実装できるため、非常に実用的です。

SaRAの主な機能

パラメータの再利用事前学習で十分に活用されていないパラメータを有効化し、モデルに新たな機能を与えます。
過学習を防ぐ核ノルムの低ランク疎性トレーニング方式に基づき、モデルの微調整過程における過学習現象が軽減される。
段階的なパラメータ調整微調整のプロセス全体を通して、潜在的に有効なパラメータがすべて最大限に活用されるように、パラメータは継続的に評価および選択されます。
非構造化バックプロパゲーション微調整時のメモリコストを削減し、パラメータフィールドの選択性を向上させる。
モデルのパフォーマンスを向上させる事前学習済みモデルの元の知識を維持しつつ、主要タスクにおけるモデルのパフォーマンスを最適化する。

SaRAの技術原則

パラメータ重要度分析事前学習済みモデルのパラメータを分析し、生成プロセスにほとんど影響を与えないパラメータを特定する。
低ランクスパーストレーニングパラメータに低ランクの制約を課すことで、疎な重み行列を最適化することに基づいてタスク固有の知識を学習し、それによって微調整の効率を向上させ、過学習を低減します。
段階的なパラメータ調整戦略微調整プロセス全体を通してパラメータを動的に調整する戦略を設計し、潜在的に有効なすべてのパラメータが最大限に活用されるようにする。
非構造化バックプロパゲーション特殊なバックプロパゲーション戦略に基づき、微調整時のメモリ消費量が削減され、モデルの特定のタスクへの適応性が向上します。
モデルの互換性SaRA法は既存の事前学習済みモデルと互換性があり、微調整に必要なコードの変更はわずかで済み、既存のシステムへの統合も容易です。

SaRAのプロジェクト住所

プロジェクト公式サイト：sjtuplayer.github.io/projects/SaRA
GitHubリポジトリ：https://github.com/sjtuplayer/SaRA
arXiv技術論文：https://export.arxiv.org/pdf/2409.06633

SaRAの応用シナリオ

画像スタイル転送SaRAは、モデルのパラメータを調整し、通常の画像を、内容や構造を変えずに、油絵やスケッチなどの特定の芸術スタイルを持つ画像に変換するために使用できます。
画像カスタマイズDreamboothなどのアプリケーションでは、SaRAはUNetネットワークを微調整するために使用され、特定のオブジェクトやスタイルに合わせて画像をカスタマイズしたり、特定の機能を持つ画像を生成したりすることが可能になります。
ビデオ生成SaRAは、ズームやパンなどの様々なカメラ動作を含むデータセットを用いて、動画生成モデル（AnimateDiffなど）を微調整し、特定の動的効果を持つ動画を生成するために使用されます。
下流データセットの微調整SaRAは、さまざまな下流データセットに対して微調整を行い、異なるドメイン固有のタスクに適応するために使用されます。例えば、異なるスタイルのデータセットに対して微調整を行い、テキストプロンプトと整合性のある画像を生成するなどです。
画像生成タスクSaRAは、初期状態では無効なパラメータを最適化することで、画像生成タスクにおける事前学習済みモデルのパフォーマンスを向上させ、メインタスクにおけるモデルのパフォーマンスを高めるために使用されます。