Diff-Instruct - 事前学習済み拡散モデルから知識を転移するための汎用フレームワーク

Diff-Instructとは何ですか？

Diff-Instructは、事前学習済みの拡散モデルから知識を抽出し、他の生成モデルの学習を誘導する高度な知識転送手法です。この手法は、拡散モデル専用に設計された新しい発散指標である積分Kullback-Leibler（IKL）発散に基づいており、拡散過程に沿ってKL発散の積分を計算することで分布を比較します。この手法は、IKL発散を最小化することで、追加データを必要とせずにあらゆる生成モデルの学習を誘導できます。その汎用性、有効性、そして生成モデルの性能を大幅に向上させる能力は、学術界で注目を集めています。

Diff-Instructの主な機能

• 知識移転Diff-Instructは、事前学習済みの拡散モデル（DM）から学習し、追加データなしでその知識を他の生成モデルに転送することができます。
• ガイド付き生成モデルトレーニング一般的なフレームワークとして、Diff-Instructは、生成されたサンプルがモデルパラメータに関して微分可能である限り、あらゆる生成モデルのトレーニングをガイドすることができます。
• 新たな乖離を最小限に抑えるDiff-Instructは厳密な数学に基づいており、その誘導プロセスは、積分カルバック・ライブラー（IKL）ダイバージェンスと呼ばれる新しいタイプのダイバージェンスを最小化することに直接対応しています。
• 堅牢性を向上させるIKLダイバージェンスはDM（データモデル）向けに特別に設計されており、拡散過程におけるKLダイバージェンス積分を計算することで、サポートがずれている分布を比較する際に、より頑健であることが示されています。
• 生成モデルのパフォーマンスを向上させるDiff-Instructは、事前学習済み拡散モデルの抽出と既存のGANモデルの改善という2つのシナリオにおいて、その有効性と汎用性を実証しています。実験結果によると、Diff-Instructは最先端のシングルステップ拡散モデルを生成し、GANモデル用の事前学習済みジェネレーターを一貫して改善できることが示されています。

Diff-Instructの技術原理

• 一般的な枠組みDiff-Instructは、生成されたサンプルがモデルパラメータに関して微分可能である限り、あらゆる生成モデルのトレーニングをガイドできる汎用的なフレームワークを提案する。
• 積分カルバック・ライブラー（IKL）ダイバージェンスDiff-Instructは厳密な数学的基盤に基づいて構築されており、指示プロセスはIKLダイバージェンスと呼ばれる新しいタイプのダイバージェンスを最小化することに直接対応しています。IKLダイバージェンスは特にDM向けに設計されており、拡散プロセスに沿ってKLダイバージェンス積分を計算することで、サポートがずれた分布を比較する際に、より堅牢であることが示されています。
• データフリー学習Diff-Instructのデータフリー学習スキームは、事前学習済みのDMをインストラクターとして使用し、様々な生成モデルを誘導することをサポートする。
• 柔軟性Diff-Instructは、ジェネレータの選択に厳しい制限を課す従来の差分モデル蒸留手法とは異なり、ジェネレータに高い柔軟性を提供します。つまり、ジェネレータは畳み込みニューラルネットワーク（CNN）や、StyleGANなどのTransformerベースの画像ジェネレータ、あるいは事前学習済みの差分モデルから派生したUNetベースのジェネレータに基づいて構築できます。

Diff-Instructプロジェクトのアドレス

• GitHubリポジトリ：https://github.com/pkulwj1994/diff_instruct
• 技術論文：https://openreview.net/pdf?id=MLIs5iRq4w

Diff-Instructの応用シナリオ

• 事前学習済み拡散モデルの蒸留Diff-Instructは、事前学習済みの拡散モデル（DM）から学習し、その知識をデータフリーな方法で他の生成モデルに転送することで、事前学習済み拡散モデルの蒸留を実現できます。
• 既存の敵対的生成ネットワーク（GAN）モデルを改善するDiff-Instructは、事前学習済みの拡散モデルを抽出して、既存のGANモデルを改善し、ジェネレーターの性能を向上させるために使用できます。
• ビデオ生成マルチモーダル生成の分野では、Diff-Instructの技術原理はビデオ生成にも応用されており、例えばMarDiniモデルは、マスク自己回帰（MAR）の利点を統合した大規模ビデオ生成のための統一拡散モデル（DM）フレームワークである。
• 絵文字ファッションショー動画制作Diff-InstructテクノロジーをベースにしたPika 2.0は、背景、キャラクター、衣服の画像を参照することで動画を生成する機能をサポートしており、絵文字ファッションショー動画生成の分野における応用例を示している。