BlockDance - 復旦大学とByteDanceが共同で開発した拡散モデル加速手法

BlockDanceとは何ですか？

BlockDanceは、復旦大学がByteDanceのインテリジェントコンテンツ制作チームと共同で開発した、拡散モデルの高速化を目的とした新しい手法です。BlockDanceは、隣接するタイムステップにおける構造的に類似した時空間特徴（STSS）を識別して再利用することで、冗長な計算を削減し、推論速度を最大50%向上させます。BlockDanceは、ノイズ除去後の段階で構造的特徴に焦点を当て、類似性の低い特徴を再利用することによる画質劣化を回避します。BlockDanceは、強化学習に基づいて計算リソースを動的に割り当て、さまざまなインスタンスの複雑さに応じて高速化戦略を調整することで、コンテンツ品質と推論速度をさらに最適化するBlockDance-Adaを導入しています。

BlockDanceの主な機能

• 推論プロセスを加速する冗長な計算を削減することで、DiTの推論速度を25%から50%向上させることができ、実用的なアプリケーションにおけるモデルの効率性を向上させることができる。
• 生成品質を維持する処理速度を向上させながらも、元のモデルと一貫した生成結果を維持し、画像や動画における視覚的な品質、ディテール、および手がかりへの忠実性を保証します。
• 動的なリソース割り当てBlockDance-Adaをベースに、さまざまな生成タスクの複雑さに応じて計算リソースの割り当てを動的に調整することで、速度と品質のより良いバランスを実現します。
• 幅広い適用性画像生成や動画生成など、さまざまな拡散モデルや生成タスクへのシームレスな適用をサポートし、高い汎用性を備えています。

BlockDanceの技術的原則

• 特徴類似性分析拡散モデルのノイズ除去処理において、特にモデルの浅層および中間層では、隣接するタイムステップの特徴間に高い類似性が見られます。これらの層は主に画像の構造情報を生成する役割を担っており、ノイズ除去処理の初期段階では比較的安定しています。BlockDanceは、特徴類似性分析に基づいて構造的に類似した時空間（STSS）特徴を識別し、処理速度向上の重要な要素としています。
• キャッシュと再利用のメカニズムノイズ除去処理は、「キャッシュステップ」と「再利用ステップ」に分けられます。キャッシュステップでは、モデルは現在のステップにおける特定のモジュールの特徴出力を保存します。続く再利用ステップでは、モデルは以前にキャッシュされた特徴を直接使用し、モジュールの繰り返し計算をスキップして計算リソースを節約します。
• 動的決定ネットワーク（BlockDance-Ada）BlockDance-Adaは、強化学習に基づく軽量な決定ネットワークです。現在の生成タスクの複雑さ（画像構造の複雑さ、オブジェクトの数など）に基づいて、どのステップをキャッシュし、どのステップを再利用できるかを動的に判断します。この動的な調整メカニズムにより、BlockDanceはさまざまな生成タスクやモデルにおいて、より優れた速度と品質のバランスを実現できます。
• 強化学習の最適化決定ネットワークは、強化学習における方策勾配法を用いて学習されます。報酬関数は、画像品質と計算効率のトレードオフのバランスを取るように設計されています。報酬関数には、画像品質報酬（視覚的な美しさや手がかりへの適合性など）と計算報酬（再利用されたステップの割合など）が含まれます。期待報酬を最大化することで、決定ネットワークは最適なキャッシュ戦略と再利用戦略を学習し、生成品質を維持しながら最大の高速化を実現します。

BlockDanceのプロジェクトアドレス

• arXiv技術論文：https://arxiv.org/pdf/2503.15927

BlockDanceアプリケーションのシナリオ

• 画像生成視覚的な品質を維持しながら、芸術作品の制作、ゲームデザイン、その他の用途向けに高品質な画像の生成を加速します。
• ビデオ生成動画制作やアニメーション制作などの作業速度を向上させ、視覚的および時間的な一貫性を維持する。
• リアルタイムのインタラクションVRやARなどのリアルタイムアプリケーションで使用され、ユーザーの入力に迅速に対応し、ユーザーエクスペリエンスを向上させます。
• 大量コンテンツ生成大量の画像や動画を効率的に生成することで、計算コストを削減し、効率性を向上させる。
• 資源制約のある環境追加のトレーニングを必要とせず、モバイルデバイスやエッジコンピューティングなどのリソース制約のある環境でも効率的に動作できます。