Stand-In - Tencent WeChatが立ち上げた動画生成フレームワーク - AiBoss

スタンドインとは何ですか？

Stand-Inは、Tencent WeChatのビジョンチームが開発した軽量な動画生成フレームワークで、本人確認機能を備えた動画の生成に特化しています。基本モデルのパラメータのわずか1%を学習させるだけで、高精細で本人確認機能に優れた動画を生成できます。プラグアンドプレイ方式を採用しており、既存のテキスト・トゥ・ビデオ（T2V）モデルに容易に統合できます。Stand-Inは、本人確認機能を備えたテキスト・トゥ・ビデオ生成、非人間被写体の動画生成、様式化された動画生成、顔交換、ポーズ誘導型動画生成など、様々なアプリケーションシナリオに対応し、高い効率性、柔軟性、優れた拡張性といった利点を提供します。

スタンドインの主な機能

個人情報を保持したテキストからビデオへの変換テキストによる説明と参照画像に基づいて、参照画像に写っている人物の身元に合致する動画を生成し、動画に登場する人物の特徴が極めて一貫していることを保証する。
非人間被写体保護ビデオ生成このフレームワークは、漫画のキャラクターや物体など、人間以外の被写体の動画を生成する際に、被写体の特徴の一貫性を維持することができる。
アイデンティティを保持する様式化されたビデオ生成キャラクターの特徴を維持しつつ、油絵やアニメーションといった特定の芸術スタイルを生成された動画に適用することで、様式化された効果を実現している。
動画の顔交換この機能は、動画内の人物の顔を基準画像の顔に置き換えることで、動画の自然さと一貫性を維持しながら、高精度な顔置換を実現します。
姿勢誘導型ビデオ生成入力されたポーズシーケンスに基づいて、対応するポーズをとった人物の動画を生成し、ポーズの精密な制御と生成を実現します。

スタンドインの技術的原理

条件付きイメージ分岐事前学習済みの動画生成モデルに、条件付き画像分岐が導入されます。参照画像は、事前学習済みのVAE（変分オートエンコーダー）を用いて動画と同じ潜在空間にエンコードされ、豊富な顔の特徴が抽出されます。
自己注意機構の制限識別制御は、制限付き自己注意機構によって実現され、参照画像の独立性を維持しながら、ビデオ特徴が参照画像内の識別情報を効果的に参照できるようにします。条件付き位置マッピングを使用して画像特徴とビデオ特徴を区別することで、情報交換の正確性と効率性を確保します。
低ランク適応（LoRA）条件付き画像ブランチでは、低ランク適応（LoRA）を使用して、モデルの軽量設計を維持しながら、識別情報を活用するモデルの能力を向上させます。LoRAは条件付き画像のQKV投影のみを微調整するため、過剰なトレーニングパラメータの導入を回避できます。
KVキャッシュ参照画像のタイムステップはゼロに固定され、拡散ノイズ除去処理中はキー行列と値行列は変更されません。これらの行列は推論処理中にキャッシュされ、計算速度が向上します。
軽量設計Stand-Inトレーニングでは、必要なパラメータが約1%増加するだけで、トレーニングコストと計算リソースの消費量を大幅に削減できます。また、Stand-Inは既存のテキスト・トゥ・ビデオ（T2V）モデルに容易に統合できるため、高い拡張性と互換性を実現します。

代理プロジェクトの住所

プロジェクト公式サイト：https://www.stand-in.tech/
GitHubリポジトリ：https://github.com/WeChatCV/Stand-In
ハギングフェイスモデルライブラリ：https://huggingface.co/BowenXue/Stand-In
arXiv技術論文：https://arxiv.org/pdf/2508.07901

代役アプリケーションシナリオ

仮想キャラクター生成映画、テレビシリーズ、アニメーション向けに仮想キャラクターを作成し、様々な場面におけるキャラクターのアイデンティティの一貫性を確保する。
特殊効果合成特殊効果制作においては、実在の俳優のアイデンティティに合致する仮想キャラクターを迅速に生成できるため、ポストプロダクションにおける合成作業の複雑さを軽減できる。
パーソナライズされた広告ユーザーから提供された参考画像に基づいてパーソナライズされた広告動画を生成することで、広告の魅力とユーザーエンゲージメントを高めます。
バーチャル広報担当者ブランドイメージの一貫性と整合性を確保するため、ブランドプロモーションや製品広告のためのバーチャル広報担当者を作成する。
キャラクターカスタマイズプレイヤーは自分の容姿に基づいてゲーム内のキャラクターを生成することができ、ゲームへの没入感とパーソナライズされた体験を向上させることができる。