Loopy - ByteDanceの音声駆動型AI動画生成モデル

Loopyとは何ですか？

Loopyは、ByteDanceが開発した音声駆動型AI動画生成モデルです。静止画に命を吹き込むことができ、写真に写っている人物の表情や頭の動きを、指定された音声ファイルに合わせて同期させることで、リアルな動画を生成できます。高度な拡散モデル技術に基づき、Loopyは追加の空間信号や条件を必要とせずに長期的な動きの情報を捉えて学習し、エンターテインメントや教育など様々な用途に適した、自然で滑らかな動きを生成します。

Loopyの主な機能

• オーディオドライバー: Loopyは音声ファイルを入力として使用し、音声と同期した動的なビデオを自動的に生成します。
• 顔の動きの生成： 口の形、眉、目など、自然な顔の動きを生成し、静止画像をまるで話しているかのように見せる。
• 追加の条件は不要です。 一部の類似技術は追加の空間信号や条件を必要とするが、Loopyは補助情報を必要とせず、独立してビデオを生成できる。
• 長期的な動作データ取得： Loopyは長期的な動作情報を処理する能力を持ち、より自然で滑らかな動きを生み出すことができる。
• 多様な成果物： 入力音声の感情やリズムといった特性に基づいて、それに応じた表情や頭の動きを生成するなど、多様なモーションエフェクトの生成をサポートします。

ルーピーの技術原理

• 音声駆動モデルLoopyの中核となるのは、入力された音声信号に同期した動的なビデオを生成する、音声駆動型のビデオ生成モデルです。
• 拡散モデルLoopyは拡散モデルの手法を用いて、ノイズを徐々に導入し、その逆のプロセスを学習することでデータを生成する。
• 時間モジュールLoopyは、セグメント間およびセグメント内の時間モジュールを組み込むことで、モデルが長期的な動作情報を理解し活用し、より自然で一貫性のある動きを生成できるようにします。
• 音声から潜在空間への変換Loopyは、音声信号を顔の動きを制御できる潜在表現に変換するために、音声-潜在空間モジュールを使用します。
• モーション生成Loopyは、音声から抽出された特徴量と長期的な動きの情報を用いて、口の形、眉毛、目などの動的な変化といった、それに対応する顔の動きを生成します。

Loopyのプロジェクトアドレス

• 製品体験Jimeng AI – AI動画生成 – 「リップシンク」機能
• プロジェクト公式サイト：https://loopyavatar.github.io/
• arXiv技術論文：https://arxiv.org/pdf/2409.02634

Loopyのアプリケーションシナリオ

• ソーシャルメディアとエンターテイメントソーシャルメディア上の写真や動画にダイナミックな効果を追加することで、インタラクティブ性とエンターテイメント性を高めることができます。
• 映画およびビデオ制作特殊効果を駆使して「歴史上の人物を蘇らせる」。
• ゲーム開発ゲーム内のノンプレイヤーキャラクター（NPC）の表情や動きを、より自然でリアルなものにする。
• VRとARVRやAR体験において、よりリアルで没入感のある仮想キャラクターを生成する。
• 教育と訓練教育ビデオを作成したり、歴史上の人物の演説を再現したり、科学実験を再現したりする。
• 広告とマーケティング広告の魅力と記憶に残る度合いを高めるために、魅力的な広告コンテンツを作成する。