INFP - 音声に基づいてリアルな表情や頭の姿勢を生成するAIフレームワーク。 - AiBoss

INFPとは何ですか？

INFPは、2人対話インタラクション専用に設計された、音声駆動型の頭部生成フレームワークです。対話音声に基づいて役割を自動的に切り替えるため、手動での役割割り当てや切り替えは不要です。INFPは、モーションベースの頭部模倣フェーズと、音声誘導型モーション生成フェーズの2つのフェーズで構成されています。実験と視覚化により、INFP手法の優れた性能と有効性が実証されています。また、INFPは、この研究分野の発展を支援するため、大規模な2人対話データセットDyConvを提案しています。

INFPの主な機能

自動的な役割切り替え2人での会話において、INFPは手動で役割を割り当てたり切り替えたりする必要なく、自動的に役割を切り替えることができ、会話の自然さとスムーズさを高める。
軽量で効率的INFPは強力な機能を維持しながらも軽量です。Nvidia Tesla A10上で40fpsを超える推論速度を実現しているため、INFPはエージェント間の通信や人間とエージェント間のインタラクションなど、リアルタイムのインテリジェントエージェントの相互作用をサポートできます。
対話型ヘッダー生成INFPは、動きに基づく頭部模倣と音声誘導型動作生成という2つの主要な段階から構成されます。最初の段階では、現実世界の対話動画から得られた顔のコミュニケーション行動を低次元の動き潜在空間に符号化し、2番目の段階では、入力音声をこれらの動き潜在コードにマッピングすることで、音声駆動型の頭部生成を実現します。
DyConvは、大規模な2人対話データセットである。この研究分野の進歩を支援するため、INFPはインターネットから豊富な二者間対話データを収集した大規模な二者間対話データセットDyConvを提案した。

INFPの技術的原則

動きに基づく頭部模倣段階この段階では、フレーム学習によって、実際の会話動画から顔の表情によるコミュニケーション行動を抽出し、低次元の動き潜在空間に投影します。このプロセスでは、多数の実際の会話動画から顔の表情によるコミュニケーション行動を抽出し、静止画像のアニメーションを駆動できる動き潜在コードにエンコードします。
音声誘導式動作生成ステージ第2段階では、フレームワークは入力されたデュアルチャネルオーディオから潜在的なモーションコードへのマッピングを学習します。この段階はノイズ除去処理によって実現され、インタラクティブなシナリオにおける音声駆動型の頭部生成を可能にします。
リアルタイムのインタラクションとスタイル制御INFPはリアルタイムのインタラクションをサポートしており、ユーザーは会話中にいつでも仮想アバターを中断したり、応答したりできます。また、任意のポートレート動画からスタイルベクトルを抽出することで、生成される結果における感情や態度を全体的に制御することも可能です。

INFPのプロジェクトアドレス

プロジェクト公式サイト：https://grisoon.github.io/INFP/
arXiv技術論文：https://www.arxiv.org/pdf/2412.04037

INFPの応用シナリオ

ビデオ会議とバーチャルアシスタントINFPフレームワークは、リアリズム、インタラクティブ性、リアルタイム性能を実現するため、ビデオ会議やバーチャルアシスタントなどのリアルタイムシナリオに適しており、より自然でスムーズなインタラクティブ体験を提供します。
ソーシャルメディアとインタラクティブエンターテイメントINFPは、ソーシャルメディアプラットフォームやインタラクティブエンターテイメントアプリケーション上で、自然な表情や頭の動きを持つインタラクティブなアバターを生成するために使用でき、ユーザーのインタラクティブな体験を向上させます。
教育と訓練INFPは、より鮮やかでインタラクティブな教育体験を提供する仮想教師やトレーナーを作成するために活用できます。
顧客サービス顧客サービス分野において、INFPは仮想の顧客サービス担当者を生成するために活用でき、よりパーソナライズされたサービスを提供することができる。
広告とマーケティングINFPは、広告やマーケティングキャンペーンにおいて、より魅力的なバーチャル広報担当者を生み出すために活用でき、よりリアルでインタラクティブな広告体験を提供することができる。
ゲームとシミュレーションゲームやシミュレーション環境において、INFPはよりリアルでインタラクティブなキャラクターを生み出すために活用でき、ゲームの没入感とインタラクティブ性を高めることができる。