Tongyi社は、映画グレードの吹き替え用マルチモーダル大型モデル「Fun-CineForge」を発売しました。

Tongyi Labsは、映画レベルの吹き替えをサポートする初のマルチモーダルモデルであるFun-CineForgeと、高品質データセット構築のためのCineDubメソッドをオープンソース化しました。CosyVoice3の基盤機能をベースに、このモデルは革新的な「時間的モダリティ」を導入し、視覚、テキスト、音声、時間的モダリティを統合することで、リップシンク、感情表現、一貫した音色、時間同期という4つの主要機能を実現しています。モノローグ、ナレーション、2人および複数人による対話シナリオに対応しています。