project
QianYing - Giant Interactiveが発表した、オーディオゲーム生成のための大規模モデル。
QianYingは、Giant Interactiveが開発した大規模なオーディオゲーム生成モデルで、ゲームビデオ生成モデルYingGameとビデオ吹き替えモデルYingSoundで構成されています。YingGameはオープンワールドゲーム向けに設計されており、Giant InteractiveのAIプラットフォームです。
千英とは何ですか？
QianYingは、Giant Interactiveが開発した大規模オーディオゲーム生成モデルで、YingGame（大規模ゲームビデオ生成モデル）とYingSound（大規模ビデオ吹き替えモデル）で構成されています。オープンワールドゲーム向けに設計されたYingGameは、Giant InteractiveのAI Labと清華大学のSATLabの共同開発です。多様なキャラクターアクションのインタラクション制御と物理シミュレーションが可能で、YingSoundと組み合わせることで、映像に合わせた複雑な効果音を生成できます。YingSoundは、Giant InteractiveのAI Lab、西北工業大学のASLP Lab、浙江大学の共同開発で、無音のビデオにリアルな効果音を追加し、ビデオの意味理解と時間同期機能を備えています。QianYingは、AI技術を通じてゲーム開発の障壁を下げ、ゲーム制作の機会均等を促進し、ゲームとAIの統合を通じてイノベーションを加速することを目指しています。
千英の主な機能
- YingGameの主な機能：
- キャラクターのアクション操作制御YingGameは、様々なキャラクターの行動をインタラクティブに制御できるため、ユーザーはゲームキャラクターの動きや外見をカスタマイズできます。
- 物理シミュレーション特性このモデルは強力な物理シミュレーション機能を備えており、現実世界の物理現象をシミュレートし、ゲームのリアリティを高めることができる。
- ビデオ生成YingGameは、独自開発の動画吹き替えモデル「YingSound」を組み合わせることで、ゲームのビジュアルに合わせた複雑な効果音を生成し、オーディオ付きゲーム動画の制作を可能にする。
- 対話機能YingGameは、マウスやキーボード操作などのユーザー入力インタラクションを理解し、キャラクターを制御して様々な動作を実行させることができます。
- YingSoundの主な機能：
- 時間的アライメントとビデオの意味理解YingSoundは、優れた時間軸調整機能と動画の意味理解機能を誇り、動画に正確に効果音を追加することを可能にします。
- 高精度な音源生成このモデルは、実写映像、アニメーション、ゲーム映像など、あらゆる種類の動画に対して、様々な種類の高解像度サウンドエフェクトを生成できます。
- 多様な応用シナリオYingSoundは、動画または動画とテキストの組み合わせから高忠実度な効果音を生成することをサポートしており、さまざまなアプリケーションシナリオに対応できる汎用性を備えています。
- 異種感覚間の整合効果YingSoundは、革新的な技術アーキテクチャと強化学習に基づき、生成品質、時間的整合性、およびビデオの意味理解において業界をリードするレベルを達成しています。
千英の技術原理
- YingGameの技術原則：
- 物理シミュレーション特性統合された物理エンジンは、重力や衝突といった現実世界の物理法則をシミュレートし、ゲームのリアリティと没入感を高めます。
- クロスモーダル学習クロスモーダル学習技術に基づき、視覚情報と音響効果情報を組み合わせ、ゲーム画面に合った音響効果を生成する。
- YingSoundの技術原理：
- 音声・映像同期技術高精度な時間同期技術に基づき、複雑な時系列分析を用いて、生成される音声効果が映像コンテンツと同期することを保証します。
- 深層ニューラルネットワーク深層ニューラルネットワークを用いて高精度な効果音を生成する場合、ニューラルネットワークはビデオコンテンツから抽出された重要な特徴を学習し、それらを対応する効果音に変換することができる。
千英のプロジェクト住所
- プロジェクト公式サイト：ga-me.com
QianYingの応用事例
- オープンワールドゲーム開発オープンワールドゲームでは、よりリアルで没入感のあるゲーム体験を提供するために、複雑な動きや物理的な相互作用を持つキャラクターを作成する。
- ゲーム動画コンテンツ制作ゲーム開発者は、ゲームの市場性を高めるために、高品質のゲームトレーラー、ストーリーアニメーション、その他のビデオコンテンツを制作する。
- ゲーム教育とトレーニング教育分野では、学習効率と効果を高めるために、技能訓練や安全教育で使用するシミュレーション環境やシナリオが作成される。
- ゲーム配信とeスポーツゲームのライブ配信に特殊効果や効果音を追加することで、視聴体験とインタラクティブ性が向上し、eスポーツイベントの視聴体験もより鮮明になります。
- ゲームのテストとプロトタイピングゲームのプロトタイプを迅速に生成し、ゲームのデザインとテストのプロセスを加速させ、開発時間とコストを削減します。