Keling 2.6 - Kuaishou Kelingは、音声と映像を同時に出力できるAI動画生成モデルを発表しました。 - AiBoss

Keling 2.6とは何ですか？

Keling 2.6は、Keling AIチームが開発した革新的なAI動画制作モデルです。音声と映像の同期生成を実現し、テキストまたは画像入力から、自然な音声、適切な効果音、環境音を含む動画を自動生成できます。このモデルは、音声と映像の連携、音質、意味理解において大幅な改善が施されており、制作プロセスを簡素化します。テキストベースと画像ベースの両方の音声・映像モードに対応し、モノローグ、ナレーション、複数人による対話、音楽演奏など、さまざまなシナリオに適しており、AI動画制作の応用範囲を大きく広げます。

Keling 2.6では、音声とモーションが大幅にアップグレードされています。新しい音声制御機能により、個々のキャラクターや複数キャラクターの会話に合わせて音声をカスタマイズでき、一貫性のあるボイスアクトを実現します。同時に、モーション制御機能も導入され、複雑な動き、表情、ジェスチャーを30秒以内で簡単に制御できるようになり、難易度の高いアクションもワンテイクで実現できるため、クリエイティブな作業にさらなる自由度と可能性をもたらします。

Keling 2.6の主な特徴

視聴覚シナジーこのモデルは、視覚的なダイナミクスと音のリズムを深く整合させることで、従来の生成モードにおける不整合を解消し、「映像と音は別物」という断片的な体験を回避します。
音質本モデルの音声生成機能は大幅に強化され、人間の声、効果音、環境音など、多様な音の生成に対応しました。生成される音声の音質はよりクリアになり、音の重なりも豊かになり、全体的なリスニング体験はよりリアルなミキシング効果に近づきました。
意味理解このモデルは、複雑な入力を分析する能力を大幅に向上させ、制作者の意図をより正確に把握し、より厳密な論理に基づき、ユーザーのニーズにより適した視聴覚コンテンツを出力できるようになる。
作成プロセスのアップグレードこのツールは、「テキストからオーディオビジュアルへ」と「画像からオーディオビジュアルへ」という2つの作成経路を提供し、テキストや画像からオーディオおよびビデオコンテンツを生成するプロセスを簡素化します。
トーンコントロールKeling 2.6では音声制御機能が追加され、ワンクリックでキャラクター固有の声をカスタマイズできるようになり、最初から最後まで一貫した音声演技が保証されます。また、マルチシーンアプリケーションにも対応し、コマンド操作によって複数のキャラクター間の会話を容易に行うことができます。
モーションコントロールKeling 2.6ではモーションコントロールが強化され、武術やダンスなどの複雑な動きを30秒以内に完全に表現できるようになりました。全身の動きと細部まで高度に同期し、ワンショット出力に対応。動きのパフォーマンスはより滑らかで自然です。

Keling 2.6の技術的原理

ディープセマンティックアライメントVideo 2.6は、物理世界の音と動的な映像を意味的に深く整合させることで、自然な音声、モーションサウンドエフェクト、環境音を含む完全なビデオを、エンドツーエンドで単一の生成プロセスで出力できます。
自然言語処理（NLP）自然言語処理（NLP）技術に基づき、テキスト入力の解析能力を向上させ、複雑なテキスト記述、話し言葉、複雑な図表などをモデルが理解できるようにします。
音声合成技術高度な音声合成技術を用いて、シーン内の登場人物の行動や感情に合った、自然で流暢な音声を生成する。
音声処理技術これには、効果音や環境音の生成、オーディオミキシングなどが含まれ、プロレベルの制作ニーズを満たすオーディオ品質を保証します。
機械学習と人工知能目標は、機械学習アルゴリズムを用いてモデルを訓練し、入力されたテキストや画像に一致する音声や動画コンテンツを理解し、生成できるようにすることです。

Keling 2.6 の使い方

ダウンロードまたはアクセスKelingの公式サイトにアクセスするか、Keling AIアプリをダウンロードしてアカウントにログインしてください。
作成パスを選択してくださいニーズに応じて、「テキストベースの音声と画像」または「画像ベースの音声と画像」の作成方法を選択してください。
- 文盛オーディオビジュアル動画を生成するためのテキストを入力してください。
- 映像と音声画像またはテキストをアップロードして、音声と動画を生成します。
コンテンツを入力またはアップロードする：
- 「テキストからビデオへ」モードで、生成したいビデオのテキスト説明を入力します。
- 「画像から音声へ」モードでは、音声を追加したい画像または既存の動画をアップロードしてください。
設定を調整する必要に応じて、音声スタイル、効果音、環境音などのビデオ設定を調整してください。
ビデオを生成する「生成」ボタンをクリックして、AIが処理して動画を生成するまでお待ちください。
プレビューと編集動画が生成されたらプレビューを確認し、必要に応じてさらに編集や調整を行ってください。
エクスポートと共有編集後、動画をエクスポートして、目的のプラットフォームに共有してください。

Keling 2.6の応用シナリオ

教育と訓練視覚的にも聴覚的にも効果的な解説を通して学習効果を高めるため、教育ビデオ、オンラインコース、語学学習教材などを作成する。
マーケティングと広告潜在顧客の注目を集めるために、製品紹介動画、広告動画、ソーシャルメディアマーケティング動画を作成する。
ニュースと放送ニュース記事、時事解説、天気予報などを生成し、より鮮明な情報伝達手段を提供する。
エンターテインメントとメディア映画、テレビシリーズ、アニメーションのプレビューや制作、あるいはゲームキャラクターのボイスオーバーを提供してインタラクティブな体験を向上させるために使用されます。
ソーシャルメディア個人やブランドがソーシャルメディアに投稿するコンテンツにオーディオビジュアル効果を追加することで、ユーザーのエンゲージメントとインタラクションを高めることができます。