AB
AB
AiBoss

すべてのカテゴリ

project

Dubbing v2 - ElevenLabsが開発したAI吹き替えモデル

Dubbing v2は、ElevenLabsが開発したAI吹き替えモデルで、29言語の自動翻訳と吹き替えをサポートし、元の話者の音色と感情を保持します。このモデルは、プレビューを素早く生成するAuto Dubと、Dub...という2つのワークフローモードを提供します。

Dubbing v2とは何ですか？

Dubbing v2は、ElevenLabsが開発したAI吹き替えモデルで、29言語の自動翻訳と吹き替えに対応し、元の話者の音色と感情を忠実に再現します。このモデルは、プレビューを素早く生成する「Auto Dub」と、タイムラインエディタでセグメントごとに調整できる「Dubbing Project」という2つのワークフローを提供します。Dubbing v2は、複数話者分離、音声クローン、マルチフォーマットのインポート/エクスポート、APIバッチ処理に対応し、最大2.5時間分のコンテンツを処理できます。

Dubbing v2の主な機能

  • AIが生成した音声29言語に対応し、複数の話者を自動的に検出してそれぞれの声を分離し、元の音声特性を維持します。
  • 音声クローンフラグメントレベルのクローニング、トラックレベルのクローニング、音声ライブラリの選択という3つのモードを提供します。
  • タイムラインエディターこれにより、書き起こされたテキストをセグメントごとに編集したり、翻訳を調整したり、タイムラインを微調整したり、断片を再生成したりすることが可能になります。
  • マルチフォーマット対応インポートはMP3/MP4/WAV/MOV形式とYouTube/TikTok/Vimeo/Xリンクに対応し、エクスポートはMP4/AAC/WAV/SRT/AAF形式に対応しています。
  • デュアルワークフローモードAuto Dubは迅速かつ自動的に生成を行い、Dubbing Projectは詳細な編集をサポートします。
  • API連携バッチ処理と自動化されたワークフローをサポートし、最大2.5時間分のコンテンツを処理できます。

ダビングv2の技術的原則

  • 多言語音声認識深層学習に基づく音声認識モデルは、原文の言語コンテンツを自動的に文字起こしし、複数の話者を識別し、音声トラックを分離します。
  • ニューラル機械翻訳文脈認識型翻訳エンジンを採用することで、口語表現や文化的背景を保持し、直訳による歪みを回避します。
  • 音声クローニングと音声合成話者の声の音色特徴は、スピーカーエンコーダーを使用して抽出され、TTSモデルと組み合わされて、元のリズムと感情を維持しながら目標言語の音声が生成されます。
  • タイムラインアライメントアルゴリズム動的計画法アルゴリズムは、翻訳されたテキストを元のタイムスタンプと照合し、セグメントごとの微調整と再生成をサポートします。
  • マルチモーダル処理パイプライン音声と映像の分離 → 音声認識 → 翻訳 → 音声合成 → 混合出力。最大2.5時間の連続処理に対応。

Dubbing v2 の使い方

  • 公式ウェブサイトをご覧くださいDubbing v2の公式ウェブサイト（https://elevenlabs.io/dubbing-studio）にアクセスし、ElevenLabsアカウントにログインしてください。
  • ソースファイルをアップロードMP3/MP4/WAV/MOVファイルを直接アップロードするか、YouTube/TikTok/Vimeo/Xプラットフォームのリンクを貼り付けてください。
  • 対象言語を選択してください複数の対象言語を同時に選択して並列処理を行うことができます。
  • ワークフローを選択自動吹き替え機能はすぐにプレビューを生成するか、吹き替えプロジェクト機能は詳細な編集モードに入ります。
  • レビューと編集タイムラインエディタで、セグメントごとに翻訳の精度を確認し、タイムラインの配置を調整し、不十分なセグメントを再生成します。
  • 完成品を輸出するダウンロード形式は、MP4（動画付き）、AAC/WAV（音声のみ）、またはSRT字幕形式から選択してください。

ダビングv2の主な利点

  • 高音質複製されたナレーションは、元の話者の声質と非常に一致しており、感情表現も自然である。
  • より多くの人が支持する会話が重なっている場合でも、異なる話者を自動的に識別して分離します。
  • 高度な編集制御が可能タイムラインエディタは、「すべてを適用するか、何も適用しないか」という二者択一の出力ではなく、セグメントごとに細かく調整できる機能を提供します。
  • コスト効率従来型の方法で10言語の30秒広告のナレーションを依頼すると、1万ドルから3万ドルの費用がかかるが、ElevenLabsならそれを数分で、しかも大幅に低いコストで完了できる。

Dubbing v2 プロジェクトアドレス

  • プロジェクト公式サイト：https://elevenlabs.io/dubbing-studio

Dubbing v2と類似の競合製品との比較

寸法 Dubbing v2 Speech Synthesis
主要機能 動画・音声翻訳＋吹き替え＋音声クローン 複数の音声オプションを備えたテキスト読み上げ機能
翻訳スキル 29言語の自動翻訳機能を内蔵 翻訳機能なし
音色の保存 元の話者の声のトーンと感情をそのまま残す プリセット音色またはカスタムクローンを使用する
おしゃべりな人々 自動検出と分離 単一行出力
タイムライン編集 詳細な段落編集 タイムラインなしのコンセプト
入力方法 音声/動画ファイル/プラットフォームリンク プレーンテキスト入力
適用可能なシナリオ コンテンツのローカライズと多言語配信 オーディオブック、ナビゲーション、カスタマーサービスの音声ガイダンス

Dubbing v2の応用シナリオ

  • ポッドキャストのローカライズこの番組は29言語に同時翻訳・吹き替えが可能で、再録音の必要なく世界市場に対応できる。
  • 越境EC広告単一の動画クリップから多言語版を迅速に生成することで、広告制作コストを大幅に削減できます。
  • オンライン教育コース動画は、講師の元の声の特徴を維持したまま一括翻訳されるため、非ネイティブスピーカーの学習への没入感を高めることができます。
  • 映画およびテレビコンテンツの配信独立系クリエイターや小規模スタジオでも、低コストで映画やテレビ作品の多言語配信を実現できる。
  • 企業研修社内研修用のビデオ教材は複数の言語で提供されており、ブランドメッセージの統一とグローバルチームへの知識伝達の加速に貢献しています。
戻る