Linly-Dubbing - 吹き替え、翻訳、リップシンクをサポートするオープンソースのAIビデオツール。

リンリー・ダビングとは何ですか？

Linly-Dubbingは、吹き替え、翻訳、リップシンクをサポートするオープンソースのAIビデオ翻訳・吹き替えツールです。ビデオコンテンツを複数の言語に自動翻訳し、字幕を生成します。音声認識にはWhisperXとFunASRを、音声合成にはEdge TTS、XTTS、CosyVoiceといった技術を採用しています。Linly-Dubbingは、OpenAI APIとQwenモデルを使用して字幕を翻訳し、音声分離とリップシンク技術を用いて、自然で滑らかな吹き替えと正確なリップシンクを実現します。ユーザーはビデオをアップロードし、翻訳言語を選択するだけで、パーソナライズされた多言語吹き替えを実現でき、Linly-Dubbingを使えばビデオコンテンツを簡単に国際化できます。

Linly-Dubbingの主な機能

• 多言語対応当社は、さまざまな言語市場のニーズに応えるため、中国語をはじめとする多言語での吹き替えおよび字幕翻訳サービスを提供しています。
• AI音声認識WhisperXとFunASRの技術を採用することで、話者認識を含む高精度な音声テキスト変換を実現しています。
• AI音声合成Edge TTS、XTTS、CosyVoiceなどのツールを統合し、自然で流暢な音声出力を生成するとともに、音声クローンにも対応しています。
• AIによる字幕翻訳翻訳の正確性と自然さを確保するために、OpenAI API、Qwenモデル、およびGoogle翻訳を使用しています。
• 音の分離ボーカルと伴奏を分離できるため、ビデオのポストプロダクション作業が便利になります。
• リップシンクLinly-Talker技術に基づき、仮想キャラクターの口の動きとナレーションを正確に一致させることで、動画のリアリティを向上させます。
• ビデオ処理ユーザーは動画をアップロードし、字幕、BGM、音量、再生速度などをカスタマイズすることで、動画の魅力を高めることができます。

Linly-Dubbingの使い方

• 環境準備：お使いのコンピュータにPython環境がインストールされていることを確認してください。必要な依存ライブラリとツールをインストールしてください。
• コードを取得：リンリー・ダビングを訪れるGitHubリポジトリ。プロジェクトのソースコードをクローンするか、ローカルマシンにダウンロードしてください。
• 依存関係をインストールします：プロジェクトのドキュメントに記載されている手順に従って、必要なPythonの依存関係をすべてインストールしてください。
• 環境設定：環境変数の設定には、APIキー、モデルパスなどが含まれる場合があります。
• AIモデルをダウンロード：音声認識、翻訳、音声合成モデルなど、必要なAIモデルをダウンロードしてロードします。
• ウェブインターフェースを使用する：プロジェクトのウェブユーザーインターフェースを起動します。
• 動画をアップロード：翻訳・吹き替えを希望する動画ファイルをウェブインターフェース経由でアップロードしてください。

リンリー＝ダビングのプロジェクト住所

• GitHubリポジトリ：https://github.com/Kedreamix/Linly-Dubbing

Linly-Dubbingのユーザーは誰ですか？

• コンテンツクリエイター世界中の視聴者にアピールするために、動画コンテンツを様々な言語に翻訳する必要のある個人またはチーム。
• 教育機関その目的は、教材を地域に合わせてローカライズし、様々な国や地域の生徒向けに学校やオンライン教育プラットフォームに提供することです。
• 映像制作会社映画、アニメーション、ドキュメンタリーなどに多言語吹き替えを施す制作チーム。
• 企業マーケティング部門国際市場への進出のために、製品紹介資料や研修資料などを複数の言語に翻訳する必要がある企業。
• ソーシャルメディアインフルエンサーさまざまな言語圏でファン層を拡大し、交流を深めたいソーシャルメディアユーザー。