SmartSub - 音声および動画の字幕作成のための、オープンソースのオールインワンデスクトップツール。

SmartSubとは何ですか？

SmartSubは、音声および動画の字幕作成のためのオープンソースのオールインワンデスクトップツールです。Whisper、FunASR、Qwen3-ASRなどのローカルモデルを使用してオフラインで音声テキスト変換を行い、すべてのプロセスを単一のアプリケーションに統合しています。20以上の翻訳サービスと複数文字のAI音声合成に対応しています。SmartSubにはオンライン動画ダウンローダーが内蔵されており、BilibiliやYouTubeなどのプラットフォームと互換性があり、NVIDIA CUDAやApple Core MLなどのハードウェアアクセラレーションをサポートし、Windows、macOS、Linuxプラットフォームでローカルに動作します。

SmartSubの主な機能

• 音声文字起こしこれは、オフライン認識のためにwhisper.cpp、FunASR、Qwen3-ASRを含む6つのローカルエンジンに基づいており、複数の言語の自動検出とバッチ処理をサポートしています。
• 字幕翻訳DeepSeek、Ollam、Tongyi Qianwenなど20以上の翻訳サービスと連携し、原文の翻訳のみ、または原文と翻訳を組み合わせたバイリンガル字幕を出力します。
• AIによる校正動画再生中に字幕を自動的に同期・配置する内蔵ビジュアル校正パネル、文単位の編集、AIによるワンクリック校正、参照文書との整合性調整などに対応しています。
• TTS音声演技ローカルKokoro/VITSオフライン合成、ZipVoiceゼロサンプル音声クローニング、マルチロール音色割り当て、話者認識をサポート。
• 字幕焼き付けハード字幕は画面に直接表示されますが、ソフト字幕はMKV形式でロスレスにカプセル化され、フォント、色、位置、その他のスタイルをリアルタイムでプレビューできます。
• オンラインダウンロードyt-dlp/luxデュアルエンジンを内蔵しており、BilibiliやYouTubeなどからリンクを貼り付けることで、動画と公式字幕を一括ダウンロードできます。
• カスタムプロセスこれにより、文字起こし、翻訳、校正、吹き替え、合成といった工程を自由に組み合わせることができ、それらをレシピとして保存すれば、ワンクリックで再利用できます。

WeChatでフォローして「オープンソース「、参加するAIオープンソースプロジェクトに関するディスカッショングループ

SmartSubの使い方

• ダウンロードしてインストールするGitHub Releasesから、対応するシステムバージョン（Windows/macOS/Linux）を選択してインストールしてください。macOSもサポートされています。 brew install --cask smartsub。
• モデルをダウンロード初回起動時には、「エンジンとモデル」ページで音声認識モデルを選択してダウンロードしてください。
• 設定の翻訳「設定 → 翻訳サービス」に移動し、エンジンを選択してAPIキーを入力します。
• タスクを作成するランチャーで、「ビデオ」→「吹き替え映画」などのプリセットカードを選択するか、ワークフローの組み合わせターゲットをカスタマイズします。
• ファイルをドラッグアンドドロップするローカルの動画/音声ファイルをタスクカードにドラッグするか、Bilibili/YouTubeのリンクを貼り付けると、自動的にダウンロードされます。
• パラメータを調整する文字起こしエンジン、対象言語、バイリンガル字幕を使用するかどうか、ナレーションの音色、字幕スタイルを選択してください。
• 処理を開始します「タスクの開始」をクリックすると、アプリケーションが自動的に文字起こし→翻訳→校正→吹き替え→合成のパイプラインを実行します。
• 校正とエクスポート校正パネルで各文を確認・修正し、確認後、字幕または吹き替え付きの完成版動画をエクスポートしてください。

SmartSubの主な利点

• エンドツーエンドのローカル閉ループ文字起こし、翻訳（Ollama）、吹き替え、書き込みはすべてオフラインで行うことができます。
• エンジンの切り替えは自由自在6種類の文字起こしエンジン、20種類以上の翻訳サービス、5種類の吹き替えソリューションをサポートしており、言語シナリオやハードウェア条件に応じて柔軟に組み合わせることができます。
• ハードウェアアクセラレーションの完全網羅NVIDIA CUDA、AMD/Intel Vulkan、およびApple Core ML/Metalをサポート。アプリケーション内でワンクリックでアクセラレーションパッケージをインストールできます。
• 無料で実行できますローカルモデル、組み込みの無料翻訳、ローカルTTSにより、API料金を支払うことなくパイプライン全体を利用できます。
• 複数キャラクターの声優v3.7.0では、話者認識と音声の役割への一括割り当てがサポートされており、個々の音声の上書きを単一の文に適用することも可能です。

SmartSubのプロジェクトアドレス

• プロジェクト公式サイト：https://smartsub.linxiaodong.com/
• GitHubリポジトリ：https://github.com/buxuku/SmartSub

SmartSubの競合製品比較

SmartSubのアプリケーションシナリオ

• 外国語ビデオのローカライズ字幕のないオンライン講座やドキュメンタリーを文字起こしして二言語字幕を作成したり、直接吹き替えて中国語／外国語の音声トラックを作成し、海外配信に活用します。
• ポッドキャストと会議の議事録この機能は、長い音声ファイルをまとめてSRTテキストに変換し、コンテンツの検索、編集、またはテキストのアーカイブに利用できます。
• セルフメディア字幕作成Bilibili/YouTube動画用の、精緻に編集された字幕を迅速に生成・書き込みでき、複数のプラットフォームに対応したプリセットスタイルもサポートしています。
• オンライン教育コースウェア教育ビデオに多言語のナレーションと二言語字幕を追加し、音声クローン技術を用いて講師の声の一貫性を維持します。
• 映画・テレビドラマ化および翻訳オンライン動画をダウンロードした後、公式字幕が自動的にマッチングされ、動画は翻訳、修正された後、ディスクに書き込まれるか、ソフトウェアにパッケージ化されてリリースされます。