AB
AB
AiBoss

すべてのカテゴリ

project

FunClip - Alibaba DAMO Academyが提供する、オープンソースのAI搭載自動動画編集ツール

FunClipは、Alibaba DAMO Academyが開発した、完全オープンソースのローカル展開型自動動画編集ツールです。Alibaba Tongyi LabsのFunASR Paraformerシリーズモデルを呼び出すことで、動画の自動音声認識を実現しています。

FunClipとは何ですか？

FunClipは、アリババDAMOアカデミーのTongyi Labが開発した、完全オープンソースのローカル展開型自動動画編集ツールです。アリババTongyi LabのFunASR Paraformerシリーズモデルを活用することで、動画の自動音声認識を実現します。ユーザーは認識結果に基づいて、テキストスニペットや特定の話者を選択して、必要な動画セグメントを素早くトリミングできます。FunClipの機能には、高精度な中国語ASRモデルの統合、カスタムホットワードのサポート、話者認識、Gradoインタラクティブインターフェースなどが含まれており、動画編集を簡単かつ便利に行えます。さらに、複数セグメント編集に対応し、SRT字幕ファイルの自動生成も可能です。

FunClipの主な機能

  • 自動音声認識Alibaba Tongyi LabsのFunASR Paraformerシリーズモデルを使用して、動画に対して音声認識を行い、音声をテキストに変換します。
  • ホットワードカスタマイズ統合されたSeACo-Paraformerモデルを使用することで、ユーザーは特定のエンティティ語、名前などをホットワードとして指定し、特定の単語の認識精度を向上させることができます。
  • 講演者表彰CAM++話者認識モデルを統合しており、自動的に認識された話者IDに基づいて、特定の話者からのビデオセグメントを切り出すことができます。
  • ビデオトリミングユーザーは認識結果からテキストセグメントを選択したり、話者を指定したりして、切り抜きボタンをクリックすることで対応するビデオセグメントを取得できます。
  • GradioユーザーインターフェースGradoを通じて実装されたインタラクティブなインターフェースにより、ビデオ編集プロセスが簡素化され、ユーザーはサーバー側でサービスを設定し、ブラウザ経由でビデオを編集できるようになります。
  • 複数セグメント編集のサポートFunClipを使用すると、動画を複数のセグメントに編集できるため、柔軟な編集機能が利用できます。
  • 自動字幕生成編集された動画は、動画全体および対象セグメントのSRT字幕ファイルを自動的に生成できるため、ユーザーは字幕の追加や編集を容易に行うことができます。
  • コマンドライン呼び出しFunClipはグラフィカルインターフェースに加えて、コマンドラインによる動画認識やトリミングもサポートしており、より柔軟な使い方が可能です。

FunClip公式サイトへの入り口

FunClipの使い方

方法1：Gradoバージョンをローカルにデプロイする

まず、お使いのコンピュータにPythonとGitがインストールされていることを確認してください。次に、ターミナルを開き、以下のコマンドを順番に入力して実行してください。

git clone https://github.com/alibaba-damo-academy/FunClip.git

cd FunClip && pip install -r ./requirements.txt

python funclip/launch.py

最後に、ブラウザがアクセスしました...localhost:7860今すぐFunClipを体験しよう！

方法2：Modaコミュニティのデモをオンラインで体験する

アクセスModaコミュニティが提供するオンラインデモ次に、以下の手順に従ってください。

  1. 動画ファイルまたは音声ファイルをアップロードするか（または下記の使用例を試してください）、[認識]ボタンをクリックしてください。
  2. 認識結果から目的のテキストをコピーして右上隅に配置するか、右側に話者識別子を設定し、オフセットと字幕の設定（オプション）を行います。
  3. 結果を表示するには、「トリミング」ボタンまたは「トリミングして字幕を追加」ボタンをクリックしてください。

方法3：コマンドラインから関連コマンドを実行する

ターミナルを開き、以下のコマンドを順番に入力して実行してください。

# 1. 克隆GitHub源代码
git clone https://github.com/alibaba-damo-academy/FunClip.git
# 2. 安装Python依赖
cd FunClip && pip install -r ./requirments.txt
# 3. 添加视频进行识别
python funclip/videoclipper.py --stage 1 \
--file examples/2022云栖大会_片段.mp4 \
--output_dir ./output
# ./output/目录下将输出识别结果和.srt字幕文件
# 4. 裁剪命令
python funclip/videoclipper.py --stage 2 \
--file examples/2022云栖大会_片段.mp4 \
--output_dir ./output \
--dest_text '我们把它跟乡村振兴去结合起来，利用我们的设计的能力' \
--start_ost 0 \
--end_ost 100 \
--output_file './output/res.mp4'
戻る