CutClawは、台湾大学と北京交通大学が共同開発したオープンソースのAI動画編集ツールです。

CutClawとは何ですか？

CutClawは、グレーターベイエリア大学のGVC Labと北京交通大学のチームが開発したオープンソースのAIビデオ編集ツールです。マルチエージェントアーキテクチャを採用したこのツールは、「音楽主導型」のアプローチを用いて、数時間にも及ぶ動画を正確なテンポの短いクリップに自動的に編集します。システムはまず音楽のテンポと構造を分析し、それをユーザーのテキストコマンドと組み合わせます。AIスクリプトライターがショットを計画し、エディターがセグメントを選択し、レビュー担当者が品質チェックを行い、最終的に複数のプラットフォームに対応した映画のようなビデオを作成します。CutClawはワンクリックで素材を分解し、キャッシュを再利用できるため、旅行写真、マーケティング、その他の用途に適しています。

CutClawの主な機能

音楽主導の編集音楽の拍子、ダウンビート、エネルギー曲線などを分析し、視覚的な物語を音楽の構造に厳密に合わせることで、真のオーディオビジュアル同期を実現できる。
マルチエージェントコラボレーションプロのポストプロダクションワークフローをシミュレートします。AI脚本家（ストーリーのペースとショットを計画）、AI編集者（クリップのタイミングを選択）、AIレビュー担当者（ショットの長さと美観を検査）が、クローズドループ最適化を形成します。
コマンドベースの制御テキストによる説明文（例えば「主人公の狂気を表現する」など）が1文あるだけで、システムは自動的にスタイルを理解し、それを実行します。タイムラインを手動でドラッグする必要はありません。
インテリジェントな材料分解この機能を使えば、数時間にも及ぶ動画をワンクリックで構造化されたショットライブラリに分解し、カメラテクニック、登場人物の感情、物語の要点を注釈付けできます。また、音声からビートやエネルギーの特徴を抽出し、検索可能なアセットに変換することも可能です。
コンテンツ認識型トリミング画像内の主要被写体を自動的に識別し、DouyinやXiaohongshuなどの複数のプラットフォームの公開ニーズに合わせて、アスペクト比（9:16、16:9など）をインテリジェントに調整します。
キャッシングの高速化分解結果は最初の処理後にキャッシュされ、同じ素材を再度編集する際に直接再利用できるため、効率が大幅に向上します。

CutClawの使い方

インストール環境GitHubからコードリポジトリをクローンした後、Python 3.12の仮想環境を作成し、プロジェクトの依存関係をインストールします。
材料を準備する：存在する resource/ 動画ファイルと音声ファイルをそれぞれのディレクトリに配置してください。音声認識をスキップするために、字幕ファイルを含めることもできます（オプション）。
走り出す：埋め込む streamlit run app.py ビジュアルインターフェースを起動するか、コマンドラインからファイルパスとコマンドパラメータを渡して直接実行します。
構成モデル設定ファイルで、LiteLLMがサポートするAPIキーを設定し、ビデオ理解、音声解析、エージェント推論に使用される大規模モデルを指定します。
完成品を入手するシステムが自動的に素材の分解、撮影計画、編集、レンダリングを完了し、さまざまなプラットフォームに適したアスペクト比のビデオファイルをダウンロードするまでお待ちください。

CutClawの重要な情報と使用要件

プロジェクトの背景大湾区大学のGVCラボと北京交通大学が共同でオープンソース化したAIビデオ編集システムは、マルチエージェントアーキテクチャに基づいて、音楽に合わせて長尺ビデオを自動編集することを可能にする。
コアメカニズムこのプロセスでは、「脚本家・編集者・レビュー担当者」からなるマルチエージェントパイプラインを採用し、原作素材を分解し、構造化された字幕を生成し、音楽のビート（強調／エネルギー／ピッチ）に基づいてショットを計画し、最終的に正確なリズムと映画的な雰囲気を持つ短編映画を完成させる。
技術への依存LiteLLMゲートウェイを介して大規模モデルAPIを呼び出す場合、動画理解にはGemini-3/Qwen3.5、音声解析にはGemini-3、エージェント推論にはMiniMax-2.7/Kimi-2.5が推奨されます。
環境設定Python 3.12、Conda環境、ビデオエンコードおよびデコードのためのGPU（CUDA）アクセラレーションを強く推奨します。
書類作成動画ファイル（.mp4/.mkv）と音声ファイル（.mp3/.wav）を... resource/ 目次、オプションの.srt字幕、時間とAPIコストを節約するためにASRをスキップします。
API設定各モデルプロバイダー（OpenAI、Google、Moonshotなど）のAPIキーは、環境変数または設定ファイルを通じて設定する必要があります。
動作モードStreamlit ビジュアルインターフェースをサポートします (streamlit run app.pylocalhost:8501 にアクセスするか、CLI コマンドライン経由でアクセスします (python local_run.py パスとコマンドのパラメータを渡してください。

CutClawの主な利点

音楽主導の編集 「まず動画を編集してからBGMを追加する」という従来の手法とは異なり、CutClawはまず音楽のビート、ダウンビート、エネルギーカーブを詳細に分析し、音楽構造に基づいて編集判断を行うことで、真のオーディオビジュアルハーモニーを実現します。
プロフェッショナルグレードのマルチエージェントコラボレーション 映画やテレビ番組のポストプロダクションプロセス全体をシミュレートします。AI脚本家が物語のリズムを計画し、AI編集者がセグメントの正確なタイミングを選択し、AIレビュー担当者が品質チェック（ショットの長さ、主要キャラクターの割合、美的スコア）を実施することで、単一世代ではなく、自己修正型の閉ループを形成します。
長尺動画のエンドツーエンド処理 「数時間分の映像を数分間の短い動画に切り抜く」というシナリオに特化して最適化されており、大量の映像をワンクリックで構造化された検索可能なアセットに分解できます。また、キャッシュ機能により、「最初のカットはゆっくり、再カットは速く」という非常に効率的なワークフローを実現できます。
ゼロしきい値命令制御 専門知識は一切不要です。「ピエロの狂気と優雅さを表現してください」といった自然言語による説明だけで、感情、リズム、視覚的な好みを自動的に理解し、スタイリッシュな編集を行うことができます。
プラットフォームネイティブな適応 コンテンツ認識型インテリジェントトリミング機能は、画像内の主要被写体を自動的に認識し、9:16（Douyin）、16:9（Bilibili）、1:1（Xiaohongshu）などの複数のアスペクト比バージョンをワンクリックで生成し、黒い枠線や画像トリミングのエラーを解消します。

CutClawのプロジェクトアドレス

GitHubリポジトリ：https://github.com/GVCLab/CutClaw
arXiv技術論文：https://arxiv.org/pdf/2603.29664

CutClawの類似競合製品の比較

比較対象寸法	CutClaw	OpusClip	Mora
コアポジショニング	映画のような雰囲気の長尺動画編集、音楽主導のナラティブ	長尺動画から短尺動画への変換、バイラルクリップの抽出	動画生成、マルチエージェントによるシーン調整
音楽同期方法	まず、楽曲の構造を分析します。（ビート／エネルギー／ヴァース／コーラス）に基づいて、視覚的な編集の決定を下す	音楽のビート合わせをサポートし、コンテンツからハイライト部分を抽出し、そこにBGMを追加することに重点を置いています。	視覚的な一貫性を優先するため、音楽の同期は主要機能ではありません。
長時間の動画対応	営業時間（数時間かかる）エンドツーエンド処理	ポッドキャストやライブ配信のリプレイを短い動画に変換する機能をサポートしています。	長配列生成のサポート
建築的特徴	マルチエージェント閉ループ（脚本家、編集者、評論家の共同作業）	単一モデルアルゴリズムによる推奨	マルチエージェント（CutClawアーキテクチャに類似）
オープンソース	はい	いいえ	はい
制御方法	自然言語によるコマンド制御スタイル	セグメントの自動抽出＋手動調整	テキストプロンプト制御生成
適用可能なシナリオ	旅行写真／Vlog映像制作、映画およびテレビ関連作品	ソーシャルメディアマーケティング、ライブストリームセグメント	クリエイティブなビデオ制作、仮想シーンの構築

CutClawの応用事例

旅行写真とVlog制作数時間分の旅行映像にBGMを組み合わせることで、テンポが良く自然なタイミングの短い映画のような映像を素早く作成でき、ポストプロダクションの時間を大幅に節約できる。
映画やテレビ番組の二次創作作品やマッシュアップ作品特定の音楽のリズムに基づいて映画やテレビシリーズのクリップを再編集し、キャラクター主導型、感情主導型、またはストーリー主導型のマッシュアップビデオを自動的に生成することができます。
マーケティングコンテンツの大量生産同じ素材セットと異なる音楽スタイルを基に、ブランドのニーズに合わせて様々なプラットフォームに掲載できるプロモーションビデオの複数のバージョンを迅速に作成します。
マルチプラットフォームでの短編動画配信自動トリミング機能により、9:16（Douyin/動画アカウント）、16:9（Bilibili）、1:1（Xiaohongshu）など、さまざまなアスペクト比の動画を生成し、一度の制作で全てのプラットフォームに対応できます。
ミュージックビデオとリズム重視のコンテンツ音楽構造を分析する能力を活用し、映像を音楽のリズムに正確に合わせることで、視覚的に魅力的な音楽コンテンツや、リズム感の強いダンスビデオを作成する。