ToonComposer - テンセント、香港中文大学、北京大学が共同で開発したAIアニメーション制作ツール

ToonComposerとは何ですか？

ToonComposerは、香港中文大学、テンセントPCG ARCラボ、北京大学の研究者らが共同開発した、生成型AIツールです。スケッチをわずか数秒でプロレベルのアニメーションに変換できます。生成型ポストキーフレーム技術に基づき、ToonComposerは従来のアニメーション制作における中間フレームの生成と着色プロセスを自動化します。スケッチと着色用の参照フレームさえあれば、高品質なアニメーション動画を生成できます。このツールは、スケッチのスパース挿入と領域制御をサポートしており、アーティストはアニメーション効果を精密に制御できるため、手作業の負担を大幅に軽減し、制作効率を向上させ、アニメーション制作に革命をもたらします。

ToonComposerの主な機能

• 生成型ポストキーフレームアニメーション制作における中間フレームの生成と着色プロセスを自動化されたプロセスに統合し、スケッチと着色用の参照フレームのみで完全なアニメーションビデオを作成できるため、手作業の負担を大幅に軽減します。
• 正確なスケッチキーフレーム制御アーティストは、簡潔なキーフレームスケッチを使用することで、タイムライン上の任意の時点でアニメーションを誘導でき、複雑な動きを扱う際にも高い精度と品質を維持できます。
• エリアコントロールユーザーはスケッチ内で空白領域を選択的に残し、ブラシツールでこれらの領域をマークすることができます。ToonComposerは、コンテキストやプロンプトに基づいて空白領域をインテリジェントに塗りつぶすことができるため、アーティストの作業負荷をさらに軽減します。

ToonComposerの技術的原則

• スパーススケッチ注入メカニズム位置符号化マッピングに基づき、スケッチフレームはモデル互換マーカーに変換され、ビデオ生成モデルの潜在空間に注入されます。これにより、生成プロセス中にスケッチが時間的な認識を持つことが保証されます。同時に、位置認識残差モジュールにより、ユーザーは推論中にスケッチの制御強度を動的に調整できるため、より柔軟なアニメーション生成が可能になります。
• 漫画化手法空間低ランクアダプタ（SLRA）に基づくこの手法は、モデルの時間的挙動を変更することなく空間的挙動のみを調整し、最新のビデオ基盤モデルをアニメーションジャンルに適合させます。これにより、生成されるアニメーションは滑らかな動きを維持しながら、視覚的にアニメーションスタイルに適合することが保証されます。
• 地域統制メカニズムトレーニング中、スケッチフレームにランダムなマスキングが適用され、モデルはこれらのマスキングされた領域内に適切なコンテンツを生成することを学習します。ユーザーは、作成時にモデルがコンテンツを自動生成する領域を指定できるため、完全なスケッチを描く必要がなくなり、作業負荷がさらに軽減され、創造的な柔軟性が向上します。

ToonComposerプロジェクトのアドレス

• プロジェクト公式サイト：https://lg-li.github.io/project/tooncomposer/
• GitHubリポジトリ：https://github.com/TencentARC/ToonComposer
• ハギングフェイスモデルライブラリ：https://huggingface.co/TencentARC/ToonComposer
• arXiv技術論文：https://arxiv.org/pdf/2508.10881
• オンラインでデモを体験してください：https://huggingface.co/spaces/TencentARC/ToonComposer

ToonComposerの応用事例

• アニメーション制作独立系アニメーターは、アニメーションのプロトタイプを迅速に作成できるため、面倒な中間フレームの描画や着色作業を削減し、創造性とストーリーテリングにエネルギーを集中させることができる。
• ゲーム開発ゲーム開発者は、キャラクターの動きやシーンのアニメーションなど、ゲーム用のアニメーションリソースを迅速に生成できるため、手作業による制作コストを削減し、開発効率を向上させることができます。
• 教育と訓練アニメーション教育においては、学生がアニメーション制作プロセスを迅速に理解し、学習への興味を高めるための教材として活用できる。
• 広告とマーケティング広告会社は、さまざまな顧客ニーズに合わせてアニメーション広告を迅速に作成できるため、アニメーションコンテンツの迅速な反復と修正が必要な場合に、時間とコストを節約できます。
• 映画およびテレビ制作アニメーション映画やテレビシリーズの制作において、監督や制作チームがクリエイティブなアイデアやシーン効果を迅速に評価できるよう、予備的なアニメーションクリップを生成することで、プリプロダクションのコストを削減します。