AniDoc - 動画拡散モデルに基づいてスケッチシーケンスをカラーアニメーションに自動的に変換する2Dアニメーション着色AIモデル。 - AiBoss

AniDocとは何ですか？

AniDocは、香港科技大学、アントグループ、南京大学、浙江大学、香港大学が共同開発した、簡略化された2Dアニメーション着色AIモデルです。ビデオ拡散モデルに基づき、参照キャラクターデザインに準拠しながら、スケッチシーケンスを自動的に着色アニメーションに変換します。このモデルは、対応付け技術を用いてキャラクターデザインとスケッチの差異を処理し、正確な色とスタイルの変換を実現します。AniDocは、二値化されたスケッチ入力をサポートし、背景強調によってモデルの堅牢性を向上させ、疎なスケッチ学習戦略を用いて中間フレームの手動描画の必要性を低減します。AniDocは、色の精度とフレーム間の一貫性を向上させ、アニメーション制作の人件費を削減し、コンテンツ制作プロセスを加速させ、アニメーションや様々なデジタルアート分野に適しています。

AniDocの主な機能

自動着色スケッチシーケンスを自動的にカラーアニメーションに変換し、手作業による着色作業の量を削減します。
対応する試合対応照合技術に基づいて、角度、スケール、ポーズの違いなど、参照キャラクターデザインとスケッチの間の不整合を処理します。
背景強調背景強調戦略を用いることで、モデルが前景と背景を区別する能力が向上し、それによって色彩品質が向上する。
スパーススケッチングのトレーニング中間フレームの描画作業を減らすために、疎なスケッチ入力を使用し、滑らかなアニメーションを生成するためにキーフレーム補間を使用します。
マルチスタイル適応異なるスタイルの参考画像にも適応し、同じキャラクターの異なるスケッチに対しても一貫した着色効果を提供します。

AniDocの技術原則

ビデオ拡散モデル: ビデオ拡散モデルに基づいて、時間的ダイナミクスと視覚的一貫性を捉える能力。
対応するガイダンスカラーリング明示的なマッピングメカニズムを使用することで、参照キャラクターデザインの色とスタイルの情報をスケッチに統合することができ、色の精度と一貫性を向上させることができます。
二値化と背景強調条件付きスケッチを二値化し、背景強調戦略を用いてモデルの堅牢性を向上させる。
疎なスケッチのトレーニング2段階のトレーニング戦略を採用する。まず、着色能力を習得し、次に中間スケッチを除去することで補間能力を習得し、それによって密なスケッチへの依存度を低減する。
3D U-Netアーキテクチャこれには、ビデオ生成用に設計されたノイズ除去3D U-Netが含まれており、参照画像情報を着色プロセスに統合します。

AniDocのプロジェクトアドレス

プロジェクト公式サイト：yihao-meng.github.io/AniDoc
GitHubリポジトリ：https://github.com/yihao-meng/AniDoc
arXiv技術論文：https://arxiv.org/pdf/2412.14173

AniDoc アプリケーションシナリオ

アニメーション制作従来の2Dアニメーション制作工程では、キャラクターの線画の着色は自動的に行われるため、アニメーターが手作業で着色する時間と労力が軽減される。
アニメーション業界アニメーション制作会社にとって、これはアニメーション制作の効率化、コスト削減、そして異なるシーン間でのキャラクターの色の一貫性の維持を意味する。
ゲーム開発ゲーム開発においては、特に大量のキャラクターアニメーションリソースが必要な状況において、ゲームキャラクターアニメーションを迅速に生成することを可能にする。
デジタルアート制作アーティストやデザイナーは、さまざまな配色を試したり探求したり、スケッチの色付け効果を素早くプレビューしたり、創作プロセスを加速させたりすることができます。
教育と訓練アニメーションの教育・訓練において、アニメーションの着色プロセスを理解し、アニメーション制作技術を練習するための教材として活用される。