アニメーション描画 - Meta AIが開発した、手描きのイラストをアニメーションに変換するAI搭載ツール。 - AiBoss

アニメーションとは何ですか？

Animated Drawingsは、Meta AIが開発したオープンソースツールで、AI技術を用いて手描きの肖像画を自動的にアニメーションに変換します。Animated Drawingsは、描画内の人物を検出・分割し、アニメーション効果を生成するためのツールとアルゴリズムを包括的に提供します。ユーザーは設定ファイルを通して、アニメーションのシーン、アクション、キャラクターを柔軟に制御できます。また、アニメーションに必要な注釈ファイルを素早く作成できる自動注釈生成ツールも搭載しています。Animated Drawingsは、MP4ビデオや透過GIFなど、複数の出力フォーマットに対応しています。

アニメーション描画の主な機能

自動的にアニメーション化された手描きのキャラクターユーザーがアップロードした手描きのキャラクターイラストを自動的にアニメーションに変換し、様々な動作やシーンに対応します。
柔軟な設定ファイルキャラクターの動きやシーン設定など、設定ファイル（YAML形式など）に基づいてアニメーションの詳細を制御します。
自動注釈生成AIモデルは、図面内の図形を自動的に検出し、注釈ファイル（関節位置やセグメンテーションマスクなど）を生成するために使用でき、アニメーション制作プロセスを簡素化します。
マルチフォーマット出力さまざまな利用ニーズに対応するため、MP4ビデオや透過GIFなどのフォーマットでの出力をサポートしています。
複数のキャラクターと背景を追加するアニメーションに複数のキャラクターや背景画像を追加する機能をサポートしており、アニメーションコンテンツをより豊かにすることができます。
カスタムBVHファイルのサポートユーザーは、独自のBVH（ボーンアニメーション）ファイルを使用してアニメーションを制御し、さまざまな骨格の動きに適応させることができます。
バグ修正ツールこのツールは、AIモデルによって生成された誤った注釈をユーザーが手動で修正できるユーザーインターフェースを提供し、より正確なアニメーション効果を保証します。

アニメーション描画の技術的原理

画像検出とセグメンテーションこのシステムは、コンピュータビジョン技術を用いて、ユーザーがアップロードした手描きの肖像画を検出し、セグメント化します。事前学習済みの物体検出モデルにより、絵画内の人物の輪郭と画像内での位置を識別できます。その後、セグメンテーションアルゴリズムを用いてセグメンテーションマスクを生成し、人物を背景から分離します。
姿勢推定キャラクターの輪郭を検出した後、システムは姿勢推定モデル（例えば、深層学習ベースのOpenPoseモデル）を用いて、頭部や四肢の関節位置などのキーポイントを検出します。これらのキーポイントの検出結果はアノテーションファイルとして保存され、アニメーション生成に必要なデータを提供します。関節位置を正確に検出することで、システムはキャラクターの姿勢や構造をより深く理解し、より自然なモーションマッピングを実現できます。
アニメーション生成手描きの人物にモーションデータを適用するために、モーションソースとしてBVH（ボーンボイド）ファイルが使用されます。これらのファイルには、人物の動きに関する骨格データが含まれています。システムはモーションリダイレクション技術を用いて、BVHファイルからのモーションデータを描画された人物の関節にマッピングし、対応する動作を実行できるようにします。また、モーション実行中に人物の形状が自然かつ一貫して維持されるように、可能な限り剛体に近い形状変形アルゴリズムを採用しています。
設定とレンダリングユーザーは、設定ファイル（YAML形式など）を通じて、キャラクター、アクション、シーンといったアニメーションの具体的なパラメータを柔軟に定義できます。設定ファイルにはアニメーション生成に関する詳細な指示が記述されており、システムはユーザーの個々のニーズに合わせてアニメーションを生成できます。最終的に、システムは設定ファイルに基づいてアニメーションを動画またはGIFとしてレンダリングし、透過背景など様々な出力オプションをサポートすることで、多様なユーザーのニーズに対応します。

アニメーション描画のプロジェクトアドレス

プロジェクト公式サイト：https://sketch.metademolab.com/canvas
GitHubリポジトリ：https://github.com/facebookresearch/AnimatedDrawings

アニメーション描画の応用シナリオ

創造性と芸術教育絵画をアニメーション化することで、子供たちや美術愛好家の創造性を刺激し、美術教育の楽しさとインタラクティブ性を高めます。
コンテンツ制作とエンターテイメントクリエイターは、手描きのアニメーション短編動画や映画を素早く制作し、ソーシャルメディアで共有することで、視聴者を引きつけ、コンテンツの魅力を高めることができます。
インタラクティブな体験と展示美術館、展覧会、オフラインイベントなどでは、観客が描いた絵をリアルタイムでアニメーション化することで、インタラクティブ性、楽しさ、そして参加意欲を高めることができます。
広告とマーケティングブランドは、消費者の注目を集め、ソーシャルメディアでの露出を増やすために、パーソナライズされた手描きのアニメーション広告を作成する。
ゲーム開発キャラクターアニメーションのプロトタイプを素早く生成し、インタラクティブなゲームを開発し、プレイヤーが描画を通してゲームキャラクターの動きを制御できるようにします。