逆絵画 ― ワシントン大学が絵画制作プロセスを逆転させるAI技術を発表

反転絵画とは何ですか？

インバース・ペインティングは、ワシントン大学の研究者らが開発したAI技術で、絵画制作のプロセスを逆算的に解析します。画家が絵を描く様子を撮影した動画を分析することで、絵画技法や手順を学習し、キャンバスを段階的に更新するための一連の描画指示を生成し、画家の創作プロセスをシミュレートします。このプロセスには、絵画制作プロセスの学習、描画指示の定義、拡散モデルを用いた画像、テキスト、領域認識の生成、そして段階的なレンダリングが含まれます。インバース・ペインティングは、有名な絵画を再現できるだけでなく、人々が絵画技法を学ぶのにも役立ちます。絵画という芸術を理解し、学ぶための新たな方法を提供します。

反転絵画の主な機能

絵画制作過程の再現完成した絵画が与えられたら、それを逆算して、絵画制作過程を時間差で再現した動画を生成する。
自己回帰画像生成真っ白なキャンバスから始め、徐々にキャンバスを更新していき、最終的に目的の絵画を完成させる。
本物のアーティストから学ぼう実際の画家が絵を描いている動画を分析して、絵画の技法やスタイルを学びましょう。
図面作成手順書を作成する描画順序と重点領域をガイドするためのテキスト指示と領域マスクを作成します。
模擬絵画スタイル背景から前景への描画順序や重ね塗り技法など、人間の画家の絵画スタイルと制作過程をシミュレートします。

反転絵画の技術原理

拡散ベースの逆絵画法拡散モデルは、ノイズの多い画像からノイズを徐々に除去し、連続した画像フレームを生成するために使用されます。
テキストと地域の理解テキストによる指示と領域マスクを組み合わせて、描画のための「指示」を定義し、キャンバスを更新します。
2段階のトレーニング＋テスト：
- フェーズ1：命令生成テキストによる指示と領域マスクを生成し、塗装順序に関する高度なガイダンスを提供します。
- フェーズ2：キャンバスレンダリングテキスト指示と領域マスクに基づいてキャンバスを更新する、拡散ベースのレンダラー。
時間制御各工程間の時間間隔を考慮に入れ、実際の画家の絵画速度をシミュレートします。

逆絵画プロジェクトの住所

プロジェクト公式サイト：inversepainting.github.io
GitHubリポジトリ：https://github.com/ArmastusChen/inverse_painting（近日中にオープンソース化予定）
arXiv技術論文：https://arxiv.org/pdf/2409.20556

反転絵画の応用

芸術教育教材として、有名な絵画の制作過程を学生が理解し、絵画技法や美術史を学ぶのに役立ちます。
芸術創作支援アーティストは様々な絵画技法を探求したり、創作過程におけるインスピレーションの源として活用したりする。
文化遺産保護古代美術作品の絵画制作過程を分析・再現し、文化遺産の保護と継承に貢献する。
美術品鑑定美術作品の制作過程を分析することは、作品の真贋を鑑定するための参考となる。
エンターテインメントとゲームビデオゲームや映画制作においては、ダイナミックなアート効果を生み出したり、物語の要素として機能したりする。
インタラクティブメディアインタラクティブなアプリケーションでは、ユーザーはAIを使って自分だけのオリジナルアート作品を作成できる。