Textoon - アリババ同義研究所が開発した、テキストプロンプトから2D漫画キャラクターを生成するツール。

Textoonとは何ですか？

Textoonは、アリババグループのTongyi Labが立ち上げた革新的なプロジェクトで、テキストプロンプトに基づいてLive2D形式の2D漫画キャラクターを生成する初の技術です。高度な言語モデルとビジュアルモデルに基づき、1分以内に多様でインタラクティブな2Dキャラクターを生成できます。生成されたキャラクターはアニメーション効果に対応し、HTML5レンダリングに適しており、映画、ゲーム、ソーシャルメディア、広告など幅広い分野で活用できます。

Textoonの主な機能

• テキスト解析Textoonは、高度に調整された大規模言語モデル（LLM）を使用して、髪型、目の色、服装の種類など、複雑なテキストから詳細な情報を抽出します。
• 外観生成の制御が可能Textoonは、テキストから画像への変換モデル（SDXLなど）を使用することで、ユーザーの入力に基づいてキャラクターの外観を生成し、生成された結果がユーザーの説明と一致することを保証できます。
• 編集と修復ユーザーは生成されたキャラクターを編集し、詳細を調整したり、不満な部分を修正したりすることができます。
• アニメーションの強化TextoonはARKitの顔表情パラメータを統合することで、キャラクターのアニメーション表現力を大幅に向上させています。
• 多言語対応Textoonは中国語と英語の両方のプロンプトに対応しており、さまざまなユーザーの言語ニーズを満たします。

Textoonの技術原則

• テキスト解析と意図理解Textoonは、高度に調整された大規模言語モデル（LLM）に基づいており、髪型、髪の色、目の色、服装の種類など、複雑なテキスト記述から詳細な情報を抽出できます。その正確なテキスト解析機能により、システムはユーザー入力を理解し、それを具体的な視覚的特徴に変換することができます。
• Live2Dテクノロジーの統合生成されたキャラクターはLive2D形式で出力され、効率的なレンダリング性能と柔軟なアニメーションをサポートします。Live2Dテクノロジーは、多層2Dレンダリングとスケルタルリギングにより、キャラクターに豊かな表情と動きを与えます。TextoonはARKit機能も統合しており、キャラクターのアニメーション表現力をさらに高めています。
• 高効率レンダリングと互換性生成されたLive2Dモデルは、高いレンダリング性能を持ち、HTML5レンダリングに適しており、モバイルデバイスやWebアプリケーションでの使用にも適しています。

Textoonのプロジェクトアドレス

• プロジェクト公式サイト：https://human3daigc.github.io/Textoon_webpage/
• arXiv技術論文：https://arxiv.org/pdf/2501.10020

Textoonの活用事例

• クリエイティブデザインTextoonは、デザイナーがキャラクターのプロトタイプを素早く作成できるように支援し、デザイン時間とコストを削減します。シンプルなテキスト記述を通して、ユーザーは細部まで描き込まれた2Dカートゥーンキャラクターを迅速に作成でき、その後、編集や調整を行うことができます。
• ゲーム開発ゲーム開発において、開発者はTextoonを使用して、ゲームのコンセプトデザインのためのキャラクタープロトタイプを迅速に生成したり、ゲーム内のキャラクターアニメーションに直接適用したりすることができます。
• アニメーション制作Textoonは、詳細なテキスト記述に基づいて高品質な2D漫画キャラクターを生成できます。アニメーションにおけるキャラクターデザインやアニメーション制作に最適です。生成されたキャラクターは、アニメーション動画に直接使用することも、アニメーターの参考資料として使用することも可能です。
• 創作文学作品の創作者にとって、Textoonは文章で描写されたキャラクターを視覚化できるため、作者はキャラクターの外見や性格をより具体的にイメージしやすくなり、作品の視覚効果を高めることができます。
• 教育と訓練Textoonは、教育ビデオやインタラクティブな学習教材の作成に利用できます。鮮やかな2D漫画キャラクターを生成することで、仮想教師やアニメーションによる解説など、より直感的で魅力的な学習体験を生徒に提供できます。