ストーリーから手描き動画への変換テスト - ワンクリックで手描き絵本動画を生成

今日は、絵本を作るのに適した材料をいくつかご紹介します。

絵本の制作は通常、非常に複雑なプロセスであり、フレームの分割、各画像の処理、字幕の作成、白黒からカラーへのアニメーション作成、トランジションの設定、エクスポートパラメータの設定などが含まれます。そのプロセスは非常に細分化されています。

今日の名前は story-to-handdrawn-video このGitHubプロジェクトは、絵本制作の全工程を一つの包括的なシステムに統合するものです。プロンプトワードそうやって作品を生み出すことができるのです。

CapCutを使って音声を追加した動画を再生してみたところ、その効果は本当に素晴らしかった。

ケース1　キンモクセイのポストカード

プロンプトワード：

$story-to-handdrawn-video を使用して、以下の物語を手描きの日記風コミックアニメーションに変換します。

タスク設定:

タイトル：「キンモクセイのポストカード」

– デフォルトのCodex Image2を使用して画像を生成します

プロジェクトフォントを使用してキャプションを生成する

– カットトランジションを使用する

まず、画像の生成、マテリアルのインポート、プレビューレンダリングを完了します。

– 出力解像度720×960、H.264サイレントプレビュー

―元のストーリーテキストをそのまま使用し、各文をストーリーボードとして活用する。

―イラストは、純白の背景、手描きの黒線、彩度の低いクレヨン色で構成されている。

― すべての人と物品は、安全区域内に無傷で存在していなければなりません。

ナレーション、音楽、吹き出し、画面上のテキストなどを追加する必要はありません。

– 完了後、プレビュービデオを次のようにコピーしてください。

out/tests/guihua-postcard-preview.mp4

ストーリーボードの数、動画の長さ、最終ファイルのパスを報告してください。

キャラクターロック:

26歳の女性、アニンは、肩までの長さの黒髪で、ベージュのショートジャケット、水色のロングスカート、茶色のキャンバスシューズを身に着け、濃い緑色のキャンバスバッグを持っている。彼女はすべてのシーンで、顔の形、髪型、服装の色、体型を同じに保っている。

70歳くらいの、白髪の短い痩せた老人が、灰色の中国風ジャケットと濃紺のズボンを着用している。老人は物語の筋が明確になった後に初めて画面に登場する。

メインストーリー：

早朝、アニンは古い本の中から書きかけの絵葉書を見つけた。

その絵葉書の裏面には、「キンモクセイの花が咲いたら家に帰ります」という一文だけが書かれていた。

アニンは市の南にある古い住所の道を歩いていくと、中庭の門のそばにあるキンモクセイの花がすでに咲いているのが見えた。

白髪の老人がその絵葉書を受け取ると、そこに書かれた文章を長い間じっと見つめていた。

夕方、安寧が帰る際、老人は彼女にキンモクセイの花が入った小さな袋を手渡した。

主人公の髪型、青いドレス、緑のキャンバスバッグはきちんと保存されている。古い本、絵葉書、中庭の門、キンモクセイの木が、場面の明確な流れを作り出している。字幕は終始読みやすく、登場人物や建物も切り取られていない。キンモクセイの花の最後の受け渡しもきちんと行われ、物語はスムーズに幕を閉じる。

事例2：修理された黄色い傘

プロンプトワード：

$story-to-handdrawn-video を使用して、以下の物語を手描きの日記風コミックアニメーションに変換します。

タスク設定:

―タイトル：「修理された黄色い傘」

– デフォルトのCodex Image2を使用する

字幕にはプロジェクトフォントが使用されます

– カットトランジションを使用する

– 画像の生成、インポート、プレビューレンダリングをすべて実行します

―元のテキストをそのまま保持してください。完全な文1つにつき、ストーリーボード1枚に対応します。

黄色の傘は、常に同じ色、湾曲した持ち手、および損傷箇所の位置を維持しなければならない。

周叔父さんの濃紺の工具箱は、常に同じ外観を維持しなければならない。

イラストは、白い背景に余白をたっぷりと残した、手描きの日記風スタイルです。

映像には、透かし、看板の文字、吹き出し、および不要な人物の描写は禁止されています。

– 完了後、プレビュービデオを次のようにコピーしてください。

out/tests/yellow-umbrella-preview.mp4

ストーリーボードの数、合計時間、およびファイルパスを報告してください。

キャラクターロック:

周おじさんは55歳の男性で、短い白髪、四角い顔立ち、濃紺の修理工の制服と黒い布靴を履き、古い濃紺の工具箱を抱えている。

20歳のリン・シーは、黒いハイポニーテールに、濃い緑色のニットセーター、ベージュのズボン、白いキャンバスシューズを身に着け、両腕に2冊の本を抱えている。

二人のキャラクターは、顔の形、髪型、服の色、体型が同じでなければならない。

メインストーリー：

夜勤を終えた周叔父は、バス停に座って本を持っている少女に気づいた。

雨脚が強まるにつれ、少女の手にあった黄色い傘の骨が一本折れてしまった。

周叔父は工具箱から細い針金を取り出し、かがんで傘の骨をしっかりと巻きつけた。

最終バスが到着し、少女は乗車する前に、工具箱の横にオレンジを置いた。

翌朝、周おじさんが工具箱を開けると、オレンジの下に「ありがとう」と書かれたメモが入っていた。

周おじさん、少女、濃い青色の工具箱、そして黄色の傘は変わらず、バス停、雨の列、最終バス、そして早朝という時間の流れは、完全な時間的連続性を形成している。オレンジ色は少女が去る前に現れ、翌日も工具箱のそばに残っている。物語には、一切の空白がない。

しかし、傘の骨の1本がはっきりと描かれていなくても、一見すると完全な傘に見えるだろう。

ケース3：青いバッグの中の春

プロンプトワード：

$story-to-handdrawn-video を使用して、以下の物語を手描きの日記風コミックアニメーションに変換します。

タスク設定:

―タイトル：「青い布袋の中の春」

– デフォルトのCodex Image2を使用する

字幕にはプロジェクトフォントが使用されます

– カットトランジションを使用する

まず、ストーリーに基づいて2桁のシーン番号を含むビジュアルプランJSONを作成します。

―視覚的な計画では、江河の年齢、服装、場所、行動、そして各シーンに登場する必要のある人物を明確に定義しなければならない。

– ビジュアルプランを次の場所に保存します。

out/tests/mint-visual-plan.json

– このビジュアルプランを使用して、画像の生成、インポート、プレビューレンダリングを引き続き実行します。

― 原文をそのまま残し、各文が物語の展開を構成するようにする。

青い布袋、白い植木鉢、ミントの種は、視覚的な連続性を保つ必要がある。

―祖母は、原作で明示的に言及されている場面にのみ登場します。

– 完了後にプレビューをコピーしてください。

out/tests/mint-spring-preview.mp4

ストーリーボードの数、総実行時間、ビジュアルプランのパス、およびビデオパスを報告してください。

キャラクターロック:

江河は丸顔で、目は細長く、左眉の端に小さなほくろがあり、ややカールした黒髪をしている。これらの特徴は彼女の生涯を通じて変わらない。

8歳の江河は、薄黄色のセーターと濃紺のオーバーオールを着ている。

16歳の江河は白いシャツに灰青色のズボンを履き、茶色の通学カバンを背負っていた。

26歳の江河は、肩までの長さのややウェーブのかかった黒髪で、ライトグレーのトレンチコートとダークグリーンのズボンを着用している。

私の祖母は68歳くらいで、短い銀灰色の髪をしていて、濃い赤色のカーディガンと濃い灰色のロングスカートを着ていました。

メインストーリー：

江河が8歳のとき、彼女は毎日小さな踏み台に立って、窓辺のミントに水をやっていた。

おばあちゃんは小さなミントの種を青い布袋に縫い込み、江河に手渡した。

16歳の時、江河は青い布袋だけを持って小さな町を去った。

10年後、江河はスーツケースを引きずって、埃まみれの窓辺のある古い家に戻った。

江河は青い布袋に入っていた種を、元々の白い植木鉢に植えた。

春になると、植木鉢に新しいミントの芽が出た。

江河の年齢の変化は、8歳、16歳、そして成人期において明確に見て取れる。ややカールした黒髪と丸顔は彼女のアイデンティティに一定の連続性をもたらし、青い布製のバッグ、白い植木鉢、そして古い窓辺は、安定した視覚的な手がかりとなっている。

大人になった江河が埃まみれの古い家に戻ってくると、空っぽの植木鉢やスーツケースが時の流れを完璧に表しており、同時に最後に残った新鮮なミントと青い布袋が現れることで、感情的なインパクトが的確に捉えられている。

しかし、眉毛の端にある小さなほくろは、現在の画風やキャラクターサイズではほとんど見えず、そのような細部は識別には適していません。

ケース4：ラーメン屋の古いキーホルダー

プロンプトワード：

$story-to-handdrawn-video を使用して、以下の物語を手描きの日記風コミックアニメーションに変換します。

タスク設定:

―タイトル：「ラーメン屋の古いキーホルダー」

– デフォルトのCodex Image2を使用する

字幕にはプロジェクトフォントが使用されます

– カットトランジションを使用する

画像生成、マテリアルインポート、プレビューレンダリングを完全に実行します。

– 元の物語の文章とセリフの表現を維持する

各完全な文は、1つのストーリーボードに対応します。

– セリフは上部の字幕領域にのみ表示され、イラスト内に吹き出しは生成されません。

雨、濡れた服、熱々の麺スープは、シンプルな手描きの線で表現されている。

古いキーホルダーは、丸い木製の外観を維持する必要があります。

・大げさな泣き声や激しい身体の動きは避ける

– 完了後にプレビューをコピーしてください。

out/tests/noodle-shop-preview.mp4

ストーリーボードの数、合計時間、およびビデオパスを報告してください。

キャラクターロック:

女将は48歳の女性で、短くカールした黒髪をしており、レンガ色のエプロン、ベージュのシャツ、濃いグレーのズボンを着用している。

配達員は24歳の男性で、短い黒髪で細身の体型をしており、びしょ濡れの薄い青色の配達用レインコートと黒いズボンを着用し、白いヘルメットを手に持っていた。

すべてのシーンにおいて、登場人物の顔立ち、服装の配色、体型に一貫性が保たれている。

メインストーリー：

深夜、麺屋が閉店準備をしている頃、ずぶ濡れの配達員が店の入り口に立ち、ポケットの中を探っていた。

女将は熱々の麺スープの入った丼を持ってきて、「麺を茹ですぎちゃったから、もったいないよ」と言った。

配達員はうつむいて麺を食べており、ヘルメットから滴る雨粒が足元に落ちていた。

配達員は立ち去る前に、古いキーホルダーをテーブルの上に置き、「明日、引き換えに来てください」と言った。

翌日、女将がドアを開けるとすぐに、ドアノブに温かい豆乳の袋がぶら下がっているのが目に入った。

その古いキーホルダーは、今もカウンターの一番目立つ場所に置かれている。

雨、濡れた服、熱々のスープ麺――麺屋の入り口の雰囲気は素晴らしかった。店主の赤いエプロンと配達員の青いレインコートは変わらず、麺を温め、頭を下げて食べ、食事を片付け、翌日店を開けるという一連の流れも明確だった。

しかし、その古いキーホルダーは茶色の円盤、どちらかというとコインのように見えた。

事例5：時計が6時10分で止まった。

プロンプトワード：

$story-to-handdrawn-video を使用して、以下の物語を手描きの日記風コミックアニメーションに変換します。

タスク設定:

―タイトル：「時計は6時10分で止まった」

– デフォルトのCodex Image2を使用する

字幕にはプロジェクトフォントが使用されます

– カットトランジションを使用する

元の文章をそのまま使用してください。事前に文章を短縮しないでください。

まず計画モードを実行して結果を報告してください。自動分割結果

レポートが完成したら、確認を待たずに画像生成、マテリアルのインポート、プレビューレンダリングを続行します。

各ストーリーボードの字幕は最大3行までです。

―青い襟、古い腕時計、そして茶色の仔犬は、一貫性を保たなければならない。

白髪の女性は、電話がつながった後に初めて画面に現れる。

完了したら、プレビューを次のようにコピーしてください。

out/tests/watch-at-six-ten-preview.mp4

― 元の文章数、分割シーン数、合計再生時間、およびファイルパスを報告してください。

キャラクターロック:

徐氏は62歳の男性で、短い白髪交じりの髪をしており、丸縁の眼鏡をかけ、古びた茶色のベスト、薄灰色のシャツ、濃い色のズボンを着用していた。

耳まで届くほどの白髪の、およそ65歳くらいの女性が、濃い緑色のコートと黒のロングスカートを着用している。

その子犬は茶色の短毛犬で、右耳が垂れ下がっており、青い首輪をしている。首輪には銀色の丸い古い腕時計がぶら下がっている。

メインストーリー：

夕方、時計修理工の徐おじさんは店のドアを閉めた。二歩ほど進んだところで、カウンターの下からかすかな引っ掻く音が聞こえた。

徐叔父はかがみ込んで、青い首輪をつけた小さな犬を見つけた。その首輪には、6時10分で止まった古い腕時計が付いていた。

その後、徐叔父は腕時計の裏に書いてある電話番号に電話をかけた。白髪の女性が電話に出て、数秒の沈黙の後、彼女は泣き出した。

30分後、女性は子犬を抱きしめ、徐叔父は修理された時計を彼女に手渡した。時計の針は6時10分を指していた。

徐おじさんの眼鏡、茶色のベスト、そして時計修理店は変わらず、茶色の仔犬と青い首輪にも明らかな変化は見られない。物語は、店を閉め、仔犬を見つけ、電話をかけ、女性が泣き、時計を返すという、必要な要素をすべて備えて展開していく。

自動分割後のショット数は適切で、長い文章が同じ字幕に詰め込まれていない。

全体的に、ストーリーを手描き動画に落とし込んだ作画スタイルと配色は非常に優れており、ストーリー展開もスムーズです。ただし、重要なアイテムが小さすぎると、うまく表現されていない場合があります。。

story-to-handdrawn-video 中国語の物語テキスト、または一連の画像を基に、縦長の3:4の手描きコミックアニメーションを作成します。完成品は、白い背景、手書きの字幕、白黒の線画をカラーイラストに変換した固定のビジュアル構文を使用します。出力はH.264形式のサイレントビデオで、ナレーションと音楽は後処理で追加されます。

プロジェクトのアドレス：https://github.com/gnipbao/story-to-handdrawn-video

プロジェクトの位置付けは、 Agent 制作プロセスには、ストーリーの分割、絵コンテの作成、作画作業、素材のカット、アニメーションの構成、ビデオのエクスポートが含まれます。

story-to-handdrawn-video 固定スタイルの家族物語、子供向け物語、日記漫画、WeChat公式アカウントのストーリー動画に適しています。また、生成された漫画ページのバッチ変換にも適しています。速いアニメーション効果を加えた無音素材に変換する。

このプロジェクトは現在、単一画像のストーリーボード、固定の白い背景の手描きスタイル、3:4のキャンバス、および無音出力のみをサポートしています。リップシンク、キャラクターアニメーション、カメラワーク、音声合成、字幕タイムライン、9:16の最終カット、および複数のアートスタイルについては、さらなる開発が必要です。

story-to-handdrawn-video 1行につき1拍、文字参照、白黒からカラーへの変換、無音エクスポートといったワークフローは、繰り返し実行できるように設計されています。現行バージョンは、幅広いコンテンツ制作に適しています。

インストールプロセス中にGitHubへのリンクが直接提供されます。AI Agentそのままインストールさせてください。

使用する際は、生画像モデルを採用しているものを選ぶのが最適です。 AI Agent そうすれば1つ手に入れることができますプロンプトワードこの動画は一度に生成されたものです。

短編動画やテキスト／画像コンテンツは、安定した継続的な映像制作にますます依存するようになっている。

個人クリエイター、小規模スタジオ、コンテンツ制作チームにとって、ストーリーを書くことは最初のステップに過ぎません。本当に時間のかかる作業は、ストーリーボード、画像、字幕、アニメーション、そして書き出しの間を絶えず切り替えることです。

ストーリーから手描きビデオへの変換では、これらの散在するステップを反復可能なワークフローに整理します。キャラクター設定、シーン変更、主要な小道具が事前に明確に定義されていれば、AI Agent これにより、ストーリーボード作成、イラスト生成、白黒アニメーションからカラーアニメーションへの変換、ビデオのエクスポートといった作業を続行できます。速い直接閲覧できるサンプル版を作成してください。

このワークフローは、WeChat公式アカウントのストーリー、児童向け絵本、家族向け短編映画、日記漫画、ブランドストーリー、IPコンテンツのテストに適しています。ソフトウェアの切り替えを減らし、制作サイクルを短縮し、ナレーション、編集、詳細なアニメーション制作に投資するかどうかを決定する前に、ストーリーの方向性をまとめて検証できます。

story-to-handdrawn-video この段階では、初期バージョンと無音素材を作成するのが適切です。ナレーション、音楽、複雑なショットはポストプロダクションで追加する必要があります。

元のリンク:GitHubで評価の低い隠れた名作：物語を5分で絵本に変換できます。