AB
AiBoss站
教程

story-to-handdrawn-video实测 - 一键生成手绘绘本视频

今天发点适合做故事绘本的东西。 平时做一个绘本步骤实在是太繁琐了,要拆分镜、逐张生图、处理字幕、制作黑白转彩动画,再设置转场和导出参数,流程很碎。

今天发点适合做故事绘本的东西。

平时做一个绘本步骤实在是太繁琐了,要拆分镜、逐张生图、处理字幕、制作黑白转彩动画,再设置转场和导出参数,流程很碎。

今天这个叫 story-to-handdrawn-video 的GitHub 项目,把做绘本的所有流程都整合到了一起,一条提示词就能出一个作品。

跑了一条用剪映加上了声音,效果真的有点惊艳:

case 1 桂花明信片

提示词

使用 $story-to-handdrawn-video 将下面的故事制作成手绘日记漫画动画。

任务设置:

– 标题:「桂花明信片」

– 使用默认 Codex Image2 生成图片

– 使用项目字体生成字幕

– 使用 cut 转场

– 先完成图片生成、素材导入和预览渲染

– 输出 720×960、H.264 静音预览

– 保留故事原文,每个完整句子作为一个分镜

– 插画保持纯白背景、黑色手绘线条和低饱和蜡笔色

– 所有人物和物品必须完整出现在安全区域内

– 无需添加配音、音乐、对白气泡或画面内文字

– 完成后将预览视频复制为:

out/tests/guihua-postcard-preview.mp4

– 报告分镜数量、视频时长和最终文件路径

人物锁定:

阿宁,26 岁女性,齐肩黑发,米白色短外套,浅蓝色长裙,棕色布鞋,背一个深绿色帆布包。所有场景保持相同脸型、发型、服装颜色和身体比例。

白发老人,70 岁左右,短白发,瘦削,穿灰色中式外套和深蓝长裤。老人只在故事明确出现后进入画面。

故事正文:

清晨,阿宁在旧书里发现一张没有写完的明信片。

明信片背面只写着一句:等桂花开了,就回家。

阿宁沿着旧地址走到城南,看见院门旁的桂花已经开了。

一位白发老人接过明信片,手指在那行字上停了很久。

傍晚,阿宁离开时,老人把一小袋桂花递给了她。

主角的发型、蓝裙、绿色帆布包保持得很好,旧书、明信片、院门、桂花树形成了清楚的场景推进。字幕始终可读,人物和建筑没有被裁切,最后交接桂花的动作但也很完整,故事顺利收住。

case 2 修好的黄雨伞

提示词

使用 $story-to-handdrawn-video 将下面的故事制作成手绘日记漫画动画。

任务设置:

– 标题:「修好的黄雨伞」

– 使用默认 Codex Image2

– 字幕使用项目字体

– 使用 cut 转场

– 完整执行图片生成、导入和预览渲染

– 保留原文,一个完整句子对应一个分镜

– 黄色雨伞必须始终保持相同颜色、弯柄和破损位置

– 周叔的深蓝工具箱必须保持相同外观

– 插画采用白底手绘日记风格,保留较多留白

– 画面中禁止出现水印、招牌文字、对白气泡和多余人物

– 完成后将预览视频复制为:

out/tests/yellow-umbrella-preview.mp4

– 报告分镜数量、总时长和文件路径

人物锁定:

周叔,55 岁男性,短灰发,方脸,穿深蓝色维修工制服和黑色布鞋,随身携带一个旧的深蓝工具箱。

林溪,20 岁女性,黑色高马尾,穿墨绿色针织衫、米色长裤和白色帆布鞋,怀里抱着两本书。

两名人物的脸型、发型、服装颜色和身体比例必须保持一致。

故事正文:

夜班结束后,周叔发现公交站里还坐着一个抱书的女孩。

雨越下越大,女孩手里的黄色雨伞突然断了一根伞骨。

周叔从工具箱里找出细铁丝,低头把伞骨一圈圈缠好。

末班车来了,女孩上车前把一颗橘子放在工具箱旁。

第二天清晨,周叔打开工具箱,看见橘子下面压着一张写有谢谢您的纸条。

周叔、女孩、深蓝工具箱和黄色雨伞保持稳定,公交站、雨线、末班车和清晨形成了完整时间变化。橘子在女孩离开前出现,第二天仍留在工具箱旁,故事没有漏镜头。

但断了一根伞骨没有被清楚画出来,第一眼仍会看成完整雨伞。

case 3 蓝布袋里的春天

提示词

使用 $story-to-handdrawn-video 将下面的故事制作成手绘日记漫画动画。

任务设置:

– 标题:「蓝布袋里的春天」

– 使用默认 Codex Image2

– 字幕使用项目字体

– 使用 cut 转场

– 先根据故事建立两位数场景编号的 visual-plan JSON

– visual-plan 必须明确每个场景中江禾的年龄、服装、地点、动作和需要出现的人物

– 将 visual-plan 保存到:

out/tests/mint-visual-plan.json

– 使用该 visual-plan 继续执行图片生成、导入和预览渲染

– 保留原文,每个句子作为一个故事节拍

– 蓝色布袋、白色花盆和薄荷种子需要保持视觉连续

– 外婆只在原文明确出现的分镜中进入画面

– 完成后将预览复制为:

out/tests/mint-spring-preview.mp4

– 报告分镜数量、总时长、visual-plan 路径和视频路径

人物锁定:

江禾有圆脸、细长眼睛、左侧眉尾的一颗小痣和微卷黑发,这些特征在不同年龄保持一致。

8 岁江禾穿浅黄色毛衣和深蓝背带裤。

16 岁江禾穿白色衬衫和灰蓝长裤,背棕色书包。

26 岁江禾留齐肩微卷黑发,穿浅灰风衣和深绿色长裤。

外婆约 68 岁,银灰短发,穿暗红色开襟毛衣和深灰长裙。

故事正文:

八岁那年,江禾每天踩着小板凳,给窗台上的薄荷浇水。

外婆把一小包薄荷种子缝进蓝布袋,交给了江禾。

十六岁那年,江禾离开小城,只带走那个蓝色布袋。

十年后,江禾拖着行李箱回到旧屋,窗台已经落满灰尘。

江禾把蓝布袋里的种子种进原来的白色花盆。

春天来时,花盆里长出了一株新的薄荷。

8 岁、16 岁和成年江禾能看出年龄变化,微卷黑发和圆脸保留了一定身份连续性,蓝布袋、白色花盆、旧窗台构成了稳定的视觉线索。

成年江禾回到灰尘覆盖的旧屋时,空花盆和行李箱很好地表现了时间流逝,最后的新薄荷和蓝布袋同时出现,情绪落点准确。

但眉尾小痣在当前画风和人物尺寸下几乎不可见,这类细节不适合承担身份识别。

case 4 面馆的旧钥匙扣

提示词

使用 $story-to-handdrawn-video 将下面的故事制作成手绘日记漫画动画。

任务设置:

– 标题:「面馆的旧钥匙扣」

– 使用默认 Codex Image2

– 字幕使用项目字体

– 使用 cut 转场

– 完整执行图片生成、素材导入和预览渲染

– 保留故事原文及对白措辞

– 每个完整句子对应一个分镜

– 对白只在上方字幕区显示,插画中不生成对白气泡

– 雨水、湿衣服和热汤面使用简洁手绘线条表达

– 旧钥匙扣需要保持相同的圆形木质外观

– 避免夸张哭泣和戏剧化肢体动作

– 完成后将预览复制为:

out/tests/noodle-shop-preview.mp4

– 报告分镜数量、总时长和视频路径

人物锁定:

老板娘,48 岁女性,短卷黑发,穿砖红色围裙、米白衬衫和深灰长裤。

外卖员,24 岁男性,短黑发,清瘦,穿湿透的浅蓝色外卖雨衣、黑色长裤,手里拿着白色头盔。

所有场景保持人物脸型、服装配色和身体比例一致。

故事正文:

深夜,面馆准备打烊,一名浑身湿透的外卖员站在门口翻遍口袋。

老板娘端出一碗热汤面,说:面煮多了,别浪费。

外卖员低头吃面,头盔上的雨水一滴滴落在脚边。

临走前,外卖员把一枚旧钥匙扣放在桌上,说:明天来赎。

第二天,老板娘刚开门,就看见门把手上挂着一袋热豆浆。

旧钥匙扣仍放在柜台最显眼的地方。

面馆门口、雨水、湿衣服和热汤面的氛围很好,老板娘的红围裙与外卖员的蓝雨衣保持稳定,热面、低头吃面、放下东西、第二天开门,动作顺序清楚。

但旧钥匙扣像是一枚棕色圆片,外形更像硬币。

case 5 停在六点十分的手表

提示词

使用 $story-to-handdrawn-video 将下面的故事制作成手绘日记漫画动画。

任务设置:

– 标题:「停在六点十分的手表」

– 使用默认 Codex Image2

– 字幕使用项目字体

– 使用 cut 转场

– 保留故事原文,不要提前改短句子

– 先运行 plan 模式并报告自动拆分结果

– 报告后继续完成图片生成、素材导入和预览渲染,无需等待确认

– 每个分镜字幕最多三行

– 蓝色项圈、旧手表和棕色小狗必须保持一致

– 白发女人只在电话号码接通后的场景中出现

– 完成后将预览复制为:

out/tests/watch-at-six-ten-preview.mp4

– 报告原始句子数量、拆分后的分镜数量、总时长和文件路径

人物锁定:

许伯,62 岁男性,短灰发,戴圆框眼镜,穿棕色旧马甲、浅灰衬衫和深色长裤。

白发女人,约 65 岁,齐耳白发,穿暗绿色外套和黑色长裙。

小狗是棕色短毛犬,右耳向下折,戴蓝色项圈。项圈上挂着一块银色圆形旧手表。

故事正文:

傍晚,修表匠许伯关上店门,刚走出两步,就听见柜台下面传来轻轻的抓挠声。

许伯弯腰看见一只戴着蓝色项圈的小狗,项圈上挂着一块停在六点十分的旧手表。

后来,许伯照着表背面的电话号码打过去,一个白发女人接起电话,沉默几秒后哭了出来。

半小时后,女人抱住小狗,许伯把修好的手表递给她,指针重新走过六点十分。

许伯的眼镜、棕色马甲和修表铺保持稳定,棕色小狗和蓝色项圈没有明显漂移,关店、发现小狗、打电话、女人哭泣、归还手表,故事环节齐全。

自动拆分后的镜头数量合理,没有把长句塞进同一块字幕。

总得来说,story-to-handdrawn-video 画风和颜色搭配都很好,故事线衔接的很顺畅,但关键物品如果太小,就不太表现的出来

story-to-handdrawn-video 把中文故事文本或一组有序图片,制作成 3:4 竖屏手绘漫画动画。成片采用白底、手写字幕、黑白线稿转彩色插画的固定视觉语法,输出 H.264 静音视频,配音和音乐留给后期处理。

项目地址:https://github.com/gnipbao/story-to-handdrawn-video

项目定位是一套 Agent 制作流程,覆盖故事分句、分镜规划、绘图任务、素材裁切、动画编排和视频导出。

story-to-handdrawn-video 适合固定风格的亲情故事、儿童故事、日记漫画和公众号故事视频,也适合把一批已生成的漫画页快速转成带揭示动画的静音素材。

项目目前只支持单图分镜、固定白底手绘风格、3:4 画布和静音输出。口型同步、角色动作、镜头运动、配音合成、字幕时间轴、9:16 成片和多种画风需要继续开发。

story-to-handdrawn-video 每句一拍、人物参考、黑白转彩、静音导出写成了可重复执行的流程。当前版本适合很内容生产。

安装直接把GitHub链接给到AI Agent,让它帮你安装这个项目即可。

大家使用时最好选带生图模型的 AI Agent ,这样就能一个提示词一次性生成视频了。

短视频和图文内容越来越依赖稳定、持续的视觉生产。

对个人创作者、小型工作室和内容团队来说,写完故事只是第一步,真正消耗时间的是分镜、生图、字幕、动画和导出之间的反复切换。

story-to-handdrawn-video 把这些零散步骤收进了一条可重复执行的工作流。只要提前写清人物设定、场景变化和关键道具,AI Agent 就能继续完成分镜、插画生成、黑白转彩动画和视频导出,快速产出一版可以直接观看的样片。

这套流程适合公众号故事、儿童绘本、亲情短片、日记漫画、品牌故事和IP内容测试。可以减少软件切换,缩短试稿周期,批量验证故事方向,再决定是否投入配音、剪辑和精细动画。

story-to-handdrawn-video 现阶段更适合制作初版和静音素材,配音、音乐与复杂镜头还要后期补充。

原文链接:GitHub 低星精品,五分钟把故事变成绘本