☰
AI漫剧零基础制作全流程:从剧本到成片的生产链路拆解
2026/10/19 2:23:34 网站建设 项目流程

这次我们来看一个非常具体的方向:AI 漫剧的完整生产链路。

如果你经常刷短视频平台,应该已经看到过一批 AI 漫剧账号。它们的形态很统一:“动态漫画画面 + 角色配音 + 剧情文案”,画面用 Stable Diffusion 系列模型生成二次元风格图像,再经过视频生成、配音合成、剪辑包装输出成品。这套 99 集的 AI 漫剧教程,主打零基础入门,课程介绍中明确由清华团队带队制作,内容覆盖剧本、分镜、视频、配音、剪辑、人物一致性六大模块,是当前 B 站上体系化程度较高的 AI 漫剧教程之一。

这篇文章不只是做课程导读,而是把 AI 漫剧的完整生产链路拆开讲清楚。包括每个环节对应的核心技术、常用工具、硬件门槛、人物一致性的主流做法、批量生产时的文件组织方式,以及最容易踩的坑。无论你是否跟进这套课程,只要想自己做 AI 漫剧,这套流程都通用。

适合的读者很明确:准备入局 AI 漫剧的创作者、短视频内容生产者、想用 ComfyUI + 图生视频 + TTS 搭建流水线的技术爱好者,以及想了解“人物一致性到底怎么解决”的 AI 绘画玩家。

1. 核心能力速览

先说这套课程和 AI 漫剧这个生产方向的能力画像,方便你快速判断要不要深入。

能力项说明
课程形态99 集零基础系统性教程,B 站可学习
内容模块剧本创作、分镜设计、静态画面生成、视频生成、配音、剪辑、人物一致性
技术底座Stable Diffusion / ComfyUI 工作流、图生视频模型、TTS 语音合成、剪辑工程
硬件门槛静态画面生成 6-8GB 显存起步;视频生成和模型训练按实际模型要求评估
是否支持 CPU部分环节可 CPU 运行(TTS、简单图像修复),模型推理建议 NVIDIA GPU
是否支持一键启动正式课程内容以工具组合为主,ComfyUI 等工具有一键包/手动启动两种方式
是否提供 API课程不是软件产品,但生产链中的工具普遍提供 HTTP API
是否支持批量任务可以,分镜批量出图、台词批量配音都是常见工业化做法
适合人群零基础想入门 AI 漫剧的创作者、懂一点 AI 绘画想补齐全流程的技术用户

从课程标题能看出两个关键点:一是“零基础”,二是“完整链路”。99 集的体量说明它不是单点工具教学,而是把一条内容生产流水线从头串到尾。这对想入行 AI 漫剧的人来说,价值比零散的单工具教程高不少。

2. AI 漫剧全流程生产链路拆解

AI 漫剧的本质,是把传统动画制作流程中的“绘制 - 上色 - 动画 - 配音 - 合成”替换成 AI 生成。整个流程可以分成六个环节。

2.1 剧本创作

剧本是整条流水线的起点,直接影响后续分镜和画面生成的效率。

传统漫剧编剧需要写人物小传、剧情大纲、分场分段、台词。AI 漫剧的剧本创作有两个特殊要求:

  • 场景描述要具体。AI 图像生成需要画面描述,剧本里必须包含人物位置、环境、氛围、光线、镜头景别等信息。
  • 台词要和角色绑定。配音环节需要按角色拆分台词,剧本阶段就标注好每个台词所属角色,后面批量处理会省大量时间。

推荐的工作方式:用大语言模型(如 ChatGPT、Claude、DeepSeek、Kimi)先产出剧情大纲,再人工细化人物设定,让模型按“一集 3-5 分钟、每集多个分镜”的格式生成场景文本。模型输出后必须人工过一遍,重点检查逻辑连贯性和台词风格统一性。

2.2 分镜设计

分镜是把文字剧本变成“镜头语言”的环节。课程中这部分的内容通常包括:景别(远景、中景、近景、特写)、运镜方式(推、拉、摇、移)、角色动作、画面构图。

AI 漫剧的分镜不需要画得多专业,但需要产出两类内容:

  • 分镜描述表:每条记录包含镜头编号、景别、画面内容、角色动作、台词、时长。
  • 参考图提示词:把分镜描述转写成图像生成模型能理解的 prompt。

一个标准的分镜条目可以这样组织:

镜头 12 | 中景 | 女主角站在窗边,侧逆光,看向窗外,表情失落 角色动作:右手握着窗帘 台词:「我们还会再见吗?」 建议时长:3 秒

这段文字后续会被拆成两路:一路进图像生成,一路进配音队列。所以分镜表的结构化程度越高,后面批量处理越顺。

2.3 角色设计与静态画面生成

这是 AI 漫剧里最核心、也最容易出问题的环节。

先要确定角色设定:每个主要角色要有统一的人设描述,包括发型、发色、眼睛颜色、服装、配饰、体型。最稳妥的做法是生成一套角色参考图,包含正面、侧面、半身、全身、不同表情。这些参考图是全流程人物一致性的基础。

静态画面生成常用工具是 Stable Diffusion WebUI 或 ComfyUI。图片生成时要注意的点:

  • 分辨率建议按发布平台规格设置,竖屏短视频用 832x1216 或 896x1152 这类接近 9:16 的比例。
  • 采样步数、CFG、采样器参数会影响风格稳定性和生成速度。
  • 每张关键帧图至少生成 4-8 张候选图,挑选动作、表情最符合分镜的一张。

2.4 视频生成

静态画面生成之后,要把它变成“能动”的视频片段。当前主流路线是图生视频:把一张关键帧作为首帧输入,让模型根据提示词或运动描述生成 3-10 秒的片段。

AI 漫剧和完全写实的 AI 视频不同,它需要保持二次元画风稳定。这里有几个经验性原则:

  • 运动幅度宁小勿大。动作幅度越大,角色面部和肢体越容易变形。
  • 单镜头时长不宜过长。建议单次生成 3-5 秒,后期剪辑拼接。
  • 首帧质量决定视频质量。图生视频模型对首帧的依赖非常高,首帧人物崩了,视频大概率也崩。
  • 人物特写镜头要多生成几个版本,因为特写下表情和口型最容易出现违和感。

如果本地显存有限,也可以先用云端视频生成服务或排队任务,把重计算放到远端。

2.5 配音

配音环节的技术栈是 TTS。AI 漫剧的配音可以走两条路线:

  • 标准 TTS 音色:直接使用现成 TTS 服务或模型,适合旁白、路人角色。
  • 角色音色定制:用目标音色的参考音频,让模型学习声音特征,再按台词合成。开源工具中常见的是 GPT-SoVITS、Fish-Speech 一类方案。

配音要特别注意情绪和语速。分镜表里的台词建议带上情绪标记,例如“失落地说”“兴奋地喊”,TTS 模型对带情绪描述文本的处理效果更好。另外要按角色分开生成音频文件,方便后期混音和调整音量。

2.6 剪辑合成

最后一个环节是把视频片段、配音、音效、字幕合成完整成片。

常用工具是剪映(CapCut)和 Adobe Premiere Pro。课程里会涉及的基础操作包括:多轨道时间线、对口型时间对齐、转场、字幕压制、音效叠加、音量标准化。

AI 漫剧剪辑有一个特殊点:视频片段往往是分段生成的,每段之间的色调、角色位置可能略有差异。剪辑时常见思路是用转场动画掩盖切点,或者提前在生成参数中固定种子和模型来减少差异。

3. 适用场景与使用边界

AI 漫剧这套生产流程适合谁?适合准备做短视频号、连载漫画号、小说推广号的创作者。它最大的价值是把传统动画的高成本压缩到一个人或一个小团队可以完成的程度。

它能解决的问题:

  • 想把小说、网文改造成可视化内容,但请不起动画团队。
  • 想保持固定角色人设做连续剧集,但不想每一集重新画人物。
  • 想快速验证一个故事方向的市场反馈,再做长线投入。

它不适合什么场景:

  • 对画面质量要求达到院线动画电影级别的项目,AI 生成还需要大量人工精修。
  • 需要复杂肢体交互、高速打斗、镜头大幅度运动的动作戏。当前 AI 视频模型在这些场景下容易崩坏。
  • 完全不愿意做后期筛选和人工干预的“全自动”内容生产。AI 漫剧目前的正确姿势是“AI 批量生成 + 人工精选”。

使用边界必须明确:

  • 训练角色 LoRA 使用的角色图、参考图,必须是你自己创作的,或者已获得授权的素材,不能拿他人作品直接训练。
  • 配音音色克隆只建议用于自己的声音,或者获得明确授权的配音演员声音。未经授权克隆他人声音涉及肖像权和声音权益风险。
  • 剧本改编自小说、漫画、影视作品时,需要确认版权改编授权。
  • 发布平台对 AI 生成内容的标注要求不同,商用前应查看平台规则。

4. 零基础入门的工具链与环境准备

这套课程覆盖从零到一的全部环节,工具链大体可以分成四条线。

生产环节代表性工具/方案运行环境要求
剧本/分镜大语言模型:ChatGPT、Claude、DeepSeek、Kimi网页端即可,无需显卡
静态画面Stable Diffusion WebUI、ComfyUINVIDIA GPU 6GB 显存可从 SD1.5 起步
视频生成图生视频模型、AnimateDiff 类工作流、云端视频服务本地需求差异大,云端更稳定
配音GPT-SoVITS、Fish-Speech、云端 TTS 服务本地 TTS 可 CPU 运行,GPU 加速
剪辑剪映、Premiere Pro普通办公电脑即可

如果你是零基础,第一台机器的推荐思路是:先用云端或现有设备跑通最小流程,确认自己真的要做,再考虑升级显卡。

安装 ComfyUI 的通用步骤如下,实际命令以你下载的版本为准:

# 克隆或解压 ComfyUI 后,进入目录安装依赖 cd ComfyUI # 使用虚拟环境隔离 Python 依赖 python -m venv venv source venv/bin/activate # Windows 下为 venv\Scripts\activate # 安装 PyTorch 时注意对应 CUDA 版本 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 # 安装其余依赖 pip install -r requirements.txt # 启动服务 python main.py --listen 127.0.0.1 --port 8188

启动后浏览器访问http://127.0.0.1:8188,就是 ComfyUI 的 Web 工作流界面。如果你用的是打包整合包,通常直接双击启动脚本即可,不需要手动装依赖。

这里提醒一个常见问题:ComfyUI 的模型文件需要放到指定目录。一般结构是models/checkpoints/放主模型,models/loras/放 LoRA,models/controlnet/放 ControlNet 模型。文件名不匹配或目录不对,工作流加载时会直接报错。

5. 人物一致性保持的几种技术路线

人物一致性是 AI 漫剧里最核心的技术难点。课程把这一块单独列为模块,也是因为它的实际影响最大。同一角色上一集是一个长相,下一集变成另一个人,是 AI 漫剧最常见的翻车场景。

目前业内常用的方案有四种,可以组合使用。

5.1 角色 LoRA 训练

LoRA 是目前保持角色一致性的主流方案。先用 20-50 张同一角色的图像训练一个 LoRA 文件,之后生成该角色时挂载这个 LoRA。

推荐的做法是准备“角色三视图 + 表情差分 + 服装差分”的图集,训练时固定一个底模风格,LoRA 的权重一般设在 0.6-0.9 之间。权重太低角色特征不明显,太高画面容易过拟合、风格发闷。

训练 LoRA 需要一定的显卡显存。具体要求取决于底模和训练参数量,一般建议 8GB 以上显存,云端租卡也是常见方案。

5.2 IP-Adapter 参考图控制

如果不想训练 LoRA,IP-Adapter 是更轻量的方案。把角色参考图喂给 IP-Adapter,生成时模型会参考这张图的面部特征和服装风格。

它的优点是即时生效,不需要训练;缺点是参考强度不好控制,参考太强会直接复制构图,参考太弱又不够像。做 AI 漫剧时,通常结合使用:IP-Adapter 控制“像谁”,prompt 控制“在做什么”。

5.3 ControlNet 姿态控制

ControlNet 负责控制“动作”。用姿态骨架图约束角色的站立、行走、手势,避免分镜里要求的动作走形。

在 ComfyUI 中,ControlNet 是一个独立节点组,输入是姿态参考图,输出是姿态控制后的生成结果。对于 AI 漫剧,最常用的是 OpenPose 姿态控制,尤其是在角色站立对白、走动等常见镜头中,效果稳定。

5.4 面部修复与局部重绘

生成过程中,面部崩坏是高频问题。常见补救手段是 afterdetailer 类面部修复插件,或者用图生图 + 局部重绘只重绘脸部区域。

流程是:先按整体构图生成一张图,再锁定脸部区域做高分辨率重绘。这样既保住了整体画面,又能把五官细节拉回正常水平。

5.5 种子与提示词规范

一个容易被忽视的细节是:固定随机种子能显著提升同批次画面的风格一致性。在同一集内,设定相同的种子基础值,画面色调会更统一。同时角色提示词要写成固定模板,不能凭感觉换描述。比如“女主角”在每一条 prompt 里都需要完整的固定描述:“银白色长发、蓝色瞳孔、白色连衣裙、蓝色发带”,不能这次写“银发女孩”、下次写“白裙女生”。

技术路线对比:

方案一致性强度使用成本适用场景
角色 LoRA强需要训练主角、大篇幅角色
IP-Adapter中即插即用配角、临时角色、快速验证
ControlNet 姿态中需要姿态图肢体动作要求高的镜头
面部重绘弱-中需二次处理面部崩坏补救
固定 Prompt + Seed弱几乎为零风格底色统一

实际项目里,主角用 LoRA + IP-Adapter 双重夹逼,配角只用 IP-Adapter,表情特写加面部重绘。这是一套比较成熟的分级策略。

6. 从分镜到视频的工作流落地

静态图生成只是开始,AI 漫剧要“动起来”,还需要把分镜批量转成视频,这一步的工作流设计直接决定生产效率。

一个通用模板是把分镜表转成 JSON 文件,逐条驱动生成:

{ "episode": 3, "scene_list": [ { "id": "E3S1", "character": "女主", "shot": "中景", "prompt": "女主角站在窗边,侧逆光,银白色长发,蓝色瞳孔,表情失落", "video_prompt": "角色缓慢转头看向窗外,窗帘轻轻飘动", "audio": "我们还会再见吗?", "duration": 3 }, { "id": "E3S2", "character": "男主", "shot": "近景", "prompt": "男主角推门进入,黑色短发,红色外套,表情担忧", "video_prompt": "角色向前走两步,停下,镜头轻微推近", "audio": "听说你要走,我来送你。", "duration": 4 } ] }

批量生成图像时,用 Python 脚本逐条读取分镜 JSON,调用 ComfyUI API 提交任务:

import json import requests # 假设 ComfyUI API 地址,实际以本地服务为准 API_URL = "http://127.0.0.1:8188/prompt" def submit_comfyui_workflow(workflow: dict): payload = {"prompt": workflow} response = requests.post(API_URL, json=payload, timeout=30) return response.json() storyboard = json.load(open("02_storyboard/storyboard_ep03.json", encoding="utf-8")) for scene in storyboard["scene_list"]: workflow = { "workflow_name": "anime_scene_generate", "scene_id": scene["id"], "prompt": scene["prompt"], "width": 832, "height": 1216 } result = submit_comfyui_workflow(workflow) print(f"已提交 {scene['id']},任务ID: {result.get('prompt_id')}")

注意一点:ComfyUI API 的请求格式是标准 JSON,但不同工作流模板的 node id 和字段名不同。实际接入时,先手动加载工作流,再用“导出 API 格式”功能拿到可调用的 JSON 结构,再写脚本。

视频生成阶段同样可以批量提交,但建议控制并发数。本地显存一次跑太多任务会出现 OOM,云端服务要注意并发配额。

7. 配音与批量合成方案

配音环节的核心是“按角色拆台词、批量合成、混音对齐”。分镜表里每一条台词都需要带上角色和情绪标签。

代码示意如下:

import json def synthesize_tts(text: str, role: str, emotion: str, output_path: str): # 调用本地 TTS 服务或云端 TTS API # 不同角色会加载不同的音色配置 print(f"[TTS] role={role} emotion={emotion} text={text[:30]} -> {output_path}") lines = [ {"id": "E3S1", "role": "女主", "emotion": "失落", "text": "我们还会再见吗?"}, {"id": "E3S2", "role": "男主", "emotion": "担忧", "text": "听说你要走,我来送你。"}, ] for item in lines: out = f"./06_audio/{item['id']}_{item['role']}.mp3" synthesize_tts(item["text"], item["role"], item["emotion"], out)

批量配音有哪些实际经验:

  • 每条台词单独生成一个音频文件,文件名编号要与分镜 ID 对应,方便剪辑阶段对号入座。
  • 旁白单独一个音色,与角色音色区分开,避免听觉疲劳。
  • 本地 TTS 模型如果支持情绪控制,优先用带情绪标记的文本;如果不支持,就人工听一遍,把完全不符合情绪的段落重新合成。
  • 长台词要分段生成,避免 TTS 模型在长文本上出现语速失衡或吞字。

配音和画面的对齐是 AI 漫剧最花时间的环节之一。因为 AI 视频生成时不会自带准确的语音同步,剪辑阶段需要手动调整音频起点、时长,让台词和角色口型、动作对上。剪映的时间线里做粗对齐,再用音频波形做细调,是目前成本比较低的做法。

8. 批量任务与生产流水线组织

AI 漫剧要长期更新,效率取决于生产流水线的组织方式。这里给出一个可以落地的项目目录结构:

ai-comic-drama/ ├── 01_script/ # 剧本和台词 │ ├── outline_ep03.md │ └── dialogues_ep03.json ├── 02_storyboard/ # 分镜表与参考图 │ └── storyboard_ep03.json ├── 03_characters/ # 角色设定参考图 │ └── female_lead/ │ ├── front.png │ ├── side.png │ └── lora.safetensors ├── 04_images/ # AI 生成的静态画面 │ └── ep03/ ├── 05_video/ # 生成视频片段 │ └── ep03/ ├── 06_audio/ # 配音音频 │ └── ep03/ └── 07_edit/ # 剪辑工程文件和成品 └── ep03_v1.mp4

这个结构的核心逻辑是:输入素材归类、过程产物按集数分目录、成品独立存放。

批量生产的建议:

  • 每次生成都用 JSON 记录参数,包括模型、采样器、步数、CFG、种子、prompt。参数记录是做版本回溯的基础。
  • 批量任务一定要写日志。每个任务的提交时间、完成状态、失败原因记录到文本或数据库,否则几十张图生成完根本不知道哪个失败。
  • 失败重试要有策略。显存不足导致的失败,等当前任务结束后再重试;模型文件缺失导致的失败,直接重试没有意义,先修环境。
  • 一集内容建议分场景批次生成,而不是一次性推全部任务。场景维度粒度一致,便于对照分镜表检查。

9. 资源占用与性能观察

资源占用是 AI 漫剧生产中最实际的约束。不同环节的负载差异很大。

静态图像生成环节,显存占用主要取决于模型类型和分辨率。SD1.5 系列比 SDXL 系列更轻量。如果你只有 6-8GB 显存,从 SD1.5 开始试跑;如果 12GB 以上,算力余量会宽裕很多。视频生成和 LoRA 训练对显存的需求更高,具体数字需要按你实际使用的模型版本和推理参数来测。

观察占用的方法:

  • NVIDIA 显卡用nvidia-smi命令查看显存使用情况。
  • Windows 可以用任务管理器“性能”标签页查看 GPU 专用内存。
  • 连续提交多个任务时,注意显存是否持续高位运行。如果 OOM,降低批大小或分辨率。
nvidia-smi # 观察 GPU Memory Usage 和温度,判断是否接近显存上限

突发任务排队时,建议给每个任务增加显存监控。一个简单的办法是在脚本中定期调用nvidia-smi --query-gpu=memory.used --format=csv,把输出写入日志。

端口冲突也是常见问题。ComfyUI 默认 8188 端口、WebUI 默认 7860 端口,如果本机多个服务同时运行,建议显式指定端口:

python main.py --port 8189

进程残留会导致端口占用,重启服务前先清理残留进程:

# Windows PowerShell 查看占用端口的进程 netstat -ano | findstr 8188

10. 常见问题与排查方法

问题现象可能原因排查方式解决方案
同一角色每张图长得都不一样未使用 LoRA/IP-Adapter,提示词不稳定检查角色固定描述是否一致训练角色 LoRA,固定角色 prompt 模板
角色动作扭曲、手脚崩坏ControlNet 姿态控制缺失或权重过低查看是否有姿态图,检查 ControlNet 节点报错补姿态图,调整 ControlNet 权重
视频中角色面部变形运动幅度过大、单镜头时长过长缩短镜头,降低运动幅度分 3-5 秒片段生成,特写镜头多抽卡
启动后页面打不开端口被占用或服务未启动查看启动日志,检测端口换端口或重启服务
显存 OOM 崩溃分辨率过高、批过大、视频模型过重nvidia-smi 查看显存占用降低分辨率/批大小,换更轻模型
LoRA 加载报错模型文件缺失或文件名不匹配检查 models/loras 目录按工作流实际路径放置文件
TTS 合成声音不像参考音频过短或音质差换 5-10 秒干净人声样本准备高质量参考音频,找安静环境录制
台词和口型对不上剪辑阶段未对齐音频检查时间线音视频轨道手动调整音频起点,用波形微调
批量任务中途失败无日志、并发过高、网络超时查看任务日志和调用记录降低并发,增加超时时间和失败重试

这十个问题覆盖了从环境到生成再到后期的完整链路。项目中遇到新问题时,优先按“日志 - 参数 - 模型文件 - 依赖环境”的顺序排查,不要盲目重装重跑。

11. 最佳实践与使用建议

把 AI 漫剧做成可持续更新的内容,有几条工程化建议值得从一开始就贯彻。

第一次跑通最小流程,不要追求完美。先用 3 个镜头、一共 20 秒的视频把整个链路走一遍,确认剧本、出图、视频、配音、剪辑每个环节能串起来。很多新人一上来就做长剧本,结果卡在人物一致性上,几天没有产出。

保留一套“最小可运行配置”。把验证过的模型组合、参数、工作流保存好。这套配置是你日后的“保底方案”,新实验失败时返回这套配置重新起跑。

文件命名要前后关联。分镜 ID、图片文件名、视频文件名、音频文件名统一使用同一套规则,例如E3S1_女主_中景.png。剪辑阶段一看到文件名就知道内容是第几集第几镜,查找和替换都会方便很多。

批量任务必须有日志。每次生成记录参数、状态、输出路径。AI 生成有随机性,如果一条 prompt 这次效果好、下次效果差,日志能帮你定位是参数变了还是随机种子变了。

接口服务要限制访问范围。本地部署 ComfyUI 或 TTS 服务时,--listen只绑定 127.0.0.1,不要默认开放到局域网或公网。如果确实需要远程调用,放在受控网络环境内,并做好鉴权。

合规红线不要碰。训练或克隆角色、声音时,确保人物形象、声音、剧本素材的授权链条清晰。发布前确认平台对 AI 内容的标注要求。对存疑的素材,宁可不商用。

12. 总结与下一步

AI 漫剧的核心不是某一个工具,而是把剧本、分镜、角色一致性、图生视频、配音、剪辑串成一条高效流水线。这套 99 集课程的价值在于把六个环节拆开逐个讲、再合起来带你做完整案例,适合从零开始系统入局的人。

如果你现在准备动手,最先验证的不是剧本创作,而是人物一致性,它决定你的剧集能不能连续更新。先用一个角色生成 5 组不同场景的图,对比面部和服装是否稳定,再跑通视频生成和剪辑,这是成本最低的验证路径。

最容易踩的坑是“贪多”:想一次把动作、表情、口型、多角色全做对。实际情况是每加一个要求,生成难度就上一个台阶。建议从静态对白场景开始做,先保证“人物像、画面稳、声音准”,再逐步加入动作戏和复杂运镜。

后续可以扩展的方向:把分镜 JSON 和生成脚本沉淀成自己的自动化模板,加入失败重试和参数版本管理;训练多套角色 LoRA,形成自己的角色库;对接 TTS 接口做统一的音色管理。当单集生产时间稳定压下来之后,AI 漫剧就会从“能生成”变成“能量产”。这套课程带你入门,真正跑通后你会发现,剩下的就是不断优化自己的流水线。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询