Shenrui-Ma/video-regen-recipes / templates/anime-dialogue-scene/mygo-ave-mujica
mygo-ave-mujica-episode
Verified根据文字剧情制作 MyGO 或 Ave Mujica 同人 AI 番剧,按顺序准备角色图和音色、构建 H3 Ref2VA 分段工作流、生成新对白与画面、恢复任务并完成字幕剪辑。用户要求制作该类番剧或复用此模板时使用。
| File | Kind | Size |
|---|---|---|
| LICENSE | other | 1.1 KB |
| LICENSES.md | markdown | 1.3 KB |
| README.md | markdown | 3.3 KB |
| SKILL.md | skill md | 4.4 KB |
| evidence/README.md | markdown | 2.5 KB |
| examples/episode.ave-mujica.json | config | 9.3 KB |
| examples/episode.mygo.json | config | 9.5 KB |
| profile.json | config | 2.7 KB |
| prompts/image-reference.template.txt | markdown | 3.3 KB |
| references/assets-and-voices.md | markdown | 12.3 KB |
| references/editing-and-delivery.md | markdown | 19.4 KB |
| references/efficiency-and-variants.md | markdown | 3.4 KB |
| references/h3-runtime.md | markdown | 13.3 KB |
| references/running-shots.md | markdown | 5.9 KB |
| references/story-and-shots.md | markdown | 4.2 KB |
| references/validation.md | markdown | 1.4 KB |
| scripts/assemble_episode.py | script | 13.1 KB |
| scripts/build_episode.py | script | 23.0 KB |
| scripts/run_shot.py | script | 30.7 KB |
| sources.md | markdown | 2.2 KB |
| tests/test_assemble_episode.py | script | 4.8 KB |
| tests/test_build_episode.py | script | 19.9 KB |
| tests/test_run_shot.py | script | 20.8 KB |
| workflows/ref2va.api.template.json | config | 1.7 KB |
| workflows/toolkit-source.json | config | 717 B |
references/editing-and-delivery.md
View on GitHub# 后期与交付:把通过检查的片段做成完整番剧
按顺序执行:**逐段验收 → 锁定版本 → 原生母版 → 字幕 → 可选配乐 → 交付版 → 可选增强版**。字幕和配乐准备可与其他片段的推理并行;正式拼片只使用当前选定版本。以下文件名均为新项目内的示例,不是仓库附带的媒体文件或可直接调用的历史脚本。
## 1. 先检查每段,再花时间做后期
片段生成后立即保存原片、实际提交图、Seed、任务 ID 和文件 SHA256。等待服务报告成功、实际输出存在并完整下载;采样达到最后一步不等于音视频解码和保存已完成。
分开记录两种结果:
|检查|通过条件|失败怎么处理|
|---|---|---|
|技术检查|完整解码;帧数、尺寸、FPS、SAR、音轨符合本段计划;有服务器哈希时比较两端一致;否则记录本次完整下载哈希|先查保存/传输/封装;已生成的正确文件不重新推理|
|内容检查|角色与声线对应、实际台词与读音正确、口型基本对应、动作及空间关系连续|保留旧版,只修订受影响片段的提示词、参考或生成版本|
逐句试听,同时看正在说话的角色。日语人名、哭腔、同音词、两人抢话需要重点检查;ASR 和声纹分数只能帮助定位。若两人的声音听起来颠倒,先核对参考音频内容、哈希、节点绑定和实际提交图;绑定正确时重新生成并强化逐句绑定,不能盲目交换两份音频。
动作检查用持续关系表述,例如“角色 A 在前、背对 B 跑向出口;B 始终在后沿同方向追赶”。一次返修优先解决一个已定位问题,不同时更换全部参考、构图和采样设置。
没有完成听审/画面检查时,将状态写为 `technical_pass_review_pending`,允许交付明确标记的预览,不能写“已验收”。
## 2. 锁定片段清单与整数帧时间线
1. 按故事顺序列出每段选定版本、原片路径、SHA256、实际解码帧数 `N_i`、帧率 `F` 和内容检查状态。只读这份清单;不要按文件名排序或选目录里修改时间最新的文件。
2. 全片使用同一尺寸、像素宽高比、帧率和声道布局。不同参数先查明原因,再明确转换;默认不裁剪、不缩放、不补循环、不变速。
3. 用整数累计帧计算起点:`start_frame_i = sum(N_0 ... N_(i-1))`,`start_seconds_i = start_frame_i / F`;全片时长为 `sum(N_i) / F`。不要逐段四舍五入秒数再相加。
4. 音频目标采样率建议 48 kHz。`F=24` 时每帧正好对应 2,000 个采样;每段目标采样数为 `N_i × 2000`。其他帧率按累计边界 `round(start_frame × sample_rate / F)` 求相邻差,避免每段独立取整积累误差。
5. 把帧数不符、缺音轨、重复版本或哈希变化作为阻断项。对话被截断不能用补静音掩盖;只允许为已确认无台词的尾部补齐容器/采样长度差。
历史链路采用过 24 fps、768×448 和 1088×608 两种生成尺寸,以及 175 / 226 / 243 帧的片段长度。这些是配置示例,不要求新故事凑相同段数或精确一分钟。
## 3. 先拼一份不烧字幕的原生母版
使用仓库提供的 [assemble_episode.py](../scripts/assemble_episode.py),默认只检查,显式加 `--execute` 才输出 FFV1 视频、48 kHz 双声道 PCM 音频的 `master-native.mkv`。原始片段始终保留。
在**用户项目**中创建 `edit/selected-segments.json`。这是后期选片清单,和剧情/资产计划 `episode.json` 不同,不能互换。下面是默认六段的完整字段示意;文件路径、哈希和实际接受版本都必须替换。`accepted` 只能在完成第 1 节的画面/听审后填写,不能为了通过程序检查直接复制。
```json
{
"fps": 24,
"width": 768,
"height": 448,
"segments": [
{"id": "s01", "path": "../runs/s01/raw.mp4", "sha256": "<实际文件的64位SHA256>", "frames": 243, "visual_review": "accepted", "audio_review": "accepted"},
{"id": "s02", "path": "../runs/s02/raw.mp4", "sha256": "<实际文件的64位SHA256>", "frames": 243, "visual_review": "accepted", "audio_review": "accepted"},
{"id": "s03", "path": "../runs/s03/raw.mp4", "sha256": "<实际文件的64位SHA256>", "frames": 243, "visual_review": "accepted", "audio_review": "accepted"},
{"id": "s04", "path": "../runs/s04/raw.mp4", "sha256": "<实际文件的64位SHA256>", "frames": 243, "visual_review": "accepted", "audio_review": "accepted"},
{"id": "s05", "path": "../runs/s05/raw.mp4", "sha256": "<实际文件的64位SHA256>", "frames": 243, "visual_review": "accepted", "audio_review": "accepted"},
{"id": "s06", "path": "../runs/s06/raw.mp4", "sha256": "<实际文件的64位SHA256>", "frames": 226, "visual_review": "accepted", "audio_review": "accepted"}
]
}
```
该例总计 `243×5+226=1441` 帧、`1441/24` 秒和 2,882,000 个音频采样。参数从选定片段填写;不是用片名或剧情目标时长推测。
```sh
# 先进入用户项目目录;把脚本位置替换为自己的仓库位置
cd /path/to/your-project
python3 /path/to/video-regen-recipes/templates/anime-dialogue-scene/mygo-ave-mujica/scripts/assemble_episode.py \
edit/selected-segments.json --project-root . --output exports/native-v1
# 上面的 dry-run 通过后,执行相同清单
python3 /path/to/video-regen-recipes/templates/anime-dialogue-scene/mygo-ave-mujica/scripts/assemble_episode.py \
edit/selected-segments.json --project-root . --output exports/native-v1 --execute
```
脚本使用 Python 3.10+ 标准库及 PATH 中的 FFmpeg/ffprobe。素材路径相对清单;`../runs/...` 可以使用,但解析后必须在 `--project-root` 内,符号链接也不能越界。输出必须是新目录,重做时换 `native-v2`,不覆盖旧母版。
程序会核对 SHA256、真实解码帧数、逐帧 24 fps 时间戳、尺寸、SAR 1:1、统一像素格式和非空音轨。音频解码后与本段视频相差超过 0.1 秒直接拒绝;不超过 0.1 秒时按已听审确认的编码边界误差补静音/截尾,并把调整采样数写入报告。`audio_review=accepted` 也表示确认句尾完整、这项边界调整不会断话;程序不能替用户判断这一点。缺音轨或明显截短不能靠 `apad` 通过。
成功后得到 `exports/native-v1/master-native.mkv` 与 `assembly-report.json`,报告含选定片段、输入/输出哈希、总帧/采样数及完整解码结果。失败保留临时产物和失败报告,不将 `.part` 当成母版;先查原因,再选择新输出目录。此脚本只做原生母版,不自动生成字幕、BGM 或增强视频。
以下两段例子仅用于解释脚本内部滤镜:**两段均为 175 帧、24 fps、相同尺寸、已有可用音轨**。默认六段方案请运行上面的脚本,不直接复制这个固定帧数例子。
```sh
ffmpeg -n -i segment-01.mp4 -i segment-02.mp4 \
-filter_complex "[0:v:0]setsar=1,setpts=N/(24*TB)[v0];[1:v:0]setsar=1,setpts=N/(24*TB)[v1];[0:a:0]aresample=48000,aformat=channel_layouts=stereo,apad,atrim=end_sample=350000,asetpts=N/SR/TB[a0];[1:a:0]aresample=48000,aformat=channel_layouts=stereo,apad,atrim=end_sample=350000,asetpts=N/SR/TB[a1];[v0][v1]concat=n=2:v=1:a=0[v];[a0][a1]concat=n=2:v=0:a=1[a]" \
-map "[v]" -map "[a]" -c:v ffv1 -level 3 -c:a pcm_s24le \
-fps_mode passthrough master-native.part.mkv
```
`setpts` 在这里重建约定的逐帧时间戳;它不是补帧或插帧。输入若本来是可变帧率,先处理时间线合同,不能用这个示例静默改变节奏。[FFmpeg 滤镜说明](https://ffmpeg.org/ffmpeg-filters.html#setpts_002c-asetpts)
两段滤镜示例的输出应为 350 帧、`350/24` 秒;脚本则根据实际清单计算并校验。检查通过后才将 `.part.mkv` 改名为正式母版;文件存在不等于检查通过。采样率/封装变化后只能称保留原生对白内容,不能称音轨字节不变。
## 4. 字幕必须来自实际生成音频
**剧本是核对材料,实际音轨决定字幕内容和时间。** 先用每段选定原片的音轨做识别,可复用已完成且音频哈希未变的结果。不要先混入额外 BGM 再识别。
1. 保存 ASR 引擎、模型版本、语言、参数、输入音频 SHA256 和原始词级结果。历史可用基线是 faster-whisper `small`、CPU/int8、beam 5、词级时间戳开启、`vad_filter=False`、`condition_on_previous_text=False`;日语模式与自动识别可交叉比对。低置信或漏句时扩大模型/局部重识别,不能把 ASR 输出直接当真值。
2. 逐句建立“说话角色、实际听到的日语、中文翻译、ASR 词索引、局部起止秒、检查状态”。实际多说的词要保留并复核;实际没说的句子不能从剧本补进字幕。人名/同音字只修正书写,不能把错读靠改字幕藏起来。
3. 先采用 ASR 词边界。哭声、短促喊话、人名和疑似漂移的句子,截取该句附近音频做局部 CTC 强制对齐。只对齐已经核对的文本;必要时为汉字补单独的读音表面文本,显示字幕仍保留正常书写。
4. 可以参考历史守卫:ASR 窗口前后各扩 0.12 秒;CTC 首末字符分数的较小值 ≥0.2,尾点与 ASR 差 ≤0.4 秒,起点相对 ASR 偏移在 −0.25~1.2 秒才考虑采用。这些阈值依赖对齐模型,不是通用可信度保证。裁切范围限制在本段内,局部结果加回裁切起点;越过下一说话人或不符合听感就拒绝。
5. CTC 失败、缺模型或边界可疑时,回到 ASR 词边界,结合波形/VAD和试听复核;保留失败原因。不能让安装可选对齐工具阻塞可交付的带标记预览,也不能将降级结果标为人工精确。
6. 对每句加上本段累计帧起点换算的偏移,形成全局字幕事件。检查每个接受的 ASR 词只映射一次、无遗漏/重复、时间单调、位于全片范围内。同一说话人顺序句不重叠;真实抢话要显式分轨/分位置,不能强行顺排造成漂移。
推荐保存 `subtitle-events.json`,每句至少包含 `segment_version`、`speaker`、`ja`、`zh`、`start`、`end`、`source_word_indices`、`timing_method`、`audio_sha256`、`review_status`。同时保留 ASR 原始输出和人工/Agent 修正记录。历史链路中存在仅用 ASR 估计的预览成品,不代表全部版本已完成 CTC 或人工听审。
## 5. 双语字幕排版与烧录
1. 从同一份事件表导出 ASS 和 SRT。ASS 用实际画面尺寸设 `PlayResX/Y`;SRT 先换算成整数毫秒再拆分时分秒,处理进位,避免 `00:00:59,1000`。
2. 默认中文在上、日语在下,也可按用户偏好交换。1088×608 的历史排版示例为中文 38、日文 31,基线 y=548 / 588;换分辨率要重新测字宽和安全区,不能直接复制坐标。
3. 选支持中日文字形、允许本次使用的字体,例如 Noto CJK;在用户运行环境确认真实字体名称。项目只需引用本机字体或放入经许可的 `fonts/`,不要依赖某个操作系统专属字体。
4. 每句用实际字体测量宽度。1088 宽画面可从 1016 像素的可用宽度试起;过长时优先改换行/翻译,若必须拆成两个字幕事件,沿真实词时间切分,不平均切秒数。
5. 先检查 FFmpeg 是否确实包含 `ass` 滤镜,再做短段预览。`ffmpeg -h filter=ass` 即使输出 `Unknown filter` 也可能退出 0,必须检查输出内容,不能只看退出码。缺 libass 时换用用户环境可用的构建并记录版本。
```sh
ffmpeg -hide_banner -h filter=ass
# 从项目后期目录运行;先确认 subtitles.ass 和 fonts/ 存在
ffmpeg -n -i master-native.mkv \
-vf "ass=subtitles.ass:fontsdir=fonts,setsar=1" \
-map 0:v:0 -map 0:a:0 -c:v libx264 -preset slow -crf 18 \
-c:a aac -ar 48000 -b:a 256k -fps_mode passthrough delivery.part.mp4
```
`ass` 烧录依赖启用 libass 的 FFmpeg;路径含滤镜特殊字符时由 Agent 正确转义,或将后期文件放入本项目的简单相对路径。[FFmpeg ASS 文档](https://ffmpeg.org/ffmpeg-filters.html#ass)
检查日志中的缺字/字体回退警告,再检查实际渲染图,尤其是专名、标点、长句和两行边界。烧录字幕在像素内,`ffprobe` 查不到独立字幕流并不表示烧录失败。保留外置 ASS/SRT,方便用户以后修改。
## 6. 可选 BGM:先让对白清楚,再考虑氛围
没有额外配乐需求就保留原生音轨。要配乐时,单独制作一条与全片等长的连续音乐轨,可用有权使用的音乐、生成音乐,或自编 MIDI 配合可用的合成器/音源;记录来源与许可。Apple 本地采样器只是历史可选实现,跨平台可用已安装的 DAW 或 FluidSynth 等替代,不要求用户安装某个系统专属合成器。
Agent 按下列算法生成音量包络及混音,输出 PCM 中间音轨。`dB(x)` 在这里指窗口 RMS 的 dBFS,不是 LUFS;零能量窗口须单独处理,避免 `log(0)`。
1. **保护原生音轨。** 默认不去噪、不分离人声。若片段间音量差明显,可参考历史上限:每段增益取 `min(8, -22 - voice_rms_dbfs, -1.5 - peak_dbfs)` dB,其中 `voice_rms_dbfs` 从实际发声窗口取值;无对白片段单独检查,不能对静音放大。保存每段增益。
2. **留出演出声音。** 用实际剧情确定场内 live 开始位置 `live_start`,额外 BGM 在此前约 0.75 秒渐到 0,并保持静音至需要重新入乐的位置;不要硬编码历史影片的秒数。原生乐器演奏属于场内声音,不再叠一份相同功能的音乐。
3. **按实际发声压低配乐。** 基础 BGM 增益可从 0.7 试起。每个复核发声窗口内取 `min(0.7, 10 ** ((native_rms_dbfs - 14 - music_rms_dbfs) / 20))`,前 0.08 秒渐入压低、后 0.16 秒渐恢复;重叠窗口取更低包络。已有淡出包络也取更低值,防止 ducking 把静音区重新抬高。
4. **控制峰值。** 原生音轨与处理后配乐相加后,必要时整体缩放,使样本峰值不高于 −1 dBFS;编码后再检查真峰值和削波。不要为了响度牺牲对白清晰度。
5. **核验并试听。** 逐个发声窗口记录 `native_rms_dbfs - bgm_rms_dbfs`,历史参考目标约 14 dB;静音配乐记为静音,不伪造巨大数值。原生轨含环境音/乐器,差值不能证明纯人声可懂,仍要听最轻声、哭泣和 live 转场。
保留 `master-mix.wav`、BGM 原轨、包络、采样率/总采样数、混音前后哈希和检查记录。烧录时在上节命令中新增 `-i master-mix.wav`,将音轨映射改为 `-map 1:a:0`,其余视频输入仍为母版;先确认混音精确覆盖完整时间线,不用 `-shortest` 隐藏长度错误。
```sh
ffmpeg -hide_banner -i master-mix.wav -af ebur128=peak=true -f null -
```
该命令用于读出响度和真峰值,不自动把结果调到某个目标。音乐文件只有可解码、总采样数正确且尾部行为符合计划时才算生成完成;“脚本运行结束”不能替代音频验证。
## 7. 可选增强:超分与修脸分别处理
先交付通过检查的基础版本,再决定是否花 GPU 时间增强。增强不能修复说错台词、声线互换、肢体动作错误或追逐方向错误。
**RTX VSR 历史参数示例:** 输入 1088×608,输出 3264×1824,倍率 3、质量 ULTRA、24 fps 不变;每批 32 帧。图中 `VHS_LoadVideo.force_rate=0`,倍率位于对应尺寸设置中;先查询当前 `/object_info` 和导出图,不能把字段名当跨版本通用 API。该链路没有 RIFE 插帧。
1. 锁定增强源 SHA256、总帧数、尺寸、FPS 和音轨。历史链路先烧字幕再 VSR,因此字也被一起放大;新项目可选择先超分、后在高分辨率重排字幕,但这是一条需要另验的新顺序。
2. 先做一帧几何测试,再做包含人脸、切镜或运动的短段测试;检查线条、纹理和闪烁。根据用户设备的显存、内存、磁盘测出安全分块量,32 帧只是例子。
3. 每块保存源帧范围、任务 ID、输出哈希和完成状态。恢复前检查帧号连续无缺口、源版本未变;只补缺失/失败块,不能重复提交已完成块或拼入旧源的缓存。
4. 保持完整帧数和原 FPS。历史交付使用 H.264 NVENC `p7/hq`、100 Mbps 目标码率、100 Mbps 最大码率、200 Mbps 缓冲、`yuv420p`;没有 NVIDIA 编码器时选可用编码器并报告参数改变,100 Mbps 不等于每个内容都达到恒定码率。
5. 如输入已经是合适的 AAC 音轨,增强结果封装时复制该音轨,检查音频载荷哈希相同。若从 PCM 母版重新编码,记录编码转换,不承诺与旧 AAC 字节相同。
**人脸修复不是默认环节。** 历史仅完成了“跟踪裁脸 → H3 低降噪重采样 → 蒙版贴回”的研究与环境准备,没有完成正式全片修脸验收。若用户要尝试,另建版本,先验证节点/依赖与单个切镜内短段;不要跨切镜直接平滑轨迹,也不要把 VSR 成品标为已修脸。
## 8. 最后一次验收与交付清单
对每个待交付视频执行只读检查;示例中的文件名替换为本次已生成文件:
```sh
ffprobe -v error -count_frames -show_streams -show_format -of json delivery.part.mp4
ffmpeg -v error -xerror -i delivery.part.mp4 -map 0:v:0 -map 0:a:0 -f null -
# 仅当某一步明确承诺音轨复制时,对该步输入和输出分别执行并比较
ffmpeg -v error -i delivery.part.mp4 -map 0:a:0 -c copy -f hash -hash sha256 -
```
逐项核对:总解码帧数与累计计划一致;尺寸/FPS/SAR 正确;音轨存在且完整可解码;开头、每个切镜、结尾同步;字幕无漏句/遮挡;对白和 BGM 可懂;增强版无缺帧/重复帧。AAC 编码延迟可能影响容器时长,视频时长优先用帧数/FPS 解释,再检查音频实际起止,不用文件名中的“60秒”当证据。
交付 `master-native`、用户可播放的 `delivery.mp4`、ASS/SRT、所选片段版本清单与验证记录;可选附混音 WAV、增强版和小尺寸预览。检查通过再原子改名。用户项目资产和执行记录留在用户项目目录,不提交到本模板仓库。自动检查通过与人工内容确认分别记录;没有真实上传/接收证据时只报告本地文件已就绪。
## 9. 出错时从哪一步重做
|改动或失败|重做范围|可以复用|
|---|---|---|
|服务已完成但下载断线|核对远端任务/输出,续传临时文件并校验|已完成推理|
|单段角色、声线、台词或动作错|修订并重生成该段;重做该段音频识别;刷新引用它的拼接/字幕/混音/导出|未依赖该段输出的其他片段|
|只改字幕文字/版式,发声时间不变|更新 ASS/SRT 与烧录;若增强源含烧字,还需更新受影响增强结果|原片、ASR、对齐、原生母版和混音|
|字幕时间边界改变|重新核对该句对齐、ducking 包络、混音与烧录|视频推理、未改动句子的识别|
|只改 BGM|音乐/包络/混音与最终音轨封装;不必重新生成视频帧|原片、字幕、画面增强|
|增强一块失败|查该块任务状态,再重做缺失块与最终编码/封装|同一源哈希下已校验的连续块|
如果下一段使用上一段图像/音频上下文,该段改动会让后续依赖链过期,不能保证只改一个文件。每个返修版本另建提交记录,保留旧图、Seed、拒绝原因和产物;只有更新当前清单后,新版本才进入后期。Agent 超时后先接管已有状态和健康进程,不能把超时当作需要重复推理的证据。
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| slack-gif-creatoranthropics/skillsKnowledge and utilities for creating animated GIFs optimized for Slack. Provides constraints, validation tools, and animation concepts. Use when users request animated GIFs for Slack like "make me a GIF of X doing Y for Slack." | Stars: 198k | Updated | Claude CodeCodex | Verified | Install |
| ponytailDietrichGebert/ponytailLazy senior dev mode for any coding task: the smallest change that fully solves it, and a reply a busy human understands in one read. | Stars: 196k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailHarvest every shortcut: comment into one debt ledger, so deferrals get tracked instead of forgotten. One-shot report. | Stars: 196k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailList every `shortcut:` comment (and older `ponytail:` ones) as a debt ledger. One-shot report, changes nothing. Use for "ponytail debt", "what did ponytail defer", "list the shortcuts", /ponytail-debt. | Stars: 196k | Updated | Claude CodeCodex | Verified | Install |