Shenrui-Ma/video-regen-recipes / templates/anime-dialogue-scene/mygo-ave-mujica
mygo-ave-mujica-episode
Verified根据文字剧情制作 MyGO 或 Ave Mujica 同人 AI 番剧,按顺序准备角色图和音色、构建 H3 Ref2VA 分段工作流、生成新对白与画面、恢复任务并完成字幕剪辑。用户要求制作该类番剧或复用此模板时使用。
| File | Kind | Size |
|---|---|---|
| LICENSE | other | 1.1 KB |
| LICENSES.md | markdown | 1.3 KB |
| README.md | markdown | 3.3 KB |
| SKILL.md | skill md | 4.4 KB |
| evidence/README.md | markdown | 2.5 KB |
| examples/episode.ave-mujica.json | config | 9.3 KB |
| examples/episode.mygo.json | config | 9.5 KB |
| profile.json | config | 2.7 KB |
| prompts/image-reference.template.txt | markdown | 3.3 KB |
| references/assets-and-voices.md | markdown | 12.3 KB |
| references/editing-and-delivery.md | markdown | 19.4 KB |
| references/efficiency-and-variants.md | markdown | 3.4 KB |
| references/h3-runtime.md | markdown | 13.3 KB |
| references/running-shots.md | markdown | 5.9 KB |
| references/story-and-shots.md | markdown | 4.2 KB |
| references/validation.md | markdown | 1.4 KB |
| scripts/assemble_episode.py | script | 13.1 KB |
| scripts/build_episode.py | script | 23.0 KB |
| scripts/run_shot.py | script | 30.7 KB |
| sources.md | markdown | 2.2 KB |
| tests/test_assemble_episode.py | script | 4.8 KB |
| tests/test_build_episode.py | script | 19.9 KB |
| tests/test_run_shot.py | script | 20.8 KB |
| workflows/ref2va.api.template.json | config | 1.7 KB |
| workflows/toolkit-source.json | config | 717 B |
references/assets-and-voices.md
View on GitHub# 准备角色图、场景图和参考声音
先把第一段会用到的资产做好,再扩展到其余角色与场景。相同角色、服装和场景复用已验收文件;只在背面动作或复杂站位确实需要时补图。
## 1. 建立角色与资产表
从 [MyGO 官方人物目录](https://anime.bang-dream.com/mygo/character/)或 [Ave Mujica 官方人物目录](https://anime.bang-dream.com/avemujica/character/)进入具体人物页,核对日文名、外观、乐器和当前服装。搜索结果的缩略图不能代替身份核验。
| 组合 | 建议使用的稳定角色 ID | 注意 |
|---|---|---|
| MyGO!!!!! | `tomori`、`anon`、`rana`、`soyo`、`taki` | 角色立绘不是统一校服;逐人核对衣服,不能把乐奈的日常服写成校服 |
| Ave Mujica | `uika`、`mutsumi`、`umiri`、`nyamu`、`sakiko` | 日常身份、舞台服、面具版本分别登记,不在相邻镜头中无意混用 |
在自己的工作项目中保存素材,以下为建议目录,不是必须安装的位置:
| 文件 | 职责 | 必须记录 |
|---|---|---|
| `assets/characters/<id>/source.png` | 来源立绘,保留原件 | 人物页与资源 URL、取得日期、哈希、使用范围 |
| `assets/characters/<id>/identity.png` | H3 人物身份参考 | 对应角色、服装版本、从原件做了什么处理 |
| `assets/characters/<id>/turnaround.png` | 可选的侧背面辅助图 | `generated: true`、生成工具、参考图顺序、提示词、验收结果 |
| `assets/scenes/<scene_id>/reference.png` | 可复用空场景或本镜头空间图 | 布局、灯光、比例、固定物件;空间图另记机位、角色及乐器归属 |
| `assets/voices/<id>/reference.wav` | 音色条件 | 来源、原音轨截取区间、处理参数、转写与听验结果 |
把使用中的文件登记到 `episode.json`:`characters.<id>` 的 `identity_image`、`turnaround_image`、`voice_audio`;场景登记到 `scenes.<id>.image`,路径相对于工作项目。来源、哈希和验收结果另存资产清单;失败或未查看的资产保持 `pending`。官方素材和生成补图分开存放,公开模板只收录通用配方与来源链接。素材可公开访问不等于其使用许可已确认。
## 2. 先做可靠的身份图
1. 打开来源图片,确认角色与服装。保存来源原文件并计算哈希,避免只按文件名认人。
2. 如透明边太多,在派生副本中按 alpha 非透明边界裁切,留适量边距,合成到纯色底;历史流程使用白底和四边各 32 px 留白。保持比例,不能裁掉头发、鞋、乐器或饰物。
3. 检查脸、发型、瞳色、服装细节及人数,合格后固定为该服装版本的 `identity.png`。
4. 原链路为人物生成三视图,公开示例也沿用这一准备方式。它是基于立绘的设计推演,不能标成官方设定;未找到公开设定只记“本次未找到”,不要断言不存在。只有身份图足以覆盖的简单镜头可试着省略三视图,需记录为新变体并单独验证,不能冒充原链路已经验证的省略方式。
**三视图验收:** 同一人物的正面、90° 侧面、背面;等高、同地面线、全身完整、服装一致、无额外人物。看不见的结构保守补全,不添加装饰。若侧背面与身份图冲突,重做辅助图,不反向修改身份基准。
## 3. 选择生图 Skill,按图片职责生成
| 入口 | 用法 |
|---|---|
| [GPT Image 2 high](../../../../skills/gpt-image2-reference-images/SKILL.md) | 延续原链路的选择;适合身份图编辑、三视图、布局图加多人物参考。按 Skill 核实实际模型与 high 参数,保存原图 |
| [ComfyUI:SDXL / Anima](../../../../skills/comfyui-reference-images/SKILL.md) | 复用可用模型与工作流,缺模型时按 Skill 查找和核验。默认本地,远程仅更换连接方式 |
| [NovelAI 官方 API](../../../../skills/novelai-reference-images/SKILL.md) | 按其文生图、图生图或参考功能组织输入;功能未被当前客户端支持时不要假装已接线 |
使用[通用图片提示词](../prompts/image-reference.template.txt),一次选一个模式:
- **三视图:** 附一名角色的身份图;同一画面展示该角色三次。不要附五名角色却要求“三个人”。
- **空场景:** 固定门、舞台、桌椅和灯光,不生成人物。记录镜头中会改变与保持不变的物件。
- **空间参考:** 先做布局,再把占位人物替换成真实角色;它与单人的身份图职责不同。
自然语言提示词可直接用于支持它的入口;SDXL、Anima、NovelAI 按所选 Skill 转写成对应格式。相同语义不代表参数、参考图字段或控制能力可以互换。必须检查实际图片连线与输入顺序。
## 4. 复杂舞台先定空间,再角色化
多人演奏或跨镜机位变化时采用这一步;普通双人对话可以先用空场景加身份图。
1. 建立 `spatial_scene.json`:列出角色世界位置、朝向、乐器归属、允许的局部移动,以及每镜头相机位置和注视点。注明坐标单位与轴向;可约定 x 为观众视角舞台右、y 向上、z 向舞台后。
2. 用相机投影生成布局图,标出地面、角色占位和角色 ID。检查遮挡与纵深,不能只把五个人排成一条横线。
3. 先核对所选生图入口的参考图数量上限;本仓库 GPT Image API 客户端最多接 4 张,更多参考需使用已确认支持的入口或另行分阶段制作,不能静默丢图。生图时实际附上布局图,再按记录顺序附身份图。提示词逐项对应顺序,要求保留人物站位、乐器、机位和角色外观,去掉标签、网格与占位人。
4. 看图检查人数、人物对应、乐器、相对左右与前后关系、脚与地面接触。结果合格才把它作为 H3 的额外图像参考。
5. 更换辅助图后,重新核对 H3 图像编号;已有音频连线、说话人映射和新台词保持与本段计划一致。保存新版本,不覆盖已验收版本。
历史流程确实制作过“坐标计划 → 投影图 → GPT Image 2 high 角色化图 → H3”的输入链。但这是 **Ref2VA 软参考**:图中时刻不会自动成为指定秒数的硬关键帧,也不会锁定人物轨迹。必须对实际生成视频验收站位和动作。
## 5. 把角色原声整理成音色参考
这里准备的是 **voice reference**,不是成片对白。历史链路从官方逐角色 CM 的音轨挑选完整句,经 ASR 和分离后,把干净 Speech 接入 H3;新的台词由 H3 在本段生成。现成的、已获授权的干净录音也可直接从第 5 步验收,不必重复分离。
1. **找来源。** 从动画官网及其链接的官方频道找人物介绍或 PV;用日文名与 `キャラ別紹介CM` 辅助检索。核对频道、标题和说话角色,不能盲取搜索第一条。取得可用音轨后记录媒体 URL、格式与哈希;音频容器不应标成完整视频。
2. **转写完整音轨。** 原流程使用 faster-whisper `small`、CPU `int8`,日语 `language="ja"`、`beam_size=5`、`word_timestamps=True`、`vad_filter=False`。保存句子和词时间戳。需实际遍历返回的 segments 才会完成转写;模型缺失时先准备模型,不能同时要求离线且假设已有缓存。[faster-whisper 用法](https://github.com/SYSTRAN/faster-whisper#usage)
3. **按完整句截取。** 选择单一说话人、无遮挡、无他人串音的句子;在词边界前后各留至少 0.1 秒保护。时间区间以原音轨为准。每条参考 2–15 秒,本段总长不超过 15 秒;附带构建器最多接受三位说话人。建议起步沿用历史流程的一至两位,三人对话是需要单独验收的扩展。
4. **必要时去音乐与音效。** 用 DNR 三轨分离,取 Speech;保留原片段和 Music/Effects 以便对比。不要把一般的歌声/伴奏二分模型等同于对白分离。下表给出原链路参数作为起点。
5. **输出与复核。** 将 Speech 存为 48 kHz、双声道、24-bit PCM WAV;不自动变调、变速或叠加响度处理。原片段和处理后音频分别重跑 ASR,使用 `condition_on_previous_text=False`,归一化标点和空白后比较;差异需听验,不能仅因文字不同就强行改音频。
6. **试听通过再绑定。** 核对声线、截句完整性、音乐残留、金属音和破音。自动检查全解码、采样率/声道、有限数值、峰值、RMS、削波和句首句尾保护。无听音能力则标记 `listening_review_pending`,不能记为通过。
### DNR 参数与最小入口
原流程是 `pymss==2.0.14`、`pymss-core==0.1.4`,Bandit+ 模型 `model_bandit_plus_dnr_sdr_11.47`,配套同名 checkpoint 与 YAML。当前入口以[该版本发布文档](https://pypi.org/project/pymss/2.0.14/)及实际安装版本的帮助为准;先在独立环境核对模型目录,先处理一人,再批量其余角色。
| 参数 | 起始值与含义 |
|---|---|
| `device` / `batch_size` | `cpu` / `1`;改用其他设备要记录并重验 |
| 模型音频采样率 | `44100`;这是分离模型内部配置,最终参考文件再转 48 kHz |
| `chunk_size` | 配置内 `264600`,即 6 秒;不覆盖它不等于没有分块 |
| `overlap_size` | `198450`,即 4.5 秒;不能抄训练配置的 batch 当推理参数 |
| `use_tta` / `standardize` / `normalize` | 均为 `false` |
| 输出 | Speech、Music、Effects,WAV FLOAT;验收 Speech 后另存 H3 参考格式 |
下面是通用 CLI 示例,**不是已经在新环境跑通的记录**。先确认已安装所需版本、模型和配置完整;让 Agent 解析 `PROJECT_DIR` 为工作项目,再确认 `pymss infer --help` 支持这些参数。模型不在本地时此入口可能自动下载,需先核对模型来源与文件。
```sh
pymss infer model_bandit_plus_dnr_sdr_11.47 \
-i "$PROJECT_DIR/assets/voices/selected-context.wav" \
-o "$PROJECT_DIR/assets/voices/separated" \
--device cpu --format wav \
--param batch_size=1 --param overlap_size=198450 \
--param standardize=false --param normalize=false
```
确认实际输出哪个文件是 Speech,再把它绑定到角色;不能猜输出文件名。`.part` 是未完成下载,不能改名伪装成权重。没有 `pymss` 命令时检查安装环境与 PATH;源码入口按发布文档使用 `python -m pymss.cli`,不要凭空构造其他包的 `python -m` 命令。
## 6. 每段重新绑定身份、声线和新台词
视觉角色表与说话人表是两套顺序:`cast` 决定 `<Subject i>`,`dialogue` 中首次发声的先后决定 `<Audio j>` 与 `(Sj)`。示例:`cast` 是灯、爱音、乐奈;对白先由爱音说,再由灯说。
| 角色 | 图像条件 | 音频条件 | 台词说话人 |
|---|---|---|---|
| 高松燈 | `<Subject 1>` → 灯的身份图 | `<Audio 2>` → 灯的参考音频 | `(S2)` |
| 千早愛音 | `<Subject 2>` → 爱音的身份图 | `<Audio 1>` → 爱音的参考音频 | `(S1)` |
| 要楽奈 | `<Subject 3>` → 乐奈的身份图 | 无,本段不说话 | 无 |
在提示词写出绑定语义,例如:
```text
<Audio 1> is the voice reference for <Subject 2> (S1).
Transfer only speaker timbre. Do not copy the source words, rhythm,
emotion or background audio. Speak the new dialogue assigned to S1.
```
构建器依次加入本段 `cast` 身份图、按说话顺序排列的三视图和场景图;辅助图不是新的演员。逐项核对实际 `LoadAudio → Ref2VA` 连线、音频列表顺序、`<Audio j>` 与 `(Sj)`;只写提示词不算已接入音频。下一段的 `(S1)` 可以是另一人,不能沿用上段编号。新增场景图与辅助图也不能悄悄挤掉身份输入或改变说话人映射。
最终音轨应来自本段 H3 新生成的音频;若另选 TTS 配音路线,需要单独生成新台词、对齐画面并说明路线变化,不能把参考片旧台词直接贴上成片。声纹相似度和 ASR 一致性只能帮助排查,不能换算成“声线还原率”。
## 交给下一步的结果
只交付已验收的身份图、必要辅助图、参考声音、资产清单和本段绑定表。原文记有 MyGO 五人资产及后续复用过程,但三视图、空间图的视觉验收和净化音频的主观听验并不完整;本次整理也没有重新执行这些生成。Ave Mujica 是按相同方法准备新资产的扩展路径,其图片、声线和成片效果须逐项验证。
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| slack-gif-creatoranthropics/skillsKnowledge and utilities for creating animated GIFs optimized for Slack. Provides constraints, validation tools, and animation concepts. Use when users request animated GIFs for Slack like "make me a GIF of X doing Y for Slack." | Stars: 198k | Updated | Claude CodeCodex | Verified | Install |
| ponytailDietrichGebert/ponytailLazy senior dev mode for any coding task: the smallest change that fully solves it, and a reply a busy human understands in one read. | Stars: 196k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailHarvest every shortcut: comment into one debt ledger, so deferrals get tracked instead of forgotten. One-shot report. | Stars: 196k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailList every `shortcut:` comment (and older `ponytail:` ones) as a debt ledger. One-shot report, changes nothing. Use for "ponytail debt", "what did ponytail defer", "list the shortcuts", /ponytail-debt. | Stars: 196k | Updated | Claude CodeCodex | Verified | Install |