ZJU-REAL/Easel / skills/builtin/short-drama
short-drama
Verified制作多集 AI 微短剧:建立剧集圣经和角色参考,完成分集剧本、逐镜 I2V、对白审计、配音字幕 BGM 与成片,保持跨镜跨集一致性。 当用户说“AI/横屏/竖屏/微短剧、拍短剧、分集剧本、连续剧情视频、做几集短剧”时使用。 单条非剧情视频用 auto-short-video;只写单条脚本用 video-script;只生成一个视频片段用 ai-video-gen。
| File | Kind | Size |
|---|---|---|
| EASEL-META.md | markdown | 2.9 KB |
| SKILL.md | skill md | 24.1 KB |
| references/causal-beats.md | markdown | 3.2 KB |
| references/character-consistency.md | markdown | 3.3 KB |
| references/dialogue-craft.md | markdown | 4.2 KB |
| references/drama-review-rubric.md | markdown | 5.1 KB |
| references/four-act-drama.md | markdown | 2.7 KB |
| references/genre-hooks-handbook.md | markdown | 5.4 KB |
| references/native-audio-workflow.md | markdown | 6.1 KB |
| references/satisfaction-and-villain.md | markdown | 3.8 KB |
| references/series-bible-schema.md | markdown | 5.5 KB |
| references/shot-prompt-format.md | markdown | 6.4 KB |
| references/story-engine.md | markdown | 5.8 KB |
| references/vertical-pacing.md | markdown | 2.0 KB |
| scripts/drama_ops.py | script | 40.8 KB |
| scripts/dubbing.py | script | 46.1 KB |
references/native-audio-workflow.md
View on GitHub# 模型无关的原生音频协议
## 原则
把视频模型差异限制在 `ai_video.py` 的 capability profile。短剧层只使用统一语义:
- `native_audio`:能否生成原生同步音频。
- `dialogue`:能否按 prompt 尝试生成画内对白。
- `dialogue_faithful`:能否**逐字忠实**生成指定台词(决定用原生对白还是"无台词生成+后期配音",默认 `false`,由 `probe-dialogue` 探针或覆盖确认)。
- `audio_reference`:能否使用音频参考。
- `audio_field` / `audio_location`:provider 请求字段映射。
如果网关默认返回有声视频但尚未确认开关字段,只声明 `audio_default: true`,不要向接口猜测并注入未知参数;产物仍进入相同审计流程。
能力声明不是质量证明。下载后始终用 ffprobe 和 ASR 审计实际产物。
## 覆盖新模型
内置 provider 未及时收录新模型时,用 `VIDEO_CAPABILITIES_JSON` 覆盖,不修改短剧脚本:
```json
{
"openai-compatible:new-video-model": {
"native_audio": true,
"dialogue": true,
"dialogue_faithful": false,
"audio_reference": false,
"audio_field": "generate_audio",
"audio_location": "root"
}
}
```
运行 `ai_video.py capabilities --provider ... --model ...` 检查最终能力。
## 默认就让视频模型说台词(native-first)——能用模型原声**一定**用
**第一原则:视频模型能说台词就让它说、并优先采用它的原生人声**(自然、口型天生同步、省 TTS、无双重人声)。视频模型的音轨**绝不是"只留环境音"**——默认就要求它逐字说出台词。是否采用**由逐镜 audit 按实际产物判定**,不预先假设模型不行、更不能"反正有 TTS 就默认不让模型说话"。
**默认流程(`--dialogue-mode auto`,不需要预先探针):**
1. `prepare` 默认 **native-first 契约**:把台词写进每镜 `generation_prompt`,要求模型逐字说出。(治「台词全对不上」的根本就是**把台词喂给模型**;`shots validate --pre-video` 硬门保证喂到位。)
2. 逐镜生视频(带 generation_prompt)。
3. `audit` 逐镜 ASR 核验,**按实际产物**决策:
- **`native`(常态)**:一镜一句画内对白、语言正确、相似度 ≥ 阈值(默认 0.6,偏向「可用就留」),或纯动作镜无意外语音 → **整轨原音(人声+环境音)直通、字幕用 ASR 起止、不配音**。这是主路径。
- **`dub`(例外)**:这一镜人声**真的坏了**(语言错/内容明显不符),或完全无原音 → 该镜改用 TTS。⚠️ 无人声分离时,**dub 镜的原生音轨(含说错的人声)整轨丢弃、补静音**——保留会与 TTS **双重人声/回声**(真机踩过),故 dub 镜牺牲环境音换不重复。
- **`regenerate`**:片段缺失/ASR 读不出/动作镜意外语音 → 带反馈重生成,拿到好原声即转 native。
4. 旁白(画外音)永远走独立 TTS 轨(视频模型不生成旁白)。语言正确是强制前置门。
**`dub-reserve`(生成阶段就不给台词、只留口型+预留时长、全靠后期配音)只在模型被 `probe-dialogue` 实测判「不逐字忠实」时才用**(或显式 `--dialogue-mode dub`)——是**少数说不好台词的模型的兜底,不是默认**。绝不能默认走它。
- **`dialogue_faithful` 探针 = 可选诊断**:只有成片对白**反复**不准、怀疑模型天生说不好时才跑 `probe-dialogue`(真发 1 次生成让模型说测试台词 → ASR 比对语言+相似度阈值 0.9 → 判定并按 `provider:model` 缓存)。默认(未实测)走 native-first、不据默认判 dub。
- 建议探针用真实短剧画面 + 中英混杂台词压测(`--scene`)。缓存按 `provider:model` 存;`prepare --provider/--video-model` 会把解析后的选择锁进 shots.json,`generate` 必须复用,保证探针、契约和实际生成命中同一模型。
- 探针默认 t2v、短剧走 i2v,忠实度可能不同:**首个对白镜生成后务必跑 `audit` 抽验**(如月站v2 实测 i2v 亦忠实)。
## 音色固定(换配音时)
需要换配音的角色,**音色由 `cast.json` 按角色绑定的 `voice_id` 决定,且贴合其定妆参考图形象**(萝莉→童声、御姐→成熟音…)。同一角色**跨镜跨集音色恒定**(一部剧一份 cast.json,一个角色一个 voice_id);只有情绪/语调随 `emotion` 逐行变化(`multivoice.emotion_prosody` 叠加 rate%/pitchHz/volume% 增量),**音色身份绝不改变**。
## 旁白/TTS 是短板(实战要点)
对白走原生视频音时很自然(模型忠实即可);但**旁白(画外音)永远走 TTS**,其自然度**取决于 TTS provider**——小模型(如 SiliconFlow CosyVoice2-0.5B)旁白偏机械、"AI 味"。想让旁白更像真人:① 配更强的 TTS provider(minimax 最自然 / dashscope CosyVoice 大模型),见 voice-casting.md;② **少用旁白、多用画内对白**(对白走原生音更自然);③ 旁白情绪词别写"平静克制"这种"叫它平"的词,用有叙事张力的语气。
- **旁白 `at` 越界会自动前移适配**(画外音无口型约束,`shot_layout` 自动处理),不必人工反复调;**画内对白 `at` 越界仍硬拦**(要对齐嘴动,必须拆镜/精简/改 at)。
## 候选与重试
每镜最多生成首个候选加两次重试。每次保留原文件和审计报告,不覆盖候选。重试 prompt 必须带上具体失败反馈,例如“检测为英文”“漏掉后半句”“2.1 秒才开口”。**`regenerate` 优先**——重生成拿到好原声,既用上模型自然人声又保住整轨环境音(比转 dub 好);重生成用尽仍说不好,才按 `dub` 换 TTS 配音(该镜原生轨丢弃、无环境音)。
最终拼接前统一为 H.264、CFR、AAC 48 kHz stereo。**只有 `native` 镜保留其原生音轨(人声+环境音)**;`dub` 镜与无原音镜补等长静音轨(dub 靠独立 TTS 配音),保证跨模型、跨编码拼接稳定、不产生双重人声。侧链闪避仅用于让旁白/配音干净盖在 native 镜的环境音之上。
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| slack-gif-creatoranthropics/skillsKnowledge and utilities for creating animated GIFs optimized for Slack. Provides constraints, validation tools, and animation concepts. Use when users request animated GIFs for Slack like "make me a GIF of X doing Y for Slack." | Stars: 198k | Updated | Claude CodeCodex | Verified | Install |
| ponytailDietrichGebert/ponytailLazy senior dev mode for any coding task: the smallest change that fully solves it, and a reply a busy human understands in one read. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailHarvest every shortcut: comment into one debt ledger, so deferrals get tracked instead of forgotten. One-shot report. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailList every `shortcut:` comment (and older `ponytail:` ones) as a debt ledger. One-shot report, changes nothing. Use for "ponytail debt", "what did ponytail defer", "list the shortcuts", /ponytail-debt. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |