JimLiu/baocut / skills/baocut/built-in-skills/virtual-host
virtual-host
Flagged做会说话的卡通虚拟主播时用:一个卡通角色(半身像)跟着旁白自动对口型,会眨眼、呼吸、点头转头、头发跟着晃,可以换表情,常驻在画面角落讲解或整镜出镜。用户没有自己的角色时从 BaoCut 自带的 19 个原创主播里推荐,要自己的形象时才生成正面像、改图拆成分层的角色包;口型按读音与音量算成动作轨;放上时间线是一个角色贴纸,预览与导出直接画,不用烘焙。不用于:真人照片或实拍视频对口型、换脸与写实数字人;角色走动、拿东西的表演(character-animation);只要一张插图。
references/lipsync.md
View on GitHub# 动作轨:输入、选项与核对
`lipsync.mjs` 把配音和逐字时间算成角色的动作轨(`baocut-puppet-track` 的 JSON),同时写一张给人看的核对表 `lipsync-check.txt`。结果只由输入和 `--seed` 决定,重跑得到同一份。
## 1. 输入
| 有什么 | 怎么给 |
| --- | --- |
| `production-scripts` 的逐字时间 `timing/<段>.json`(`{dur, lines:[{text, start, end, chars}]}`) | `--timing timing/intro.json`,句子按 `lines` 分 |
| 转写结果 `baocut.asr-result/v1`(`segments[].words[]`,整数刻度 + `timescale`) | `--words intro.words.json`,句子按 `segments` 分 |
| 自己的词表 `[{w, t0, t1}]`(秒;也认 `window.X = [...]` 这样的 JS 文件) | `--words words.json`,停顿超过 0.6 秒或句末标点处分句 |
| 只有声音 | 只给 `--audio`:没有读音,按音量开合、按元音的音色挑圆唇或咧嘴,闭唇字不保证闭上 |
转写拿逐字时间:transcribe 给配音的 `file` 并带 `noVideo: true`(知道语言时给 `language`),jobs_inspect 等到 completed,结果里 `pipeline.summary.transcribeJobId` 是内层转写任务;再 jobs_inspect 它,用 artifacts_save 把它的转写结果(`artifactId`)存成 `<名>.words.json`。
转写的文字和旁白稿不一致(错字、同音字)时口型照样能用:口型按读音来,同音字读音相同;读错的词用读音表纠正(第 3 节)。
`--audio` 一定给,而且给放进视频的那份配音:音量决定静音时闭嘴、轻读时嘴小、声音没来时不提前张嘴。配音下面垫着音乐或几个人同时说话时,给单独的人声。
## 2. 选项
| 选项 | 说明 |
| --- | --- |
| `--out` | 动作轨的路径(必填),例如 `host/intro.track.json` |
| `--lang` | BCP 47 语言标签,缺省 `auto`(按文字猜:有假名是日文、有汉字是中文、有谚文是韩文,否则英文)。中文旁白里夹着英文词时照写 `zh-CN`,英文词按英文读 |
| `--dur` | 秒。动作轨的长度,缺省取配音长度或最后一个字后 0.5 秒 |
| `--faces` | 表情区间,见第 4 节 |
| `--readings` | 读音表,见第 3 节 |
| `--seed` | 点头与朝向的随机种子,缺省 1。两个主播用不同的种子,免得动作同步 |
| `--motion` | 说话时头和眉毛动多少,0 到 2,缺省 1。0 只动嘴(`act` 照做) |
| `--bounce` | 开关,不带值:每个音节整个人轻轻跳一下,像 PNGTuber。半身角色只往下沉再回来,不露出下面的切口 |
| `--fps` | 只管核对表:按这个帧率列每个字的口型,缺省 30,照视频。动作轨本身总是 120 fps |
| `--check` | 核对表路径,缺省与 `--out` 同目录的 `lipsync-check.txt` |
动作轨的 0 秒就是配音的 0 秒,没有偏移选项:配音在成片里从第几秒开始,由贴纸的 `motionIn` 对上(SKILL.md 第 4 节)。
## 3. 核对表与读音表
核对表先写总数(长度、120 fps 的步数、口型变化次数、点头次数、句数,再是各口型占比),再逐句逐字一行:
```text
13.35s, 1603 steps at 120 fps (shown below at 30 fps), mouth changes 100, nods 14, phrases 5
shapes: A 2% B 25% C 13% D 6% E 11% F 11% X 30%
line 1 0.00–2.14 大 家 好 我 是 宝 玉
1.28 我 wo F·E XFFXX
1.52 宝 bao A·D·E BAADDDEE
```
列依次是:字的开始时刻、字、读音(和字相同时空着)、读音给的口型顺序、画面上这个字占的帧实际出的口型(按 `--fps` 每帧一个字母)。口型字母:`X` 不说话、`A` 闭唇、`B` 半张、`C` 张开、`D` 大张、`E` 圆、`F` 小圆、`G` 咬唇。查这几样:
- b p m 开头的字里有 `A`;f v 开头的有 `G` 或 `B`;u w o 的字里有 `F` 或 `E`。
- 句间停顿是 `X`;句中一长串 `X` 多半是音量太低或时间偏了。
- 读音列错了(多音字、日文汉字、品牌名、缩写),或是 `?`(读不出),写读音表。
读音表是 `{ "词": "读音" }` 的 JSON,带 `--readings readings.json` 重跑:
```json
{ "银行": "yin hang", "今日": "きょう", "BaoCut": "bao cut", "GPT": "G P T" }
```
- 读音可以写拼音(带不带声调都行)、假名、谚文,或拼法相近的英文。
- 词要和核对表里的字对得上:从某个字的开头到某个字的结尾,不能切在字中间;长的词先匹配。
- 中文词的拼音音节数和字数相同时,按字逐个换读音;否则整个词并成一个单位,按读音的音节数分配时间(日文汉字、缩写多是这种)。
## 4. 表情区间
`faces.json` 写哪几句换表情、做什么动作。`face` 是 `character.json` 里 `expressions` 的名字,`act` 是一次性的头部动作;每条至少有其中一个:
```json
[{ "line": 1, "face": "smile", "act": "nod" }, { "t0": 8.2, "t1": 9.6, "face": "angry", "act": "shake" }]
```
- `line` 从 1 数,和核对表的 `line` 一致;区间从这句第一个字前 0.15 秒到最后一个字后 0.3 秒。也可以直接写 `t0`、`t1`(配音的秒)。
- 写成 `{ "default": "smile", "items": [...] }` 时,不在任何区间里也用这个表情。
- 进出各渐变 0.25 秒;同一表情相隔不到 0.4 秒的区间连成一段。前后两个表情相隔不到 0.25 秒时,在间隔正中共用一个 0.25 秒的窗口交接(一个淡出多少,另一个就淡入多少),不会两张一起满着。
- `act` 从这句第一个字(或 `t0`)开始,长度固定:`nod` 点头两下 0.95 秒,`shake` 摇头 1.05 秒,`tilt` 歪头想一想 1.8 秒,`hop` 蹲一下再跳起 0.65 秒(半身角色的框下沿压在画外时最多跳到切口齐着画面底边,框下沿在画面里时只往下沉),`shy` 低头侧过脸、眼睛看向一边 2.4 秒。动作叠在说话的动作上;同一个动作没做完又来一次,前一个淡出。配表情用:笑配 `nod`,高兴、惊喜配 `hop`,生气配 `shake`,难过、疑惑配 `tilt`,害羞配 `shy`。
- 表情盖住它改了的眼睛、眉毛、脸颊和嘴(`references/art.md` 第 3 节):带着表情也照常眨眼。说话时嘴照样按口型换,表情的嘴在句间停顿时露出来。角色包里没有的名字不画。
## 5. 口型怎么定
每个字(音节)按读音排出一串口型:声母定闭唇 `A`(b p m)、咬唇 `G`(f v)、圆唇 `F`(w、u 介音),其余辅音多是 `B`;韵母定张口 `D`(a)、半张 `C`(e)、圆 `E`(o)、撮 `F`(u ü)、咧 `B`(i)。再按音量定张多大:音量分小、中、大三档(门槛 0.25、0.5,上下留 0.04 的回差,不在门槛附近来回跳),`D` 小声画 `B`、中等画 `C`,`C` 小声画 `B`,`E` 小声画 `F`;闭唇、咬唇、`B`、`F` 不随音量变。静音超过 80 毫秒闭嘴(清辅音声母前最多留 150 毫秒);字与字停顿超过 150 毫秒闭嘴。读音说这里不说话、声音却有 40 毫秒以上的响度(逐字时间偏了或漏了字),这段按音量与元音线索出口型。嘴比声音早 30 毫秒。
再落到动作轨的 120 fps 步上:每步取占时最长的口型,20 毫秒以上的闭唇一定留下 `A`;其余口型至少停 55 毫秒(7 步,和播放器换嘴帧的最短停留一样)。不够长的一段如果比前后都闭(两个张嘴之间的一下闭合)或都开,从前后够长的段借步补够,保住这一下开合;借不到、或者只是从小到大一路过去的中间档,就并进相邻、张得更开的那段。最后在跨度大的开合中间补一步过渡:闭嘴和 `D` 之间是 `C`,`F` 和 `C`、`D` 之间是 `E`。
b、p 的闭唇不往前提:它本来就落在爆破前那段安静的空隙里,再往前会在上一个字还响的时候闭嘴。
头的动作也在这里定,照 LivLiv 播放器的 `TalkMotion`,按嘴张多大走:嘴比上一个低点高出 0.25、又张过 0.35 算一个音节;一句的第一个音节点一下头、换一个朝向(左右 5° 以内),其余音节约三成五轻点(两次至少隔 0.35 秒);说话时头慢慢漂、身体跟着转 15%,停下后慢慢回正;音节上偶尔扬一下眉(一句开头一半的机会,其余不到两成,至少隔 1.2 秒)。`faces.json` 的 `act` 叠在上面(第 4 节)。这些都写成加在待机上的偏移(`offsets`):眨眼、视线、呼吸、游移和安静时的小动作由播放器的待机动作给出,说话时眼睛回看镜头、停下后眨一次眼也由播放器按嘴算。
## 6. 动作轨的格式
写自己的生成器时用得到;完整定义在人偶格式规范第 4 节:
| 字段 | 说明 |
| --- | --- |
| `format`、`version` | `baocut-puppet-track`、1 |
| `fps`、`duration` | 采样率(本脚本是 120)、长度(秒) |
| `params` | `{ 参数名: [采样…] }`,取代待机的这个参数。本脚本只写 `mouthOpen`、`vowel`;第 i 个采样是 i / fps 秒的值,之间线性插值,最后一个之后保持 |
| `offsets` | 同样的形状,加在待机与 `params` 之上。本脚本写 `angleX` `angleY` `angleZ` `bodyX` `browLY` `browRY`,`act` 用到时加 `eyeBallX` `eyeBallY`(`shy`),`hop` 或 `--bounce` 时加 `moveY`(画面高度的份额,向上为正) |
| `expressions` | `{ 表情名: [权重采样…] }`,0..1 |
口型到参数:`vowel` 是 `E`、`F` −1,`G` 1,其余 0。`mouthOpen` 跟着音量连续走(一个字里嘴随声音张开再收拢,声音停下就合上),口型只定它的下限与上限:`X`、`A` 0;`B` 0–0.45(不过半张);`C` 0–0.85;`D` 0–1;`E` 0.2–1、`F` 0.2–0.45(留一点开口,小声时圆嘴也出得来);`G` 0.3。没给 `--audio` 时取固定值:`B` 0.3,`C` 0.85,`D` 1,`E` 0.85,`F` 0.3,`G` 0.3。播放器在 `mouthOpen` 越过 0.12、0.5 时换半张、张开的嘴;张着嘴时 `vowel` 低于 −0.65 换圆嘴、高于 0.65 换咬唇那张(`wide`)。角色没有圆嘴、咬唇时按张嘴的档画。
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| slack-gif-creatoranthropics/skillsKnowledge and utilities for creating animated GIFs optimized for Slack. Provides constraints, validation tools, and animation concepts. Use when users request animated GIFs for Slack like "make me a GIF of X doing Y for Slack." | Stars: 198k | Updated | Claude CodeCodex | Verified | Install |
| ponytailDietrichGebert/ponytailLazy senior dev mode for any coding task: the smallest change that fully solves it, and a reply a busy human understands in one read. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailHarvest every shortcut: comment into one debt ledger, so deferrals get tracked instead of forgotten. One-shot report. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailList every `shortcut:` comment (and older `ponytail:` ones) as a debt ledger. One-shot report, changes nothing. Use for "ponytail debt", "what did ponytail defer", "list the shortcuts", /ponytail-debt. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |