Skip to content

nzl153/paint-video-skill / paint-video

paint-video

Verified

用代码做手绘风格的动画短片:水彩、水墨用 p5.js + p5.brush,蜡笔绘本用自写的 2D canvas 蜡笔引擎,皮影用自写的皮影引擎,打斗用自写的设色水墨引擎;逐帧画,无头 Chrome 渲染,ffmpeg 合成 MP4。用户说「做个短片 / 动画 / MV / 开场动画 / 十几秒的视频」时用这份;配整首歌的长片或 MV 另看同目录的 mv-workflow.md,蜡笔画风看 crayon.md,皮影看 piying.md,打斗和雾山五行风看 wushan.md,科普讲解片(原理科普、HTML 演示 + 代码合成声效 + edge-tts 配音,允许字幕和标注)看 explainer.md。版画系列(孔版、铜版、大理石纹、蓝晒、网点、植物图版,SVG 生成,每段一种工艺)看 prints.md;音符驱动的流体彩墨 MV(WebGL 流体、抽象、不画人)看 fluid.md;沙画(灯箱上的沙底下透光、一幅抹成下一幅,WebGL 高度场)看 sand.md;作业本涂鸦(圆珠笔勾线 + 彩铅排线 + 手机俯拍的作业本,涂鸦小东西活过来,带实物笔和影子)看 doodle.md;共点蒙太奇(同一个形状始终落在画面同一点,快切或画风接力)看 montage.md;走马灯(纸雕灯里的多层剪纸被烛光透过、卷成圆柱转,灯外推进灯里,适合绕圈的故事)看 zoumadeng.md;赛璐珞动画质感(清晰清新、黄昏光、哑光陶土 Clawd、道具经手的叙事 MV、竖排纸条字幕)看 cel.md;90 年代美式动画片头(粗描边平涂、定格大头照、甩镜抖动拖影、串台换画风:黑白胶片、漫画、设定稿、8-bit)看 toon.md;要自己写配乐(Tone.js + 真乐器采样含 VSCO2 管弦乐和真鼓,离线导出,分轨加自写混音台,按拍对画面)看 music.md。

FileKindSize
SKILL.mdskill md26.6 KB
cel.mdmarkdown9.8 KB
crayon.mdmarkdown10.5 KB
directing.mdmarkdown12.5 KB
doodle.mdmarkdown13.3 KB
explainer.mdmarkdown9.4 KB
fluid.mdmarkdown9.2 KB
montage.mdmarkdown6.4 KB
music.mdmarkdown14.0 KB
mv-workflow.mdmarkdown14.3 KB
piying.mdmarkdown9.4 KB
prints.mdmarkdown6.5 KB
sand.mdmarkdown10.2 KB
toon.mdmarkdown9.3 KB
wushan.mdmarkdown22.6 KB
zoumadeng.mdmarkdown9.2 KB
# 用代码写配乐:Tone.js + 真乐器采样

短片没有现成的歌、要自己写一段配乐时,读这份。

范例是《远光》的配乐:约 93 秒,六段,改了十版才定稿,后来又把弦乐、圆号、低音换成了 VSCO2 真乐器(见「换真弦乐」一节)。代码在本仓库的 `prints-kit/music/`:
- `score.js`:乐谱;
- `render-audio.html`:离线渲染页;
- 导出脚本是 `prints-kit/tools/audio.mjs`,采样缓存在 `prints-kit/tools/cache.mjs`。

## 顺序

先定剧情,再写音乐,最后让画面跟着音乐长出来。画面的时间轴直接用乐谱的「拍」,见文末「对画面」一节。

## 听感上的教训(每条都是被打回过以后才立的)

- **只用真乐器采样,不用代码合成的音色。** 合成器、噪声铺底一出来,听着就是「AI 味」。全部换成真乐器采样以后,质感立刻立住了。
- **音色要选软的。** 有些采样很硬,比如古筝采样,要加低通才软下来。
- **开头不能太小声**,段落之间也不能音量突变。淡入要短,换段要有过渡(铺垫、渐强、反向镲)。
- **「随机感」是写进曲子里的不确定性,不是每次播放都不一样。** 配视频的曲子必须固定:用带种子的随机数(mulberry32),每次渲染结果完全一致。
- **刻意制造的意外会被听出来。** 故意让一句晚半拍进,听者只会觉得突兀、像是特意为之。意外要先埋伏笔(Huron 的预期理论)。
- **变速别砍半。** 108 直接掉到 54 太过。用半拍感(half-time feel:鼓和低音变稀,速度不变),或者用 `bpm.rampTo` 在几拍里慢慢呼吸。

## 编曲规矩

- **三层**:
  - 前景:一条旋律,同一时间只有一个主角;
  - 中景:固定音型或琶音,负责推进;
  - 背景:低音和长音铺底。
  - 中频 200–2000 Hz 要有东西,不然听着空。
- **同时最多六七个声部。** 高潮段一度叠到十四层,听着杂乱不优雅;删到六层以后反而更有力。
- **密度曲线先画出来**:每段几个声部、多响,段与段之间要有对比。全曲只留一个最高点,《远光》的是第 56 拍那个 D6,画面里最大的那阵风也放在这一拍。
- **和声**:大调里王道进行 IV–V–iii–vi 最好用。尾声借 iv(D 大调借 Gm)带一点苦,结尾可以不完全解决。
- **动机要发展,不要原样重复**:变节奏、提八度、拉宽时值(augmentation),或者交给另一件乐器。
- **混响只开一条总线**,前面加高通,别用带反馈的延迟,否则会糊成一片。

## 去掉机器味(人性化)

- 每一句的力度走成一条弧,句头轻、句中最强、句尾收。
- 旋律比伴奏晚 20–40 ms,像人在拖拍。
- 用倚音,和弦用琶音式滚奏,不要所有音一起砸下去。
- 琶音的音型每小节换一点,别八小节一模一样。
- 速度表里写几处 `rampTo`,让速度在段落之间呼吸。

## 换真弦乐:从「好听」到「像真乐团」

这首曲子第一版定稿时,骨架已经是对的:主题贯穿、和声情绪、配器跟着剧情走。但内行一听就能听出破绽,问题出在「皮」上:GM 音色廉价,小提琴是一个音一个音单独录的,没有连弓。升级只换皮,不动骨架。

**先拿一段做新旧对比。** 只渲一段(约 18 秒),新旧两版都响度对齐到 -16 LUFS,听过确认新版更好,再推到全曲。

**音源换成 VSCO2 社区版**(GitHub sgossner/VSCO-2-CE,CC0):
- jsDelivr 可以直接拉:`https://cdn.jsdelivr.net/gh/sgossner/VSCO-2-CE@master/<路径>`。路径里的空格写成 `%20`,`#` 写成 `%23`。
- 全库有 3000 多个文件,先用 `gh api repos/sgossner/VSCO-2-CE/git/trees/master?recursive=1` 拉一份文件清单再挑。
- 《远光》用了:独奏小提琴 `Arco Vib` 强奏层;小提琴组、中提琴组、大提琴组的 `susVib` 长音、`Trem` 震音、`Pizz` 拨弦;大提琴组 `spic` 跳弓;低音提琴 `Pizz`;圆号 `sus`。
- 吉他用 nbrosowsky 的 `guitar-nylon`。合唱、八音盒、钢片琴 VSCO 里没有,还用 GM。

**VSCO 的坑:**
- **八度标法不统一。** 除了独奏小提琴,其他乐器的文件名都比实际音高低一个八度:文件名 A3,实际响的是 A4。每换一种乐器,先下载一个采样,用 YIN 测一下音高,再在映射里校正。
- **独奏小提琴的弱奏层不能拉旋律。** 它是一个两秒长的慢渐强,短音出不来。旋律用强奏层(`_f`),音量交给力度控制。
- **弦乐组弱奏层的起音慢 0.1 秒左右。** 拿来铺底时提前 0.12 秒触发;最开头那一拍要把触发时间夹到不小于 0,否则 `setValueAtTime` 会报负数时间。

**编曲上的三处改动:**
- **假连弓**:旋律相邻两个音重叠 0.12–0.15 拍(`mel(..., { leg })`),配 0.45 秒的 release。
- **铺底按声部写**:每个和弦的音按音区分给大提琴组、中提琴组、小提琴组;相邻小节的共同音连着拉,不重新起弓,只有要换音的声部在动(`PADQ`)。每个声部组单独走一条 Gain 总线,用 `rampTo` 写渐强渐弱。
- **高潮段升全音**:远光段灯亮那一刻,经过 B 和挂四和弦转进 E 大调,第二句整体升一个全音;末两拍落在 A 和弦,A 同时是 D 大调的属和弦,顺回尾声。

**换音源以后一定要对齐响度。** 把每件新乐器和旧乐器都单独渲出来,按段落比 RMS。《远光》这次吉他大了 16 dB,铺底大了 5 dB,低音小了 4–6 dB,全靠耳朵猜是猜不准的。最后整曲按段对比,每段和旧版的差都在 1 dB 以内,起伏的形状就保住了。

**采样一多就要本地缓存。** 全曲要拉 200 多 MB,jsDelivr 偶尔有一两个文件超时,Tone 的 `Failed to fetch` 会让整次渲染报废。`tools/cache.mjs` 用 puppeteer 的请求拦截:缓存里有的从磁盘回;没有的放行,让浏览器自己下,再从响应里存一份。`audio.mjs` 失败会整次重试,第二次基本全走缓存。
- 下载别交给 Node 的 `fetch`:它不认 `HTTPS_PROXY`,开着代理的机器上会连不上。浏览器走系统代理。
- `Tone.Reverb` 的脉冲响应是随机噪声生成的,所以每次渲出来的 wav 都有细微差别(相关系数约 0.99)。重渲了 wav,就要把片子的音轨也重新封装一次。

**配乐改了,画面不用重渲。** 只要速度表不变,用 `-map 0:v -c:v copy` 把旧片的画面流原样拷过来,配上新的 wav,再用 `apad` 加 `-shortest` 对齐长度。

## 古典 + 摇滚:真鼓、分轨、自写混音台

范例是《一滴墨》的配乐(91 秒,D 小调,120 拍),代码在本仓库的 `fluid-kit/music/`:乐谱 `song.js`、真鼓播放器 `drs.js`、混音配置 `mix.py`;工具在 `fluid-kit/tools/`:导出 `audio.mjs`、鼓采样整理 `drs_build.py`、混音台 `mixdesk.py`。

### 编曲

- 结构:古典引子(独奏小提琴动机 + 弦乐组)→ 鼓、失真吉他、贝斯一起砸进来,弦乐在上面继续唱 → 中段静下来,再用半速鼓慢慢起 → 高潮(独奏小提琴十六分琶音、高八度吉他、每小节一记镲)→ 主题回来 → 齐奏三下停住 → 小提琴独自收尾。
- 古典段和摇滚段的乐器音量用一张增减表切换(`lvl(秒, {乐器: dB})`)。鼓进来以后弦乐要抬 3–6 dB 才不被盖住。
- **旋律交给独奏小提琴。** VSCO 小提琴组的 `susVib v1` 是最轻的力度层,比独奏小提琴低约 10 dB,抬音量也补不回那股劲。
- 失真吉他没有好的免费采样,用干净电吉他采样(nbrosowsky `guitar-electric`)过 `Tone.Distortion(0.92, 4 倍过采样)`,前面切 140 Hz 以下,后面 EQ 挖掉中频、4.2 kHz 低通当音箱。左右各一把,右边晚 14 ms,就是双轨录音的厚度。
- **各段最终响度写死。** 先找一版听着对的,量出各段相对第一次砸进来的响度(引子 −2.8、中段 −8.9、半速 −3.3、高潮 +2、主题回来 −2.7、尾声 −8.3 LU),在总线最后一级按段设增益。高潮必须比第一次砸进来更响,否则听着不炸;但总压缩会把密集段压平,所以要在高潮那 16 秒把压缩放松、总线推高。
- **loudnorm 的坑**:真峰值超标时,第二遍的 `linear=true` 会悄悄失效,退成动态模式,把轻的段落托高、整首压平。第一遍测量的输出永远显示 dynamic,看不出来。在 loudnorm 前先加一级 `alimiter` 把峰值压住,保证线性模式。

### 真鼓:多力度、轮换

单层鼓采样每一下都一模一样,听着像机关枪。换成 DRSKit 2.1(DrumGizmo 团队录的真鼓,CC BY 4.0,发布作品要署名;压缩包约 2.6 GB):

- 原始素材是 13 支麦克风的多轨,每件鼓几十下不同力度的击打。`tools/drs_build.py` 按固定的电平和声像把 13 轨混成立体声,按峰值排序切成单个文件,加一份 `index.json`。
- **各支麦克风只定极性,不挪时间。** 本来想用相关性把近距麦对齐到头顶麦,结果被鼓皮的振铃骗了,算出来的偏移有一百多个采样。改成只比较「同极性」和「反极性」两种相加后 300 Hz 以下的能量,取厚的那种(军鼓顶麦要反相)。
- 播放器 `drs.js`:力度 v 对应目标峰值 `最大峰值 + 26·log10(v)` dB,在最接近的三下里随机挑一下、不连着用同一下,再加 ±0.75 dB 和 ±3 ms 的手感。
- 坑:在 `Tone.Offline` 里触发时新建的 `ToneBufferSource` 要传 `context: out.context`,否则报「不能连到另一个 AudioContext 的节点」。本地 wav 用 XHR 读 `file://`,`fetch` 不支持 `file://`。
- 换完要量频段:真底鼓的低频比合成感的单层鼓少约 2 dB,150 Hz–1 kHz 偏「箱」,交给混音台的 EQ 处理。

### 分轨 + 自写混音台

Tone.js 里只能做平衡,做不了正经混音。做法是分轨导出,再用 Python 混:

1. 乐谱带 `?stem=组名` 时只出这一组的干声:绕过总压缩和混响,留 −6 dB 余量。`node tools/audio.mjs --stems` 出参考版加五组分轨(鼓、弦乐、吉他、贝斯、铜管)。
2. `tools/mixdesk.py`(numpy + scipy,跑一次约 20 秒)按 `music/mix.py` 一份配置混:
   - 每轨:RBJ 均衡、压缩(可开侦测高通,底鼓就不会推着整组呼吸)、并行压缩、4 倍过采样 tanh 饱和、立体声宽度、混响发送;
   - 混响:真立体声卷积,可以用真实厅堂的脉冲响应文件,也可以代码合成;
   - 总线:粘合压缩、均衡;
   - **按段对齐响度**:自己算 BS.1770,把各段的相对响度对到参考版(和 ffmpeg 测的差 0.1 LU 以内);
   - 4 倍过采样前瞻限幅到 −1.5 dBTP,整体 −16 LUFS,再出 mp3。
3. 《一滴墨》的典型处理:鼓切 32 Hz 以下、62 Hz +3、380 Hz −4 去箱声、并行重压混回 −9 dB、轻饱和;贝斯饱和后收窄到接近单声道;弦乐送大厅混响、加宽一点;鼓和吉他送短房间。
4. 坑:段落边界要拆细。中段的「心跳」底鼓被并行压缩托高了 3 dB,把 40 秒也设成边界才对上。
5. 每组都量一下 LUFS。圆号采样本身极轻,乐谱里 −8 dB 时整曲几乎听不见(−50 LUFS),听着「少点什么」时先查这个。

大厅混响用的是 Samplicity 免费库里 Bricasti M7 的「Concert Hall」脉冲响应(RT60 约 2.4 秒),设环境变量 `HALL_IR` 指过去;没有就用代码合成的。

## 采样源(都核实过可用)

- `https://cdn.jsdelivr.net/gh/nbrosowsky/tonejs-instruments@master/samples/<乐器>/<音名>.mp3`
  - 乐器:piano、flute、harp、cello、violin、clarinet 等。
  - 升号写作 `s`,比如 `Fs4`。
- `https://cdn.jsdelivr.net/gh/gleitz/midi-js-soundfonts@gh-pages/FluidR3_GM/<名字>-mp3/<音名>.mp3`
  - 一整套 GM 音色,里面有 reverse_cymbal。
  - 降号写作 `b`,比如 `Bb3`。
- `https://cdn.jsdelivr.net/gh/sgossner/VSCO-2-CE@master/...`
  - VSCO2 社区版的真管弦乐,CC0,带多种演奏法。注意八度标法,见上一节。
- 每件乐器只取几个音,比如每隔大三度一个,`Tone.Sampler` 会自己移调补齐。

## 写法(Tone.js 14.7.77)

- 一律按拍子和 tick 排:`TR.schedule(cb, Math.round(拍 * PPQ) + 'i')`,PPQ 用 192。不要用秒,变速以后秒就对不上了。
- **乐谱里取走带一律写 `const TR = Tone.getContext().transport`,不要用 `Tone.Transport`。** `Tone.Transport` 在加载时就绑定了实时上下文,离线渲染时那份不会走,渲出来全是静音,而且不报错。
- 在聊天里用小部件试听时,脚本包进 IIFE,别把变量叫 `top`、`name`、`location`:这些会和 window 上的同名属性冲突,整段脚本不执行,小部件一片空白。

## 导出

无头 Chrome 没有声卡,实时播放加录音这条路走不通,`createScriptProcessor` 也拿不到。只能离线渲染:

1. 页面里调用 `Tone.Offline(async ({ transport }) => { await buildScore(); transport.start(0); }, 秒数, 2, 44100)`,渲完在页面里自己拼 16 bit WAV,分成 1 MB 一块,用 base64 交给 Node。
2. ffmpeg 处理,按顺序:
   1. 只剪尾部静音:`areverse,silenceremove=start_periods=1:start_threshold=-60dB,areverse`。不要加 `afade=t=out:st=0`,那会把整首淡没。
   2. 响度标准化**跑两遍**:第一遍用 `loudnorm=I=-16:TP=-1.5:LRA=20:print_format=json` 量出数值,第二遍带上量出来的值,再加 `linear=true`。只跑一遍,强弱会被压平。
   3. 转 320k mp3。
3. 渲完量一下峰值和响度再交。《远光》的结果是 -16.0 LUFS,峰值约 -2 dBFS。

## 对画面

- 速度表单独抄一份到 `tempo.mjs`,按 Tone 的线性 `rampTo` 逐步积分,算出「拍 ↔ 秒」的换算表(`beatAt` 和 `timeAt`)。
- 画面里一切都按拍写:几拍换段、风在第几拍最大、种子几拍飞出去。这样配乐再改速度,画面会自己跟着走。
- 渲染时逐帧算出 `beatAt(第几帧 / 30)` 交给画面,最后把 wav 合进去。
planning-and-task-breakdownaddyosmani/agent-skillsBreaks work into ordered tasks. Use when you have a spec or clear requirements and need to break work into implementable tasks. Use when a task feels too large to start, when you need to estimate scope, or when parallel work is possible.Stars: 119kUpdated Claude CodeCodexVerifiedInstall
screenpipethedotmack/claude-memSearch screen and audio history recorded by Screenpipe and optionally save selected context into claude-mem. Use when the user asks to recall desktop activity, a meeting, or something seen in another app through Screenpipe.Stars: 118kUpdated Claude CodeCodexVerifiedInstall
contact-widgetnexu-io/open-designSelf-contained floating chat widget with welcome screen, social links, meeting button, and message input. Single HTML file, zero dependencies.Stars: 108kUpdated Claude CodeCodexVerifiedInstall
meeting-notesnexu-io/open-designMeeting notes page — title bar with attendees, agenda checklist, decisions block, action items table with owners + dates, and a "next meeting" footer. Use when the brief mentions "meeting notes", "minutes", "1:1 notes", "all-hands recap", or "会议纪要".Stars: 108kUpdated Claude CodeCodexVerifiedInstall