Skip to content

nzl153/paint-video-skill / paint-video

paint-video

Verified

用代码做手绘风格的动画短片:水彩、水墨用 p5.js + p5.brush,蜡笔绘本用自写的 2D canvas 蜡笔引擎,皮影用自写的皮影引擎,打斗用自写的设色水墨引擎;逐帧画,无头 Chrome 渲染,ffmpeg 合成 MP4。用户说「做个短片 / 动画 / MV / 开场动画 / 十几秒的视频」时用这份;配整首歌的长片或 MV 另看同目录的 mv-workflow.md,蜡笔画风看 crayon.md,皮影看 piying.md,打斗和雾山五行风看 wushan.md,科普讲解片(原理科普、HTML 演示 + 代码合成声效 + edge-tts 配音,允许字幕和标注)看 explainer.md。版画系列(孔版、铜版、大理石纹、蓝晒、网点、植物图版,SVG 生成,每段一种工艺)看 prints.md;音符驱动的流体彩墨 MV(WebGL 流体、抽象、不画人)看 fluid.md;沙画(灯箱上的沙底下透光、一幅抹成下一幅,WebGL 高度场)看 sand.md;作业本涂鸦(圆珠笔勾线 + 彩铅排线 + 手机俯拍的作业本,涂鸦小东西活过来,带实物笔和影子)看 doodle.md;共点蒙太奇(同一个形状始终落在画面同一点,快切或画风接力)看 montage.md;走马灯(纸雕灯里的多层剪纸被烛光透过、卷成圆柱转,灯外推进灯里,适合绕圈的故事)看 zoumadeng.md;赛璐珞动画质感(清晰清新、黄昏光、哑光陶土 Clawd、道具经手的叙事 MV、竖排纸条字幕)看 cel.md;90 年代美式动画片头(粗描边平涂、定格大头照、甩镜抖动拖影、串台换画风:黑白胶片、漫画、设定稿、8-bit)看 toon.md;要自己写配乐(Tone.js + 真乐器采样含 VSCO2 管弦乐和真鼓,离线导出,分轨加自写混音台,按拍对画面)看 music.md。

FileKindSize
SKILL.mdskill md26.6 KB
cel.mdmarkdown9.8 KB
crayon.mdmarkdown10.5 KB
directing.mdmarkdown12.5 KB
doodle.mdmarkdown13.3 KB
explainer.mdmarkdown9.4 KB
fluid.mdmarkdown9.2 KB
montage.mdmarkdown6.4 KB
music.mdmarkdown14.0 KB
mv-workflow.mdmarkdown14.3 KB
piying.mdmarkdown9.4 KB
prints.mdmarkdown6.5 KB
sand.mdmarkdown10.2 KB
toon.mdmarkdown9.3 KB
wushan.mdmarkdown22.6 KB
zoumadeng.mdmarkdown9.2 KB
# 沙画:灯箱上的沙,底下透光

范例是《沙漏》:75 秒,讲一粒沙看见的一年。九幅画依次是:黑场里划出沙漏 → 推近下壶的沙丘 → 种子破土 → 光做的树 → 风 → 浪(高潮)→ 浪退出月亮 → 月亮碎成雪 → 回到沙漏。首尾构图一模一样,可以循环。固定机位俯拍灯箱,只有沙和光,没有人物和文字。配乐是自己写的。

代码在本仓库的 `sand-kit/`:
- `src/sand.js`:引擎加全片时间线;
- `tools/render.mjs`:渲染;
- `music/score.js`:配乐;
- `tools/audio.mjs`:导出配乐。

用法:`npm run check` 取几张静帧拼成联系表,`npm run audio` 导出配乐,`npm run video` 出整片。

## 为什么选沙画

- **它天生不是动态 PPT。** 真人沙画是一抹、一撒,一幅变成下一幅,所有转场都是「变形」,不是淡入淡出。
- **手不用画。** 画面里只有「被抹开的痕迹」「撒下来的一把沙」。代码最弱的是手和指法,这里正好绕开。
- 质感是琥珀色的光透过沙粒,有颗粒、有温度、也克制。

## 三条贯穿全片的规矩

1. **光是主角。** 沙是暗的,画出来的东西大多是「清出来的光」:亮的树、亮的浪、亮的月亮、亮的雪。只有沙丘、海岸、种子这类「重的东西」才是堆出来的暗。在亮处画线反而会犁出暗边:芽和叶子如果画在亮的地方,就成了暗的。
2. **每次转场都靠形状接上。** 沙丘的椭圆变成种子,风线卷起的末端变成浪尖,最后一个浪尖变成月亮的位置,雪落到底,再被盖回沙漏。
3. **留白。** 任何时候画面上的东西不超过一半。

## 引擎(`sand.js`)

整张画面是一个 1920×1080 的**高度场**,每个像素存沙有多厚,单位大约是像素高。每个模拟小步先执行这一刻排到的动作,再跑 4 遍休止角。每帧两个小步。

| 动作(着色器) | 做什么 | 关键参数 |
|---|---|---|
| `pour` 撒 | 一团高斯形的沙,颗粒疏密不匀,外圈溅出零星沙粒 | 半径 R、每步的量、溅出概率;沿路径移动就是一条撒出来的线(芦苇、穗) |
| `carve` 指尖划 | 线段两端之间、半径 R 以内清空,清掉的沙按法线方向堆到沟外 K 宽的一圈 | `uHard` 取 1。**只往两边堆,不往指尖前面堆**,见坑 |
| `drag` 手掌推 | 掌下只留 L 厚的一层,多出来的跟着手往前推,停手处堆成一道 | `uAsp` 是掌在前进方向上有多扁:默认 1.6;一整条横掌沿用 20。`uStreak` 是掌纹强度 |
| `slide` 休止角 | 比邻格高出阈值的部分往下滑,8 邻域 | 阈值 1.0、速率 0.09,每步 4 遍。阈值按「格子对」取随机,才能守恒、边缘才不规整 |
| `fill` 满屏铺沙 | 厚薄按大块噪声起伏 | 开场铺 5.5 |
| `press` 按平 | 杏仁形(上尖下圆)里压到 cap 那么厚 | uA、uB 给很大,就是整片按平,并留出大块明暗 |
| `curtain` 沙帘 | 一道参差的前沿扫过画面,后面一条带子里落沙,前沿前面溅出沙粒 | `uDir=-1` 是从右往左 |
| `wipeTri` | 从 uO 往外,把三角形里的沙抹亮 | 沙漏的两个三角就是这么出来的 |
| `disc` | 圆里清空,边缘带一点不规则,外面薄薄堆一圈 | 月亮;半径随时间张开 |
| `rebase` | 推镜结束时,把看到的那块重采样成整张 | 之后显示回到 1 倍,动作坐标继续用画面坐标 |
| `display` | 灯箱的显示 | 见下一节 |

- 辅助函数:
  - `stroke(a, b, path, R)`:R 可以是函数,按进度 t 变粗变细。
  - `drag`:一步拆成每段不超过 4 像素。
  - `dot(t, p, R, hard, kk)`:点一下。
  - `act(a, b, f)`:一段时间里每步调一次。
  - `at(t, f)`:在某个时刻调一次。
  - `bez` 和 `poly` 是路径。
- 推镜:`display` 带 `uZ`(倍数)和 `uF`(焦点),只在显示层放大;推完调用一次 `rebase`。全片只推一次。
- 漏沙线 `uStream`:只在显示层画,每帧换一批下落的沙粒,不写进高度场。如果写进高度场,会积成一条实线。
- 调试用:`window.probe([[x,y],…])` 读出这些点的沙厚。**拿不准一个效果为什么不对,先读数**。亮线变成暗线那一次,就是读数读出来的:沟里沙厚 117。

### 显示:底光透沙

- 底光是暖白偏琥珀色,`(1, .83, .58)`,四周轻微压暗。
- 透射率是 `exp(-k · 2.2 · 厚度)`,k 按通道取 `(.20, .34, .62)`。蓝光被吃得最快,所以薄沙是琥珀色,厚沙发黑。2.2 这个倍数让两三粒沙厚就几乎全黑;如果太透,整个画面会是红褐色的一片。
- **薄处是一粒一粒的**:每个像素按厚度决定「这里有没有一粒沙」,有就挡光,没有就透亮。没有这一步,薄沙看着像喷枪喷出来的。
- 顶上补一点室内光,用来勾沙棱。法线强度乘 `0.2 · exp(-厚度/14)`:厚沙丘不显示大坡度的明暗,否则会变成半亮半暗的塑料锥;同时法线按颗粒抖一抖,看起来才是一粒粒的表面。

## 做法

1. **先做 10 秒质感试验**,只看沙子本身:堆、滑、抹开、透光。质感不过关,故事再好也白搭。
2. 写分镜:每一幅画什么、用哪几个动作、靠什么形状接到下一幅。
3. 先做前三幅给用户看,再往后做。
4. **画面先定,配乐后写**(和《一滴墨》反过来)。速度定成 60 拍每分钟,一拍等于一秒,分镜上的秒数就是乐谱上的拍。
5. 每改一处,都在出问题的那几秒取联系表,再看 1:1 的局部。

## 每一幅怎么做出来

- **沙漏**:满屏铺 5.5 → 一笔画出沙漏轮廓(R 7)→ `wipeTri` 从瓶颈往外把两个三角抹亮 → 漏沙线,下壶 `pour` 堆丘。
- **推近**:显示层从 1 倍推到 2.4 倍,对准沙丘,推完 `rebase`。要撒足够多的沙,让下壶被填暗。
- **种子**:一道沙帘从左扫到右盖住沙漏 → 整片按平到 3.4 → 杏仁形按到 1.3,种子是一层薄沙,透着微光 → 描轮廓、裂缝、卷芽、两片叶子(半径用 sin 包络,就是一片叶形)。
- **树**:树干沿着芽加粗;三大枝按代分杈,越往外越往两边摊(伞形,不会顶出画面);枝梢周围点光斑,`kk=6`,并留一成沙,这样边缘是渐变的、不成珠子;种子底下扎出三条根。
- **风**:三道窄的掌拖穿过树冠,把光斑拖成流线;**之后**再画七条细风线,半径 3 到 6.5;一道低风扫走种子;三个卷就是下一幅的浪尖。
- **浪**:浪身是由细变粗再收的一道光(`R = w·(0.6 + 2.6·sin(0.85πt))`),浪尖卷进去,飞沫用 `dot`。最大的一个浪在 46 秒。
- **秋**:一条横掌沿(`asp=20`、`R=2000`、`L=1.2`、`streak=0.35`)从上拉到底,天空留一层薄沙当暮色,下面一道水平的岸。月亮用 `disc` 张开。芦苇是沿路径 `pour` 出来的暗线,顶上加一个穗。
- **冬**:满屏随机轻撒,月亮被慢慢吃暗;9 排雪往下落,每排 26 个点。
- **回到沙漏**:沙帘从右往左盖住一切,按回 5.5,用同一个函数在同一个位置再划一遍沙漏,瓶颈接着漏沙。

## 踩过的坑

- **sin 哈希在大坐标上会成片返回 0**,撒沙时满屏都是沙。换成整数哈希(`floatBitsToUint`)。
- **指尖会犁沙。** 沟外的堆积如果也往指尖前方堆,每一步都会被再推一遍,越滚越大(实测沙厚到 117),亮线就变成了暗线。只往两边堆。
- **沟太细会被填平**:半径小于 3 像素,两边滑下来的沙马上就把它填上了。厚层上也画不出线,所以先把整片按到 3.4 左右再画。
- **摊开沙丘要用推土机模型。** 守恒扩散摊不开;按比例跟着手走会缩成一个球。
- **drag 一步走太远会一下一下盖章**,留下一排扇贝边。拆成每段不超过 4 像素。
- **掌心椭圆太大时,多出来的沙一直留在掌下**,拉成一个巨大的暗碗。要「拉开一整片」时,用很扁的掌沿(`asp` 大)。
- **推镜和 rebase 放在同一步**,Z 会被推镜那段设回 2.4,画面二次放大。所以 rebase 要放在推镜结束之后。
- **宽拖痕像横木板。** 风要窄拖痕加细线;而且后画的东西会被先画的拖痕重新填上,所以风线要画在拖痕之后。
- **盖住上一幅不能用淡出。** 用沙帘:前沿参差、前面溅沙。
- **改代码别用「断言失败就退出」的脚本接着直接渲染。** 有一次替换没生效,渲出来的是旧代码,差点据此下结论。改完先 grep 新代码在不在,再渲。

## 配乐(`music/score.js`)

- 60 拍每分钟,一拍等于一秒,直接对分镜。
- 乐器全用真采样:钢琴、竖琴、独奏小提琴、VSCO2 弦乐组和震音、大提琴、圆号、定音鼓、八音盒、反向镲。
- 主题动机是 A→F#→E→D,四个音往下「落」。开头和结尾钢琴原样出现,所以片子可以循环。
- 画面里的动作对应:树每长一代多一个声部;枝梢点亮是八音盒的高音;三个浪起各一下定音鼓;**全片唯一的最高点在 46 秒的大浪**,总线推高 +3dB;雪一排比一排低。
- **别做硬休止。** 第一版在月亮出现前把弦乐一下压到 0,57 秒又整组砸回来,听起来就是「54 秒卡壳了一下,很生硬」。改成和弦慢慢收,低音从 G 落到 D,一层空五度一直接住。59 秒进冬天也冲高过 10dB,一样生硬。
- 验收:按 0.25 秒扫一遍 RMS,看相邻两格的跳变。只有独奏钢琴单音的起音可以跳 10dB 以上。
- 采样第一次从 jsDelivr 拉,约 200MB,存在 `sand-kit/.cache/`,之后从本地读。

## 性能

- 只能从头顺序推进。普通段约 90 ms/帧;树那段每一步要跑几十个全屏 carve,会慢到几百毫秒。
- 整片 78 秒(75 秒正片加 3 秒余音)在 RTX 4060 笔记本上大约 25 分钟。无头 Chrome 要带 `--ignore-gpu-blocklist`,`tools/render.mjs` 已经带上;落到软件渲染会慢十几倍。
- 看第 60 秒的静帧也要从 0 秒跑过去,所以一张 8 格的联系表要 5 到 10 分钟。改后半段时,在同一次渲染里多取几个时刻,别一格一格地取。
planning-and-task-breakdownaddyosmani/agent-skillsBreaks work into ordered tasks. Use when you have a spec or clear requirements and need to break work into implementable tasks. Use when a task feels too large to start, when you need to estimate scope, or when parallel work is possible.Stars: 119kUpdated Claude CodeCodexVerifiedInstall
screenpipethedotmack/claude-memSearch screen and audio history recorded by Screenpipe and optionally save selected context into claude-mem. Use when the user asks to recall desktop activity, a meeting, or something seen in another app through Screenpipe.Stars: 118kUpdated Claude CodeCodexVerifiedInstall
contact-widgetnexu-io/open-designSelf-contained floating chat widget with welcome screen, social links, meeting button, and message input. Single HTML file, zero dependencies.Stars: 108kUpdated Claude CodeCodexVerifiedInstall
meeting-notesnexu-io/open-designMeeting notes page — title bar with attendees, agenda checklist, decisions block, action items table with owners + dates, and a "next meeting" footer. Use when the brief mentions "meeting notes", "minutes", "1:1 notes", "all-hands recap", or "会议纪要".Stars: 108kUpdated Claude CodeCodexVerifiedInstall