Weeexiao/skills / production/audio-driven-mv
audio-driven-mv
Verified使用 Toonflow 无限画布和 MiniMax H3 制作已有歌曲驱动的对口型 MV,支持 Blender 白模预演、逐字唱词、角色场景参考、分段生成、任务恢复和按原音频裁尾。适用于分段歌曲视频及局部重做,不用于重新作曲或后期换轨伪造音频复用。
音频驱动 MV
目标是让生成模型直接复用用户提供的演唱音频,并让角色动作、口型跟随该音频。后期替换音轨不能证明生成时正确复用了音频。
开始前
- 取得角色图、场景图、完整歌曲、分段音频、歌词、目标画布与比例。沿用用户已有资产和项目,不默认新建项目或白模。
- 用 ffprobe 读取每段真实时长。先查询工作流能力:音乐数字人的完整音频模式不套用通用 H3 的短片时长范围;长音频先核对平台限制、消耗与分段衔接风险,按用户选定的片段制作,不擅自提交整首歌。
- 文件名、总歌词与实际唱词可能不同。对含混处让用户一次核准多段;人工已核准就锁定逐字原词,不反复转写。标明当前采用的歌词来源。
- 简短说明景别、机位、动作、场景、视线和时长。遵循用户已确认的角色配色和表演偏好。复杂人工可直接核查的小事可交给用户,避免昂贵的自动分析。
资产与镜头
- 每段单独生成构图参考图,明确角色图用于身份、环境图用于场景。使用当前可用的图像生成能力;本 Skill 不提供图像服务凭证。
- 用户要求不看镜头时,明确眼睛和鼻尖朝向;室内可闭眼,行走时看行进方向。专注深情不能写成持续微笑。
- 话筒中心匹配角色嘴部高度,不能套用成人高度;防喷罩不可遮嘴。
- 单段默认保持当前场景,避免把上一段或下一段的地点混进来。允许按用户要求使用多镜头、上摇下摇或明确硬切;多场景或复杂多参考优先单独规划片段或选择全能参考,不能让单图数字人承担未经验证的跨场景能力。
- 外景跟拍要写清路径平行墙面、与墙保持距离、走在可通行人行道中心;镜头同向等速移动,不穿墙、不靠近门窗。首尾都在同一外景。
- 室内首帧就已在室内;不加外景建立镜头、闪帧、进门动作或转场。不要在该段混入外景服饰规则。
可选 Blender 白模预演
用户要求白模、复杂走位或镜头验证时,按 references/blenderPrevis.md 执行“简短搭建计划 → 确认人物配色与时间轴 → 参考图 → Blender 简化搭建与关键帧 → 检查 → 导出 MP4 → 导入画布”。已有确认可直接沿用;用户明确不用白模时跳过。
白模的通用搭建规范(几何精度、关键帧取整、PNG 序列 + FFmpeg 编码、后台重建脚本)见 blender-previs 技能;本 Skill 的引用文件只保留 MV 特有的音频与引用编号差异。
白模只验证站位、层次、距离、构图、景别、路径和运镜,不验证表情或口型。保留可编辑 .blend 与重建脚本;单段单场景,段间切镜留给剪辑。
Toonflow 与 H3
按 references/toonflowWorkflow.md 发现当前 MCP、连接、画布和节点函数。连接 ID、工作流 ID、接口端口和模型能力必须现查,不照抄旧项目。
- 原素材复制到工作区 assets,再设置节点;节点路径使用工作区相对路径。
- 已有歌曲驱动对口型 MV 默认选择已验证的音乐数字人路线:当前 Toonflow 标识为
h3DigitalHuman,显示名含“MinimaxH3音乐数字人(无限分段长视频)艾橘溪”。实际可用性、ID、槽位与参数仍由 getConfig 确认;用户已选定后沿用,不逐段重问。不存在时说明缺项,不能静默改为全能参考。 - 数字人只连接一张已确认构图图和本段完整原唱音频,写普通英文动作提示词:开头声明原音频是口型主时钟,随后描述表演和运镜,不加六段标题、
fully_copy标签或<d>歌词结构。完整音频模式通常duration=0、audioStart=0,其余真实参数按配置设置。全能参考、白模多参、首尾帧等按 references/h3Prompt.md 分流;只有全能参考用六段与fully_copy。 - 提示词存入生成节点。说明用文本节点可单独保存,但不要把同一整段提示词再次连入生成输入而造成重复。
- 预检引用、参数和歌词。一次生成不能自动保证音频复用或口型正确,交付时区分技术检查和人工检查。
- 按用户授权范围提交付费生成。立刻保存 requestId、taskId、nodeId、参数和提示词。已有未明确结束的请求不可重提;每段先一版,用户反馈后再改。
- 状态为本地失败、文件占用或超时,但已有上游 taskId 时,查询和恢复原任务,不能再次生成替代查询。顺序更新本地文件,避免画布和任务表同时写锁冲突。
收尾与修订
- 保留模型原生输出、原生声音。只裁掉超出 WAV 长度的尾部,不换轨、不加速、不自动平移声音。使用
scripts/trimToAudio.ts,输出必须为新文件。 - 工具脚本会拒绝原视频短于参考音频的情况;此时报告不足,不能补静帧或假装裁尾成功。
- 检查文件存在、音视频流、时长和画幅。口型、唱词、视线、穿墙或闪场由人工看;用户要求自动视觉检查时再做低成本抽帧。
- 修订保存到独立目录或新节点,保留原版。只改点名片段;用户已确认的唱词、原音频和其他镜头不变。
- 回填裁尾成片到画布,保留原生历史;导出或备份画布 JSON 与所有相对引用资产。最后给出可打开的成片路径、修改内容、实际完成的验证及待人工核查项。
各种输入模式、官方方法及实测结论见 references/workflowSelection.md。
迁移安装与运行说明见 README.md。不要把凭证、用户素材或带本机路径的任务记录放入公开仓库。
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| slack-gif-creatoranthropics/skillsKnowledge and utilities for creating animated GIFs optimized for Slack. Provides constraints, validation tools, and animation concepts. Use when users request animated GIFs for Slack like "make me a GIF of X doing Y for Slack." | Stars: 198k | Updated | Claude CodeCodex | Verified | Install |
| ponytailDietrichGebert/ponytailLazy senior dev mode for any coding task: the smallest change that fully solves it, and a reply a busy human understands in one read. | Stars: 196k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailHarvest every shortcut: comment into one debt ledger, so deferrals get tracked instead of forgotten. One-shot report. | Stars: 196k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailList every `shortcut:` comment (and older `ponytail:` ones) as a debt ledger. One-shot report, changes nothing. Use for "ponytail debt", "what did ponytail defer", "list the shortcuts", /ponytail-debt. | Stars: 196k | Updated | Claude CodeCodex | Verified | Install |