anbeime/skill / skills/native-subtitle-quote-image/native-subtitle-quote-image/skills/native-subtitle-quote-image
native-subtitle-quote-image
Verified将本地视频或用户有权处理的在线视频,经过来源获取、文字稿定位、选题选句、精确取帧、紧凑裁切、拼图和逐张质检,制作成 3:4 或保留画面原比例的视频字幕长图。支持两种明确分开的输出:保留画面内已烧录字幕的原生字幕模式,以及把已审核的时间点与台词绘制到真实视频帧上的脚本字幕模式。用户要求原生字幕截图、字幕帧拼图、YouTube 金句长图、台词截图、不重绘字幕、自定义中文台词,或调整主图比例、字幕区域、台词间隔和美感时使用。
| File | Kind | Size |
|---|---|---|
| SKILL.md | skill md | 22.4 KB |
| VERSION | other | 7 B |
| agents/openai.yaml | config | 467 B |
| references/end-to-end-workflow.md | markdown | 17.2 KB |
| references/troubleshooting.md | markdown | 5.7 KB |
| references/visual-style.md | markdown | 10.2 KB |
| references/yt-dlp-and-transcripts.md | markdown | 14.0 KB |
| requirements.txt | manifest | 33 B |
| scripts/check_environment.py | script | 8.9 KB |
| scripts/check_update.py | script | 8.0 KB |
| scripts/native_subtitle_stitch.py | script | 59.1 KB |
references/end-to-end-workflow.md
View on GitHub# 从读视频到字幕长图的完整工作流
本文件用于多阶段任务:链接获取、长视频理解、选题、选句、精确取帧、原生/脚本字幕分流、拼图、质检和返工。只有本地短视频且时间点已经明确时,可以不读本文件,直接使用 `SKILL.md` 的核心流程。
## 交付标准
一次完整交付至少包含:
- 一个独立输出目录,并明确标注原生字幕或脚本字幕模式;
- 逐张 JPG,比例符合所选布局或用户明确要求;
- 原生模式的 `原生字幕时间点.json`,或脚本模式的 `lines` JSON;
- 多图任务的 `final_contact_sheet.jpg`;
- 对来源、字幕类型、画质限制和素材权限的简短说明;
- 逐张视觉检查结论,而不是只报告脚本退出码。
## 来源模式与字幕模式
这是两个独立维度:来源可以是本地或 URL,字幕可以是原生或脚本。例如,YouTube URL 既可用原生字幕模式,也可在用户需要已审核中文台词时用脚本字幕模式。
### A. 字幕模式
- **原生字幕**:文字已经烧录在画面像素中;只取帧、裁切和拼接,不改字。
- **脚本字幕**:文字来自已审核的时间点 + 台词 JSON;在真实视频帧上后期绘制。
用户要求原生字幕时,只能使用原生模式。画面没有对应烧录字幕时,先报告限制;只有用户同意,才改用脚本模式。
### B. 来源与任务模式
#### 本地成片模式
用户提供本地视频。完成环境检查、候选帧、选句、模式判断、渲染和质检。`yt-dlp` 不是必需项;文字稿或 Whisper 只在需要语义定位时使用。
#### URL 完整模式
用户提供 YouTube 等链接。先按 [yt-dlp-and-transcripts.md](yt-dlp-and-transcripts.md) 获取视频与辅助时间轴,再选择原生字幕或脚本字幕模式。
#### 内容生产模式
用户想完成“读视频 → 选题 → 写文章/帖子 → 生成字幕截图”。先让视频理解、转写、选题或写作 Skill 处理文字稿;再把每个主题对应的时间范围交回本 Skill,从真实视频帧选择最终画面。原生模式不改字;脚本模式只绘制已复核台词。
## 推荐目录
每个来源使用独立目录,避免缓存、成品和其他视频混在一起:
```text
任务目录/
├── source/ # 下载或用户提供的视频、字幕轨、元数据
├── analysis/
│ ├── transcript.vtt # 可选,仅用于理解和定位
│ ├── candidate-topics.md # 可选,候选主题与时间范围
│ └── candidate-frames.jpg # 带时间点候选帧
├── manifest.json # 原生模式的最终时间点
├── script.json # 脚本模式的时间点 + 已审核台词
├── previews/
│ └── band-preview.jpg
└── output-v1/
├── 01_主题.jpg
├── 原生字幕时间点.json # 原生模式
└── final_contact_sheet.jpg
```
不要把原视频、Cookie、个人账号信息、临时字幕或成品图提交进 Skill 仓库。输出目录已存在时创建 `output-v2`;只有用户明确要求覆盖时才使用 `--overwrite`。
## 阶段 0:确认任务
开始前确认四件事:
1. 输入是本地文件还是 URL;
2. 用户想要几张图、发布比例和目标受众;
3. 是否需要先理解长视频、选题或写文章;
4. 用户是否有权下载、处理并发布来源素材。
缺少图片数量时,可以先做 2–3 个候选主题,但不要把推测当作用户已经确认的发布方案。
## 阶段 1:环境诊断
本地模式:
```bash
python3 "<SKILL_DIR>/scripts/check_environment.py"
```
URL 模式:
```bash
python3 "<SKILL_DIR>/scripts/check_environment.py" --url-mode
```
脚本字幕中含中日韩文字时增加 `--script-mode`;URL 来源可以同时传 `--url-mode --script-mode`。
核心依赖缺失时先取得安装授权。URL 模式缺少 Deno,但已有 Node.js 时,不需要强制再装 Deno;在 yt-dlp 命令里显式使用 `--js-runtimes node` 即可。Deno 仍是官方推荐和默认启用的选择。
## 阶段 2:获得来源并建立来源记录
URL 模式按专门参考文件执行。至少保留:
- 原始 URL;
- 视频标题、作者/频道、视频 ID、时长;
- 实际下载的视频文件;
- 使用了人工字幕、自动字幕还是语音识别;
- 下载日期与 yt-dlp 版本;
- `download-attempts.log`:每次下载尝试的格式、结果和错误摘要。
下载后必须运行 `check-source VIDEO --min-height 720`,通过才能进入抽帧;失败则按参考文件换下一级变体重试。低于 720p 的变体须先征得用户确认。
来源记录用于复核,不要把账号凭据、Cookie 内容或本机绝对路径写进去。
## 阶段 3:判断字幕类型并锁定模式
字幕类型是硬门槛。不能只看播放器是否显示字幕,也不能只看是否下载到了 VTT。必须在出图前记录使用哪种字幕模式。
先生成整段候选帧总览:
```bash
python3 "<SKILL_DIR>/scripts/native_subtitle_stitch.py" sample VIDEO \
--out analysis/candidate-frames.jpg
```
逐格检查:
- 字幕是否直接存在于画面像素;
- 字幕语言和用户需求是否一致;
- 字幕位置是否稳定;
- 是否有节目 Logo、标题条、广告贴片遮住字幕;
- 视频画质是否足够。
若大多数帧没有字幕,不要马上判定失败;可能抽到了停顿或转场。结合文字稿选 2–3 个明确说话的时间点,再使用聚焦采样。
最终分流:
- 用户要求保留原字幕,且稳定帧里能直接看到文字:原生字幕模式。
- 用户要求中文翻译、提炼台词或统一字体,并理解文字会后期绘制:脚本字幕模式。
- 用户要求原生字幕,但只找到独立字幕轨:先停止并说明,取得同意后才可转脚本模式。
## 阶段 4:用文字稿选题,再核对文字用途
字幕轨或 Whisper 文字稿首先用来快速回答:
- 视频有哪些值得传播的独立观点;
- 每个观点在哪个时间范围;
- 哪段能组成 4–6 句连续表达;
- 哪些句子是提问、结论、反常识或行动建议。
### 多人对话与访谈:先标说话人
访谈、播客、对谈、圆桌和辩论里,文字稿是多个人交替说话的结果,而 YouTube 字幕轨与普通 Whisper 文字稿都不标说话人。直接按“4–6 句连续表达”选句,会把主持人的提问和嘉宾的回答拼成一个人的观点,读起来像串线或乱序。选题前先做三件事:
1. **建立说话人索引**:有带说话人分离(diarization)的转写时使用它;没有时,在 `analysis/` 下另存一份带说话人标注的文字稿,例如 `[61.2] 主持人:……`、`[68.9] 嘉宾 A:……`。不确定的句子用 `sample -t ... --around 0.8` 回看画面,依据口型、机位和画面内名牌判断;仍无法确认的句子不入选。
2. **按说话人切分主题**:默认一张图只放同一个人围绕一个观点的连续表达。主持人的提问只在用户需要“问答”结构时入选。
3. **问答结构单独确认**:用户要一问一答时,先确认结构;问与答必须在原视频中相邻,不跳过对方插话,也不把两人的句子改写成一人的观点。原生模式无法在画面上补标说话人,交付说明里要逐句写明说话人。
不标说话人就选句,是多人素材“分不清谁说的、顺序乱”的主要原因;不要靠后期换帧补救。
### 候选主题评分
每个候选主题按以下维度判断,不需要机械打分,但应明确取舍:
| 维度 | 判断问题 |
|---|---|
| 独立性 | 脱离上下文后还能看懂吗? |
| 连续性 | 4–6 句能构成完整的小论证吗? |
| 画面可用性 | 对应时间段是否有人物清楚、字幕稳定的帧? |
| 信息密度 | 是否每一句都在推进,而不是重复铺垫? |
| 真实性 | 是否能回到原视频验证,没有改写成另一层意思? |
| 说话人一致 | 多人素材中,句子是否都属于同一说话人,或是经用户确认、在原视频中相邻的问答? |
| 发布价值 | 是否符合用户正在做的文章、帖子或栏目? |
为每个主题记录:标题、起止时间、一句话价值、候选时间点。标题是文件名和内部导航,不会被画进图片。
文字稿在两种模式中的边界不同:
- **原生模式**:文字稿只是检索索引,最终字幕以画面像素为准。
- **脚本模式**:文字稿可以进入 `text`,但必须先核对原语义、人名、数字、专有名词和时间点。翻译或压缩过的句子需明确属于后期台词,不能冒充原字幕。
### 与其他 Skill 协作
- **视频理解/语音转写 Skill**:生成带时间戳文字稿,作为检索索引。
- **选题/内容分析 Skill**:从文字稿提名主题、判断受众价值。
- **写作 Skill**:围绕已选主题写文章或帖子,并引用来源事实。
- **本 Skill**:掌管最终画面、真实时间点、字幕来源标识、裁切/绘制和视觉 QA。
如果某个上游 Skill 未安装,就直接完成必要的文字稿阅读与主题提炼;不要假设一个不存在的 Skill。用户只要求做图时,不要擅自扩展成写文章或发布内容。
## 阶段 5:把语义时间点校准成可用画面
文字稿时间戳通常落在一句话开始处,容易截到字幕刚出现、上一句残留或无字幕帧。对每个候选时间点生成前、中、后三帧:
```bash
python3 "<SKILL_DIR>/scripts/native_subtitle_stitch.py" sample VIDEO \
-t 61.2 -t 68.9 -t 74.5 -t 82.0 -t 88.4 \
--around 0.8 --out analysis/focused-candidates.jpg
```
选择规则:
- 取字幕完整稳定显示后的中间帧,不取切换瞬间;
- 相邻时间点必须是不同句,且严格递增;
- 同一张图的句子应组成连续表达,允许跳过无信息过渡句;
- 第一帧是主画面,优先人物表情、动作或场景完整;多人素材的主画面必须是这些台词的说话人在说话;
- 多人素材逐个时间点回看完整画面,确认说话人与字幕都对应文字稿标注;两人交替快或抢话时,字幕可能已切到对方的话;
- 避免转场、黑帧、广告贴片、人物闭眼、Logo 穿脸;
- 原生模式的字幕文字以画面为准;脚本模式的台词以已审核 JSON 为准。
如果 0.8 秒范围仍找不到稳定字幕,把 `--around` 改为 0.4 或 1.2;不要一次偏移太大,否则可能跳到另一句话。
## 阶段 6:校准视觉采样区域
原生模式需要完整包住画面已有字幕;脚本模式则需要为后期台词找到背景简洁、对比足够的水平画面条。
在典型时间点预览上下边界:
```bash
python3 "<SKILL_DIR>/scripts/native_subtitle_stitch.py" band VIDEO -t 61.2 \
--band-top 0.78 --band-bottom 0.96 \
--out previews/band-preview.jpg
```
检查两条红线:
- 上边界要包含完整的第一行字幕和描边;
- 下边界要包含字幕底部,但避免大块黑边;
- 单行字幕优先保持约 `0.78–0.96` 的紧凑裁切;
- 两行字幕、字幕位置偏高时可尝试 `0.62–0.96` 或 `0.68–0.97`;
- 同一期节目字幕位置变化时,至少抽查开头、中段、结尾三个时间点。
脚本模式不使用 `band`,而是用 `render-script --band-center`设定字幕条在原帧中的垂直中心。默认 `0.88`;背景杂乱或与原有字幕重叠时,先从候选帧换画面,再小范围调整中心。
## 阶段 7:建立最终时间点文件
每张图默认使用 5 个严格递增的时间点:第一帧做主画面,其余四帧做字幕条。
### 原生字幕 manifest
```json
{
"images": [
{
"title": "模型独立工作时长正在快速增长",
"times": [61.6, 69.3, 75.0, 82.4, 88.8]
},
{
"title": "衡量趋势时不要忽略任务成功率",
"times": [104.2, 109.0, 114.7, 121.3, 127.0]
}
]
}
```
manifest 只记录最终确认的时间点,不把文字稿改写后的句子放进去,避免让人误以为渲染器会重绘文字。
### 脚本字幕 JSON
```json
{
"lines": [
{"t": 61.6, "text": "第一句已核对台词"},
{"t": 69.3, "text": "第二句已核对台词"},
{"t": 75.0, "text": "第三句已核对台词"},
{"t": 82.4, "text": "第四句已核对台词"},
{"t": 88.8, "text": "第五句已核对台词"}
]
}
```
`text` 必须是单行已审核文字。过长台词先拆句,不依靠极小字号填满一条。翻译时把人名、数字、专有名词和否定关系单独复核。
## 阶段 8:渲染
### 原生字幕
```bash
python3 "<SKILL_DIR>/scripts/native_subtitle_stitch.py" render VIDEO \
--manifest manifest.json --out-dir output-v1 \
--band-top 0.78 --band-bottom 0.96
```
### 脚本字幕
```bash
python3 "<SKILL_DIR>/scripts/native_subtitle_stitch.py" render-script VIDEO \
--script script.json --out output-v1/01_主题.jpg \
--aspect 3:4 --width 1440
```
中日韩文绘制需要 CJK 字体。脚本会先尝试常见系统字体;无法自动找到时,使用 `--font /path/to/font.ttc`。对字体文件同样要遵守其授权条款,不将未授权字体提交到公开仓库。
原生模式默认保留源宽度,先拼源像素、再整图统一等比缩放,高度按真实内容计算。用户未指定比例时不要添加 `--aspect 3:4`;显式指定时,默认对整张拼图统一裁去两侧、最多裁到字幕安全边界,剩余差额才留边;不单独放大主图、不横向裁掉字幕。脚本固定布局仍默认 1440×1920,五个时间点时主画面约占 70%、四条各约占 7.5%。两者条间距为 0。任何输出放大都不等于真实画质提升,应在交付中说明。
用户明确要求调整视觉密度时,读取 [visual-style.md](visual-style.md)。只有确有需要才显式传 `--hero-fraction` 覆盖自动布局。
## 阶段 9:逐张质检
多图任务先看 `final_contact_sheet.jpg` 发现整体问题,再逐张打开原尺寸 JPG;单图脚本模式直接打开原尺寸成品。
### 视觉检查
- 主画面主体完整,没有异常切脸、切头或巨大空白;
- 每条字幕完整,没有切掉描边、标点或第二行;
- 没有同句重复、空字幕、字幕切换残影;
- 原生字幕第一句与后续字幕使用同一缩放倍数,保留全部文字;脚本固定布局四条时主画面约占 68–72%,字幕条紧凑相接;
- 各条之间没有黑边、白缝、额外间距或缩放变形;原生固定画布两侧统一裁切后的剩余留边是保留字幕的取舍,不是条间距;
- 没有广告贴片、进度条、鼠标、通知或无关 UI;
- 画面内已有来源标识时保持原样,不自行新增或删除。
- 脚本模式的文字水平居中,白字黑边清晰,不压主体,不与原有 UI 或字幕叠在一起;
- 脚本模式的字号不应因为台词过长缩到手机上不可读;此时拆句。
### 技术检查
- 每张图可正常解码;
- 尺寸与目标比例一致;
- 文件数量与 manifest 的 `images` 数量一致;
- 原生模式的 `原生字幕时间点.json`,或脚本模式的 `lines` JSON 与实际渲染版本一致;
- 总览图包含全部成品;
- 不同成品不是重复文件。
### 语义检查
- 一张图只表达一个中心观点;
- 五句顺序与原视频一致;
- 多人素材每句的说话人与文字稿标注一致;没有把不同人的话拼成一个人的观点;
- 原生模式没有用标题或文章文案替换原字幕;
- 脚本模式的台词与已审核 JSON 完全一致,而且交付中没有把它误标为原生字幕;
- 如果配套写文章,文章观点能够回到视频或其他来源核验。
## 阶段 10:有界返工
发现问题时只改对应变量:
| 问题 | 优先修改 |
|---|---|
| 字幕刚出现或残留 | 对应时间点 ±0.3–1.5 秒 |
| 同句重复 | 换到下一句稳定帧 |
| 字幕被裁 | `--band-top` / `--band-bottom` |
| 主图不好 | 只换该组第一个时间点 |
| 台词少但字幕条很高 | 使用默认自适应布局,移除过小的 `--hero-fraction` |
| 主图太矮或太高 | 确认默认自适应仍不合适后,再调整 `--hero-fraction` |
| 脚本台词过长 | 先拆句或重选连贯的简短表达,不先压缩字号 |
| 脚本文字与背景混在一起 | 换稳定帧,再小幅调整 `--band-center` |
| 全组主题不连贯 | 回到文字稿重新选段,不靠换帧硬救 |
| 多人素材分不清谁说的 | 回到带说话人标注的文字稿,按说话人重新选段 |
| 字幕条是对方的话或上一句 | 对照说话人标注重新回看该时间点,必要时换句 |
每轮改动后重新逐张检查。连续三轮仍找不到稳定画面时,说明该段不适合做原生字幕拼图,换主题或向用户报告限制;不要无限微调。
## 阶段 11:交付
向用户提供:
1. 输出目录;
2. 成品直接预览,多图任务另提供 `final_contact_sheet.jpg`;
3. 每张成品的标题或用途;
4. 对应模式的时间点 manifest 或 `lines` JSON;
5. 已完成的视觉与技术检查;
6. 明确的字幕模式和文字来源说明;
7. 仍存在的源画质、版权或字幕限制。
只有用户需要分享打包时再生成 ZIP。不要把未经打开检查的图片报告为完成。
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| slack-gif-creatoranthropics/skillsKnowledge and utilities for creating animated GIFs optimized for Slack. Provides constraints, validation tools, and animation concepts. Use when users request animated GIFs for Slack like "make me a GIF of X doing Y for Slack." | Stars: 198k | Updated | Claude CodeCodex | Verified | Install |
| ponytailDietrichGebert/ponytailLazy senior dev mode for any coding task: the smallest change that fully solves it, and a reply a busy human understands in one read. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailHarvest every shortcut: comment into one debt ledger, so deferrals get tracked instead of forgotten. One-shot report. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailList every `shortcut:` comment (and older `ponytail:` ones) as a debt ledger. One-shot report, changes nothing. Use for "ponytail debt", "what did ponytail defer", "list the shortcuts", /ponytail-debt. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |