anbeime/skill / skills/infinitetalk
infinitetalk
Verified自媒体创作者与内容创作者在制作数字人播报或视频配音时,只需输入单张人像与音频,即可自动生成唇形、表情、动作完美同步的无限时长说话视频。一键打造高质量虚拟主播内容,告别繁琐拍摄,让音视频创作更高效!
| File | Kind | Size |
|---|---|---|
| SKILL.md | skill md | 5.5 KB |
| references/environment_setup.md | markdown | 2.8 KB |
| references/model_download.md | markdown | 4.1 KB |
| references/usage_examples.md | markdown | 6.1 KB |
| scripts/infer_infinitetalk.py | script | 15.9 KB |
references/usage_examples.md
View on GitHub# 使用示例
## 概览
本文档提供 InfiniteTalk 的典型使用场景和命令示例。
## 示例 1:基础图片生成视频
### 场景
从一张人物照片生成音频驱动的说话视频。
### 步骤
1. 准备输入:
- 输入图片:`./examples/person.jpg`
- 驱动音频:`./examples/speech.wav`
2. 执行命令:
```bash
python scripts/infer_infinitetalk.py \
--input_path ./examples/person.jpg \
--audio_path ./examples/speech.wav \
--output_path ./output/video_1.mp4 \
--size infinitetalk-480 \
--mode clip \
--frame_num 81 \
--sample_steps 40 \
--sample_audio_guide_scale 4.0
```
3. 参数说明:
- `--input_path`:输入图片路径
- `--audio_path`:驱动音频路径
- `--output_path`:输出视频路径
- `--size`:分辨率配置(480P 或 720P)
- `--mode`:生成模式(clip=单段,streaming=长视频)
- `--frame_num`:生成帧数(必须是 4n+1)
- `--sample_steps`:采样步数(40-50)
- `--sample_audio_guide_scale`:音频引导强度(3.0-6.0)
## 示例 2:长视频生成(Streaming 模式)
### 场景
生成较长的说话视频(超过 10 秒)。
### 步骤
```bash
python scripts/infer_infinitetalk.py \
--input_path ./examples/person.jpg \
--audio_path ./examples/long_speech.wav \
--output_path ./output/video_long.mp4 \
--size infinitetalk-480 \
--mode streaming \
--frame_num 81 \
--max_frame_num 1000 \
--motion_frame 9
```
### 参数说明:
- `--mode streaming`:启用流式生成模式
- `--max_frame_num`:最大帧数限制
- `--motion_frame`:驱动帧长度(控制流畅度)
## 示例 3:视频重配音(Video-to-Video)
### 场景
对现有视频进行音频驱动的重配音。
### 步骤
```bash
python scripts/infer_infinitetalk.py \
--input_path ./examples/original_video.mp4 \
--audio_path ./examples/new_audio.wav \
--output_path ./output/redubbed_video.mp4 \
--size infinitetalk-480 \
--mode clip
```
### 说明:
- 脚本会自动提取视频的首帧作为参考
- 生成结果会保持原视频的分辨率
## 示例 4:使用 TTS 生成音频
### 场景
从文本生成音频,然后用该音频驱动视频。
### 步骤
```bash
python scripts/infer_infinitetalk.py \
--input_path ./examples/person.jpg \
--text "你好,欢迎使用 InfiniteTalk 视频生成工具" \
--output_path ./output/tts_video.mp4 \
--size infinitetalk-480 \
--voice1 ./weights/Kokoro-82M/voices/female_01.pt
```
### 参数说明:
- `--text`:待合成的文本内容
- `--voice1`:TTS 声音模型路径
## 示例 5:双人对话视频
### 场景
生成双人对话的说话视频。
### 步骤
```bash
python scripts/infer_infinitetalk.py \
--input_path ./examples/person.jpg \
--text "(s1) 你好,最近怎么样?(s2) 我很好,谢谢关心。(s1) 今天天气真不错。(s2) 是啊,适合出去走走。" \
--output_path ./output/dialogue_video.mp4 \
--size infinitetalk-480 \
--voice1 ./weights/Kokoro-82M/voices/female_01.pt \
--voice2 ./weights/Kokoro-82M/voices/male_01.pt
```
### 说明:
- `(s1)` 和 `(s2)` 用于区分不同说话人
- 需要指定两个声音模型
## 示例 6:低显存优化
### 场景
在显存不足的设备上运行(<16GB)。
### 方案 1:启用量化
```bash
python scripts/infer_infinitetalk.py \
--input_path ./examples/person.jpg \
--audio_path ./examples/speech.wav \
--output_path ./output/video_quantized.mp4 \
--quant int8
```
### 方案 2:启用模型卸载
```bash
python scripts/infer_infinitetalk.py \
--input_path ./examples/person.jpg \
--audio_path ./examples/speech.wav \
--output_path ./output/video_offloaded.mp4 \
--offload_model true
```
### 方案 3:T5 放到 CPU
```bash
python scripts/infer_infinitetalk.py \
--input_path ./examples/person.jpg \
--audio_path ./examples/speech.wav \
--output_path ./output/video_t5_cpu.mp4 \
--t5_cpu
```
## 示例 7:高清视频生成(720P)
### 场景
生成更高分辨率(720P)的视频。
### 步骤
```bash
python scripts/infer_infinitetalk.py \
--input_path ./examples/person.jpg \
--audio_path ./examples/speech.wav \
--output_path ./output/video_720p.mp4 \
--size infinitetalk-720 \
--sample_shift 11
```
### 说明:
- 720P 模式需要更多显存和计算资源
- `--sample_shift` 需要设置为 11(480P 模式为 7)
## 示例 8:使用 LoRA 微调权重
### 场景
使用训练好的 LoRA 权重增强特定风格。
### 步骤
```bash
python scripts/infer_infinitetalk.py \
--input_path ./examples/person.jpg \
--audio_path ./examples/speech.wav \
--output_path ./output/video_lora.mp4 \
--lora_dir ./weights/your_lora.safetensors \
--lora_scale 1.2
```
### 参数说明:
- `--lora_dir`:LoRA 权重路径(支持多个)
- `--lora_scale`:LoRA 影响强度(0.0-2.0)
## 高级参数调整
### 采样步数
- `--sample_steps 30`:快速但质量较低
- `--sample_steps 40`:默认值,平衡速度和质量
- `--sample_steps 50`:高质量但较慢
### 音频引导强度
- `--sample_audio_guide_scale 3.0`:音频影响较弱
- `--sample_audio_guide_scale 4.0`:默认值
- `--sample_audio_guide_scale 6.0`:音频影响较强,可能过度同步
### 文本引导强度
- `--sample_text_guide_scale 5.0`:默认值
- 调整范围:3.0-10.0
## 性能优化建议
1. **快速预览**:
- 使用 `--sample_steps 30`
- 使用 `--frame_num 17`(约 1.7 秒)
2. **高质量输出**:
- 使用 `--sample_steps 50`
- 使用 `--size infinitetalk-720`
3. **低显存设备**:
- 组合使用 `--quant int8` 和 `--offload_model true`
- 使用 `--t5_cpu`
4. **批量生成**:
- 编写 Shell 脚本批量处理多个输入
- 使用 `--base_seed` 控制随机性
## 常见问题排查
### 问题 1:生成的视频音频不同步
- 解决:调整 `--sample_audio_guide_scale` 参数
### 问题 2:显存溢出
- 解决:使用量化或模型卸载(见示例 6)
### 问题 3:生成速度太慢
- 解决:减少 `--sample_steps` 或降低分辨率
### 问题 4:视频质量不佳
- 解决:增加 `--sample_steps`,检查输入图片质量
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| slack-gif-creatoranthropics/skillsKnowledge and utilities for creating animated GIFs optimized for Slack. Provides constraints, validation tools, and animation concepts. Use when users request animated GIFs for Slack like "make me a GIF of X doing Y for Slack." | Stars: 197k | Updated | Claude CodeCodex | Verified | Install |
| ponytailDietrichGebert/ponytailLazy senior dev mode for any coding task: the smallest change that fully solves it, and a reply a busy human understands in one read. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailHarvest every shortcut: comment into one debt ledger, so deferrals get tracked instead of forgotten. One-shot report. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailList every `shortcut:` comment (and older `ponytail:` ones) as a debt ledger. One-shot report, changes nothing. Use for "ponytail debt", "what did ponytail defer", "list the shortcuts", /ponytail-debt. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |