Skip to content

staruhub/ClaudeSkills / skills/Geek-skills-keqian-method

keqian-method

Verified

胥克谦式AI-Native产品开发方法论。适用于:(1) 使用AI Agent(Claude Code、Codex、Cursor等)进行产品级软件开发,(2) 设计和优化Harness/Skill体系,(3) 文档驱动开发(SDD)流程,(4) 构建自动化质量门禁和eval机制,(5) Token成本优化与缓存策略,(6) 产品人转型开发者的AI编程实践。触发场景包括"帮我设计开发流程"、"怎么降低token成本"、"怎么提高AI编码质量"、"文档驱动"、"质量门禁"、"harness设计"、"单agent vs multi-agent"、"自动化迭代"、"AI产品开发"、"SDD"、"eval机制"等。即使用户只是说"帮我用AI写代码"或"怎么让agent干活更靠谱"也应触发。注意:如果产品是行为开放、用户输入不可穷举的AI-native类型,请改用 xuefeng-method skill。不用于:单个bug修复或小改动(无需方法论)、PRD需求文档写作(用product-manager)。

FileKindSize
SKILL.mdskill md8.8 KB
evals/routing-evals.jsonconfig1.8 KB
references/eval-patterns.mdmarkdown4.0 KB
references/sdd-framework.mdmarkdown2.7 KB

references/eval-patterns.md

View on GitHub
# 质量门禁与Eval模式库

## 核心公式

```
最终质量 = ∏(每个环节的成功率)

0.99^10 = 0.904 ✅ 还行
0.99^51 = 0.600 ❌ 不及格
0.95^10 = 0.599 ❌ 直接不及格
```

**推论:** 环节越多,每个环节的质量要求越高。
因此要么减少环节(拆简单),要么提高每个环节的成功率(加eval)。

---

## Eval模式

### 模式1:Action-Eval对

每个Agent Action都有对应的Eval检查。

```
Agent执行Action → Eval检查 → Pass/Fail
                                  ↓ Fail
                           自动修复(最多2轮)
                                  ↓ 仍Fail
                           升级给人类
```

适用:高质量要求的核心流程。
成本:高(但缓存命中率也高)。

### 模式2:阶段门禁

每个开发阶段结束时做一次综合eval。

```
Phase完成 → 综合Eval → Pass/Fail
                         ↓ Fail
                    回滚到Phase起点
                    分析失败原因
                    调整后重新执行
```

适用:文档阶段、设计阶段等非代码产出。
成本:中等。

### 模式3:持续监控

后台持续扫描,发现漂移就触发修复。

```
定时扫描 → 发现偏差 → 生成修复PR → 自动/人工审核 → 合并
```

适用:长期维护阶段。参考OpenAI的"黄金原则"定期清理机制。

### 模式4:CICD集成式复盘

借用传统CI/CD的思路来复盘AI产出问题。

```
AI产出 → 跑测试套件 → 生成报告
                        ↓
              分析失败模式 → 改进harness
```

适用:代码类产出,可以跑自动化测试的场景。

---

## Threshold设定指南

| 场景 | 建议Threshold | 说明 |
|------|--------------|------|
| 核心业务逻辑 | 95%+ | 容不得差错 |
| 文档质量 | 90%+ | 允许小瑕疵 |
| UI/样式 | 85%+ | 可人工微调 |
| 探索性任务 | 70%+ | 重在方向对 |
| 测试用例 | 90%+ | 覆盖率要够 |

**注意:** 不同业务、不同团队的threshold不同。
关键标准是:在期望预算内、期望时间内,出期望结果。

---

## 缓存命中率与质量的关系

```
高质量门禁
  → 问题不会自动通过
  → 持续修复
  → 同一段context反复被访问
  → 缓存命中率上升
  → token成本下降
  → 同时质量收敛
```

这是一个正向飞轮:
**严格门禁 → 多次修复 → 高缓存命中 → 低成本 + 高质量**

反模式:
**宽松门禁 → 一次通过 → 低缓存命中 → 看似省token → 实际质量差 → 人工返工 → 总成本更高**

---

## AI抵抗的Eval策略

当AI"联合"你的skill和门禁来对抗你的修改要求时:

1. **定义明确的断言**:不是"删除这段",而是"最终文件中不包含关键词X"
2. **用脚本验证**:`grep -c "关键词" file.md` 必须为0
3. **多轮执行**:不通过就重来,不妥协
4. **新会话验证**:在全新context中验证结果
5. **人工最终审核**:肉眼确认关键变更

---

## 实用Eval脚本模板

### 文档完整性检查
```bash
#!/bin/bash
# 检查文档是否包含所有必要章节
REQUIRED_SECTIONS=("## 概述" "## 技术方案" "## 接口定义" "## 测试计划")
MISSING=0
for section in "${REQUIRED_SECTIONS[@]}"; do
  if ! grep -q "$section" "$1"; then
    echo "MISSING: $section"
    MISSING=$((MISSING + 1))
  fi
done
exit $MISSING
```

### 代码质量门禁
```bash
#!/bin/bash
# 基础代码质量检查
ERRORS=0

# 检查是否有未处理的TODO
TODO_COUNT=$(grep -r "TODO" src/ | wc -l)
if [ $TODO_COUNT -gt 5 ]; then
  echo "FAIL: Too many TODOs ($TODO_COUNT)"
  ERRORS=$((ERRORS + 1))
fi

# 检查测试覆盖率(示例)
# coverage run -m pytest && coverage report --fail-under=80

exit $ERRORS
```

### 文档-代码一致性
```bash
#!/bin/bash
# 检查接口文档和实际代码是否一致
# 提取文档中定义的接口列表
# 提取代码中实际的接口列表
# diff比较
echo "需要根据具体项目定制"
```
reverse-engineer-anythingmorluto/reaReverse engineer native, managed, Electron/JavaScript, packaged, firmware, and browser targets with REA, and build agent environments (AgentEnv bundles) of web applications from a live instance or a capture, and of Linux desktop apps with a task from a request. Use shipped-artifact or requested runtime evidence to explain features, compare versions, decompile code, or guide a reconstruction. Skip REA for ordinary source-repository architecture analysis.Stars: 471kUpdated Claude CodeCodexVerifiedInstall
diagnosing-superpowersobra/superpowersUse when a superpowers session went wrong and your human partner wants to know why — repeated work, ignored plans, stumbles, poor results, a skill that didn't fire, "it took too long", "why is it so expensive", "what is it doing" — or wants to build a bug report for the superpowers maintainers, for the current session or a past one identified by id or path, on any harness.Stars: 322kUpdated Claude CodeCodexVerifiedInstall
dispatching-parallel-agentsobra/superpowersUse when facing 2+ independent tasks that can be worked on without shared state or sequential dependenciesStars: 322kUpdated Claude CodeCodexVerifiedInstall
executing-plansobra/superpowersUse when executing an implementation plan in the current session as the implementer yourself — your human partner chose inline execution, or no subagent tool is availableStars: 322kUpdated Claude CodeCodexVerifiedInstall