martin1847/evolab / skills/cto-orchestration
cto-orchestration
Unverified以 CTO/orchestrator 模式管理多 agent 软件交付。用户要求“你做 CTO/编排者”“派 omp/codex 去做”“goal 模式派发”、管理多会话开发或接入这套工作流时使用;“复盘/收口/retro/retrospective”“工作盘点/盘点候选/stocktake”也必须触发,盘点只提案不动工。新项目先用 repo-governance-bootstrap 建治理骨架。不用于单 agent 小任务、无需评审循环的局部改动或纯文档初始化。
references/implementation-discipline.md
View on GitHub# 实现与验证纪律(按需加载)
仅在写实现 goal、诊断 ReOpen、设计验证或收工核证时读取。主干判据见 `../SKILL.md` §3;这里保存操作展开与常见失败模式。
## 行为变更
- 判据单源 `agents-md-orchestration-section.md`「委派 Agent 边界」(未批不落地、获批直接落 + kill switch、需灰度才 rollout 旗标);普通 bugfix 不机械加 flag。
## Measure before more
修 bug 前依次证明:
1. bug 在当前基线与真实输入上可复现;
2. 观测值确实受怀疑机制约束,而非查错数据源、日志串、session 或部署版本;
3. 执行真实到达怀疑代码;读代码只产生候选,日志、trace 或失败探针才证明路径。
优先用实际失败输入,在成本最低且能保留故障条件的层验证;条件尚不清楚时,先做能缩小判断范围的取证。修后重测实际失败路径;出现新失败时先定位,再选择本地回归或必要的现场验证,不把昂贵部署当默认调试循环。
高不确定方向准备进入昂贵设计/实现时,先完成最便宜的只读证伪,再在 goal 写一行实际 probe 与读数;preflight 门由 runtime 强制拒发——它只证明证据声明存在,不替代对读数真实性的独立核证(豁免类别的判据归 SKILL §1)。
## 门禁验证深度分档
判别力自证(三态矩阵 / 坏样本 / 变异)只对门与量具;功能验收测试不做变异收据,只对头号断言留一条阴性对照(goal-template §Done-when)。新测试的预算:买阻断轴(隔离 / 泄露 / 重复副作用)与真实入口真路径;精确枚举式断言(exact-census:枚举全集 / 字段全表 / 金样)是改动摩擦源,枚举本身不是承诺面就不写。
门禁类改动的验证深度按**这道门误判的最坏后果**分档,不按改动大小——一律拉满会把成本吃在无产出项上(自证环节抓出的门自身的洞,读代码看不出)。
| 门的严重度 | 必做自证 | 免做 |
|---|---|---|
| DENY 类(阻断 push/合并/CI) | 三态矩阵(红/绿/ERROR)· 既有关**逐字节**回归(stdout/stderr/rc 全等)· 新旧实现双盲对照 · 全量门自检 | — |
| WARN 类(只提醒不阻断) | 三态矩阵 · 既有关跑绿即可 · 全量门自检 | 逐字节回归 · 双盲对照 |
不可降三条(无论档位):①量具先自证判别力(SKILL §3);②红样本钉不可变锚(SHA 或仓内
fixture);③声称「不阻断/不误伤」的红线必须实跑,不能只写文案。
自举盲区:门检查不了「自己有没有被跑过」,靠更外层兜(服务端 required check / 合并动作
拦截)——**但外层自身先验两件事再信**:①对**这条 ref** 真 required(读 ruleset API,如
`gh api repos/O/R/rules/branches/<ref>`;旧 `branches/<b>/protection` 对 ruleset 会 404、
`.protected` 只报「有无任一保护」、分不出是否含你的 required check,都不可作证据);
②本次的绿产生于门**落地之后**(比该 required check 的 `completed_at` 与门合入时间;旧绿要
逼一次新 head 重跑——门已进 base 用 `update-branch`,base 未动则空 commit push;strict 只
强制齐平 base,不能当新鲜度证明)。两个失败态都不报错、只静默变绿(ruleset include 漏路径 →
门红照样自合;门落地前的旧绿被计数)。
## 病类收敛
枚举出的同模式点逐一标成安全 / 有嫌疑 / 需实验,一轮处理(规则本体见 SKILL §3「病类确认后枚举同模式点」)。
## 否定性结论与 Goodhart
依赖「未观察到 X」的决策 → known-positive 校准(规则与扫描面声明单源:goal-template 场景条款 absence-evidence gate);否则结论保持 `UNKNOWN`。
## 验证边界
- stub 掉被测函数只证明 stub(规则本体「不 mock 正在验证的边界」在 SKILL §3)。
- mock、打桩、stream smoke 与结构测试只能证明其覆盖范围,不证明真实部署路径。
- 本地绕过真 LLM、真队列、真数据库或真身份时,明确列入“未验证”,并安排部署后补验。
- 交付中的验证与风险披露口径见 SKILL §3「代验不冒充真验」。
- 「谁走的」判据(规则本体在 SKILL §3)的三条收口:①「未验证项」里出现真实依赖 / 真实用户路径
= SHIP-BLOCKING,不许 accept-documented 放行;②被禁用的门必须在回执里作红项出现,不能只活在
代码注释里;③真路径 runbook 跑不通 = 没人走过 = 未完成。
- 替身清单随回执走:本轮哪些边界用了假 provider / mock / 顺风数据,逐个点名——不点名即视为
"以为是真的",而真依赖恰恰是门结构上够不着、第一个真实用户必撞的那一格。
- **探测写操作 = 写操作**:对可能生效的写 API 不做"试探性调用",参数一次给对——占位串一旦
生效即成不可回改的持久内容(受保护分支 commit body 污染实证);要试探用只读端点或 dry-run。
- **真路径逃出门的三种形状**,逐个自查:①显式开关(真依赖的门被 `if: false` / opt-in env 关掉);
②对象错位(测的是检查器 / 守卫自身,不是被守的行为);③**位置差**(真 E2E 放在门扫不到的目录,
不需要任何开关就出门了——最隐蔽的一种)。
- **一行探测器**(每次加测试前值得跑):测试树里的外部端点是否全是 `.example` / `.invalid` 之类
占位;若是,则**没有任何一条测试会因为真依赖出错而变红**,条数再多也不覆盖那一格。
同理,fixture 若永远良构,真数据里的畸形形状(缺标记 / 多实体 / 歧义)是可预判的盲区。
- **缺口要与成绩同形态**(规则本体在 SKILL §3):「N passed」是数字、「真实模型效果未验」是散文,
同一份回执里散文永远输给数字。把缺口也做成数字(真金标上的分数)或门(红),否则第一天就诚实
写下的边界,仍然不会改变任何一次派工决策。
## 场景矩阵(状态机类改动的验收面)
改动触及状态机单一写者 / 命令面 / 巡检选取谓词 → 交付两张矩阵(goal-template 场景条款的展开):
- **表 A**:状态 × 触发 × 关键变量(如指纹变否),每格断言一轮允许动作 + 全局不变量
(终态零写零投递 / attempt 单调类,按域实例化);**表 B**:每个运维命令 × 每个状态
(typed 拒绝零写 或 成功落期望态),且每个非 completed 终态至少一条运维出口。
- 不可达格**显式闭集**、参数化时不生成(不用 skip);矩阵当量具自证:至少 1 个变异让矩阵变红(三态门坏样本项),不逐格出变异;
tip 现状的红格按 xfail(strict) 记录、修复 PR 翻绿。
- kill criterion 自带:一个波次内矩阵未在 tip 抓到真缺口且变异无牙 ⇒ 删(GATE-AUDIT 记账)。
- 边界:挡「组合」与「语义表」两类;业务 stage 内回归归整链探针,不混。
## 编排者自造量具(合同期自证)
Done-when 的证明命令若是编排者自造(非仓内既有套件/CLI)→ **入合同前**四臂自跑:正样本(非空输入)绿 /
坏样本红 / 量具自身故障红(坏 base、坏正则、空输入)/ 阈值边界红;坏样本靶点在门自己的树里(外部靶点 = selftest 先死于环境);rc 语义**逐值**写死,不真值化
(pipefail 取最后一个非零,会与 rg no-match(1) 撞值;`set -e` 吞 no-match → `|| rc=$?` 捕获后逐值判;
awk 聚合门对空输入照样打印 0 后 PASS)。语言类正则用 `\p{sc=Han}` 不用 `\p{Han}`(script
extensions 把「·」当汉字)。
## 结构化数据
- JSON 等结构化数据用 `json.dumps` / `json.load` 生成与解析,不走 shell 拼接 / sed 正则(引号与转义必漏)。
## 编辑新鲜度
rebase、他人写入同一 worktree 或任何改目标文件的命令之后,先重读再编辑;stale edit 提示不绕过。
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| reverse-engineer-anythingmorluto/reaReverse engineer native, managed, Electron/JavaScript, packaged, firmware, and browser targets with REA, and build agent environments (AgentEnv bundles) of web applications from a live instance or a capture, and of Linux desktop apps with a task from a request. Use shipped-artifact or requested runtime evidence to explain features, compare versions, decompile code, or guide a reconstruction. Skip REA for ordinary source-repository architecture analysis. | Stars: 472k | Updated | Claude CodeCodex | Verified | Install |
| diagnosing-superpowersobra/superpowersUse when a superpowers session went wrong and your human partner wants to know why — repeated work, ignored plans, stumbles, poor results, a skill that didn't fire, "it took too long", "why is it so expensive", "what is it doing" — or wants to build a bug report for the superpowers maintainers, for the current session or a past one identified by id or path, on any harness. | Stars: 322k | Updated | Claude CodeCodex | Verified | Install |
| dispatching-parallel-agentsobra/superpowersUse when facing 2+ independent tasks that can be worked on without shared state or sequential dependencies | Stars: 322k | Updated | Claude CodeCodex | Verified | Install |
| executing-plansobra/superpowersUse when executing an implementation plan in the current session as the implementer yourself — your human partner chose inline execution, or no subagent tool is available | Stars: 322k | Updated | Claude CodeCodex | Verified | Install |