martin1847/evolab / skills/cto-orchestration
cto-orchestration
Unverified以 CTO/orchestrator 模式管理多 agent 软件交付。用户要求“你做 CTO/编排者”“派 omp/codex 去做”“goal 模式派发”、管理多会话开发或接入这套工作流时使用;“复盘/收口/retro/retrospective”“工作盘点/盘点候选/stocktake”也必须触发,盘点只提案不动工。新项目先用 repo-governance-bootstrap 建治理骨架。不用于单 agent 小任务、无需评审循环的局部改动或纯文档初始化。
references/measurement-protocol.md
View on GitHub# 测量协议骨架(测量 / 评测类 goal 附录)<!-- trunk:测量协议 -->
> 触发:goal 的 Done-when 含测量 / 评测 / 对比判定(A/B 因果、命中率、性能基准、评测报告)——
> goal-template 场景条款「测量/评测类」行命中即读本文,逐条款对照实例化进 goal;goal-review
> 命中测量面时按同一清单复核,任一条款缺失即 blocking。
> 边界:量具本身的可信度归仪器六问(review-dispatch §goal-review);开测前提的事实核验归
> goal-template Premises 节。
**证据阶梯**(headline 结论的证据锚定规则):原始证据须为真实结局或环境状态(DB 行 / 测试退出码 /
运行时真源),执行轨迹只作佐证;对原始证据的判定可由评判者(人 / 工具 / 模型)作出,但须过
条款 3 且可独立复判;被测自报永不作证据。
**开钟前置**:钟驱动观察窗(7d/14d 类)合同须内含流量来源证明(known-positive:该环境已有
同类读数)或主动流量计划(谁、何时、造多少);两者皆无则不许开钟——零自然流量环境的钟窗
永远开不出读数(下游席位实证);有现成测试数据就基于它早做决定,需要配合造流量就在合同里
写明,别干等。
## 七条款(每条 = 判据 + 缺失时的失败模式)
1. **身份冻结**:量具代码 / 题面集 / 评判规则 / 期望值各产物开测前内容哈希入 manifest;任何变更 =
新批次,禁与旧批合并或跨批择优。(缺 → 判定输入可被事后选择性满足,改题面把红改绿不可见。)
2. **分配与顺序预注册**:样本执行顺序开测前预注册且确定,禁重排、禁挑样本;对比类测量另须
预注册臂分配与漂移控制策略(逐样本邻近配对 / 随机化 / 分层分配,任选其一、选定后不改);
无漂移控制的对比不出因果结论,如实降级为描述。(缺 → 时间漂移 / 顺序效应混进臂差。)
3. **评判独立与盲化**:评判者的输入不含臂身份与预期结论;评判者与被测对象同源(自判)只作
诊断证据,不得单独支撑 headline。(缺 → 判定向预期滑动,利益冲突不可见。)
4. **结果形状与恒定分母**:类别型判定——每样本必落互斥完备三态,第三桶承载「判不出 = UNKNOWN」
语义(改名不改义,不滑向任一方向),错误分型闭集枚举、仪器噪声与产品损害分列;headline 报
计数 / 区间,分母恒为预注册样本量——ERROR 与剔除样本入第三桶,不缩分母。连续型测量(时延 /
吞吐类基准)——每观测记录数值 + 有效性状态(无效处置类别预注册),headline 报分布统计量并
伴不确定度。两形态通用:样本量或不确定度不足以支撑方向时,headline 不得断言方向。
(缺 → 缺证被包装成更高点估计,先验答对计入成功分子。)
5. **人群与版本预注册**:分析人群开测前冻结;重试默认诊断性、不进主分析集;被测版本与每次观测
一一绑定,混合版本窗口按「判不出」处置、不与单版本数据合并。(缺 → 选择性重试 / 跨版本混窗
制造有利结果。)
6. **停止与重跑纪律**:时间 / 次数预算预注册,耗尽或中止 = INCOMPLETE(批级进度状态,与样本
三态不混用)、禁出 headline。噪声剔除类别开测前预定(事后新增类别无效);报告保留 total /
included / excluded 计数与逐行原因;仅当整批环境性失效(全部行命中预设剔除类别、或 included 低于口径下限)才允许重测一批,
两批数据都留、禁择优;否则已落定批禁整批重跑。(缺 → 重测边界被
事后发明,坏批悄悄消失。)
7. **结论输出形状**:结论区用固定结构化字段,含不可判样本计数;样本量不足以支撑方向性结论时
字段强制标注;结论文本过禁用方向性词表自查——「提升 / 回归 / 恶化」类措辞须有支撑格,无格
即删词。(缺 → 禁语只是声明句,方向性措辞从叙事缝里溢出。)
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| reverse-engineer-anythingmorluto/reaReverse engineer native, managed, Electron/JavaScript, packaged, firmware, and browser targets with REA, and build agent environments (AgentEnv bundles) of web applications from a live instance or a capture, and of Linux desktop apps with a task from a request. Use shipped-artifact or requested runtime evidence to explain features, compare versions, decompile code, or guide a reconstruction. Skip REA for ordinary source-repository architecture analysis. | Stars: 472k | Updated | Claude CodeCodex | Verified | Install |
| diagnosing-superpowersobra/superpowersUse when a superpowers session went wrong and your human partner wants to know why — repeated work, ignored plans, stumbles, poor results, a skill that didn't fire, "it took too long", "why is it so expensive", "what is it doing" — or wants to build a bug report for the superpowers maintainers, for the current session or a past one identified by id or path, on any harness. | Stars: 322k | Updated | Claude CodeCodex | Verified | Install |
| dispatching-parallel-agentsobra/superpowersUse when facing 2+ independent tasks that can be worked on without shared state or sequential dependencies | Stars: 322k | Updated | Claude CodeCodex | Verified | Install |
| executing-plansobra/superpowersUse when executing an implementation plan in the current session as the implementer yourself — your human partner chose inline execution, or no subagent tool is available | Stars: 322k | Updated | Claude CodeCodex | Verified | Install |