Skip to content

sjysjysjy728/comprehensive-engineering-cybernetics-skill

comprehensive-engineering-cybernetics

Verified

把合同或需求驱动的项目交付,以及 AI 科研的 idea、实现和实验,转化为可测量、可纠偏、资源受限且不静默降级的反馈闭环。用于需要逐项达到验收指标、把能力有限的现有资源组织成更强系统、保持 claim-to-code 保真、在不确定性下迭代或控制算力/时间/成本的复杂任务;不自动用于一步即可完成的低风险小改动、纯历史介绍或单纯控制理论推导。

FileKindSize
SKILL.mdskill md11.0 KB
agents/openai.yamlconfig432 B
references/ai-ideation.mdmarkdown5.9 KB
references/ai-research.mdmarkdown12.5 KB
references/foundations.mdmarkdown7.8 KB
references/project-delivery.mdmarkdown11.8 KB
references/resource-synthesis.mdmarkdown10.5 KB

references/ai-research.md

View on GitHub
# AI 科研闭环

当 AI 任务已有候选,或要求方法设计、代码实现、实验、论文 claim、复现、正式创新性审计或算力预算时使用本文件。若仍处于问题重构、idea 发散或候选筛选阶段,先只读 [AI idea 快速闭环](ai-ideation.md);不要为所有草案预载本文件。目标函数不是“把 benchmark 分数推到最高”,而是:

```text
在科学诚信、核心机制、声明边界和资源上限内,
最大化下一单位资源带来的决策信息,并形成与证据强度相称的贡献。
```

同时维护两个耦合回路:

- **认知回路**:观察 → 竞争假设 → 判别预测 → 最便宜的忠实实验 → 更新假设空间;
- **实现回路**:冻结 claim 与核心不变量 → 映射到代码 → 机械验证 → 实验 → 修正实现偏差。

认知上的好故事不能弥补实现缩水;代码跑通也不能替代科学判别。

## 1. 接收候选并固定观察、问题和声明边界

优先接收 idea 阶段冻结的 `IDEA_ID, OBS_OR_GAP, Q, HYP, RIVAL, PRED, FALSIFIER, CORE, BOUNDARY, CHEAPEST_TEST, EVIDENCE_STATE, NOVELTY_STATE` 及检索边界。没有稳定候选且当前任务需要先发散时,返回 [AI idea 快速闭环](ai-ideation.md),不要在实现过程中临时发明并静默替换 Core。

先记录未经解释的观察:来源、系统/数据、时间与版本、单位、预处理、异常、缺失和不确定性;标明它是预期发现还是看过结果后的探索发现。

随后分别写清:

- 可回答的研究问题及适用边界;
- 当前候选假设和最强竞争解释;
- 希望最终声明的精确类型:描述、关联、预测、因果或机制;
- 最小有意义效应或能改变研究决定的结果;
- 伦理、隐私、双重用途、数据授权、计算和时间边界。

观察、假设、机制、预测和证据不是同一对象。不得把相关性写成因果、把机制故事写成结果,或把未找到近邻写成“首次提出”。

复合声明必须拆开冻结比较契约。对“更准且更省”等每一个方向分别记录:比较对象、保持相同的预算/能力、测量域与条件、通过关系和守护指标。例如“准确率相对等实际内存基线”与“显存相对完整缓存”是两个 claim;除非明确要求并验证,不得改写成“两项都优于完整缓存”。

## 2. 核验从 idea 到研究的交接

在进入昂贵检索或实验前,核验入选候选仍有明确观察或缺口、重构后的问题 Q、最强 Rival、差异预测、Falsifier、不可省略 Core、适用边界和最低成本忠实测试。若候选只是换名、简单 A+B、额外算力或无法产生区别于常规替代的预测,返回 idea 筛选并重新分类;不要靠完整实验流程把弱候选包装成创新。

若入围候选依赖多个有限模型、Agent、检索器、工具或数据源形成更强整体,读 [资源综合与结构增益](resource-synthesis.md) 建立正式比较契约;在昂贵实验前,角色与互补来源、共同失效、路由/仲裁、隔离、协调成本和隐藏升级边界必须进入 Core。“多调用几个模型”本身不是创新机制。

## 3. 检索并审计创新性

创新性或 state-of-the-art 会随时间变化,因此需要时使用当前可用的学术/网页检索工具,优先核对原论文、代码和官方记录。记录:

- 检索日期和截止日期;
- 数据库/索引、完整查询、过滤和筛选边界;
- 同义名称、等价机制、相邻领域和负面结果;
- 支持、挑战和限定每个 claim 的来源;
- 语言、访问、时间和数据库缺口。

合法状态包括:`not-searched`、`incomplete-search`、`not-located-within-boundary`、`near-neighbor-found`、`overlap-found`。搜索只能证明查过什么,不能证明宇宙中不存在先例。若检索改变了问题,应保留原始 idea 和变更轨迹。

## 4. 冻结 claim 到实现的保真链

为关键对象建立稳定 ID 和双向追踪:

```text
OBS/Q → HYP/RIVAL → CLAIM → CORE → PRED/FALSIFIER
      → IMPL → EXP → RESULT/ARTIFACT → DECISION
```

其中:

- `CLAIM` 是论文可能写出的精确陈述和适用域;
- `CORE` 是该陈述成立所需的机制不变量;
- `PRED` 是目标机制与竞争解释产生不同结果的预期;
- `FALSIFIER` 是会迫使 HYP 或 Core 被拒绝或实质缩窄的有效观测;
- `IMPL` 指向真实模块、函数、配置、数据处理和测试义务;
- `EXP` 必须实际检验差异预测和 Falsifier,而不仅是再跑一次总分;
- `RESULT` 只写支持、挑战或不确定,不写“证明”;
- `DECISION` 是继续、升级、转向、缩窄声明或停止。

每个 `CORE` 记录:必须保留的机制、允许近似的部分、禁止替代项、允许误差、近似校准方法和升级触发器。每条主 claim 至少连接一个竞争解释、一个判别预测、一个 Falsifier 和一个实验;每个核心机制连接真实代码位置和机械测试。

实现中无法保留 Core 时,只能:增加资源、验证等价变换、明确缩窄 claim,或停止。不得换成容易实现的近似后仍保留原声明。实现轴只记录 `not-implemented`、`coded` 或 `mechanically-verified`;实验支持属于独立的证据轴,不能写成实现状态。

## 5. 用多保真度实验节省资源

为每一层预先写入口、预算上限、成功、无效、退出和升级条件:

| 层级 | 回答的问题 | 结论上限 |
|---|---|---|
| F0 静态审计 | 问题、接口、公式、数据路径和基线是否自洽? | 仅可行性 |
| F1 玩具实验 | Core 是否真实执行,方向是否明显错误? | 实现有效,不支持正式 claim |
| F2 校准代理实验 | 小模型/小数据是否保留真实任务排序或机制信号? | 初步机制证据 |
| F3 代表性实验 | 现实切片、多种子、消融和扰动下是否稳定? | 暂定效果和方差 |
| F4 确证实验 | 锁定协议、未触碰测试、足够重复和公平基线下是否成立? | 才能支持对应正式 claim |

“最小实验”是保留核心创新机制的最便宜判别动作,不是最少代码。若代理层未验证与真实任务的排序或机制一致性,它不能替代高保真证据。

预算账本至少按任务相关性记录 GPU/CPU 时、API 金额与 token、人时、墙钟、存储、数据获取和失败运行成本。优先确定性检查;便宜模型做筛选,昂贵模型只处理通过前级门禁的关键综合或边界案例。缓存合法可复用的检索、预处理、特征、基线和检查点,使各阶段可独立重跑。

在给出具体 GPU 小时分配或可完成样本数前,先做代表性单次校准并记录加速器型号/数量、精度、并行方式、软件栈、序列与批量配置、峰值内存、墙钟时间和总设备时。区分 wall-clock hour 与 aggregate device-hour,用实测运行时间和方差推导可行重复数;若任务需要统计功效,基于最小有意义效应、配对结构和先导方差估算样本/种子数。校准前只给条件性预算包络,不给虚假精确的运行清单,并为无效运行与 profiler 复核预留上限。

需要把统计需要与算力容量对齐时,使用可审计的容量门:`N_capacity = floor((总预算 - 预留预算) / 实测完整实验单位成本)`;`N_required` 由最小有意义效应、先导方差/配对分歧、目标区间或功效和预声明检验协议产生。若 `N_capacity < N_required`,正式 claim 在当前预算下不可确认;应增加资源、改变可诚实回答的问题或停止,不能减少样本后保留原结论强度。

对多个 idea 先给足以执行首个判别实验的探索额度,再问“下一单位资源能否改变决定”。不要仅因当前噪声分数最高而追投。

## 6. 实验诚信与反投机门禁

- **创新门**:列出最近工作、精确差异、差异为何重要及检索边界;简单 A+B、改名或换数据集不自动算创新。
- **声明门**:`更好`需要同预算强基线;`更省`核算训练、推理、搜索和维护总成本;`更稳健`预声明扰动和最坏切片;`新机制`需要能排除竞争解释的干预或消融。
- **基线门**:先复现基线;模型规模、数据、工具权限、搜索/调参次数和停止机会应公平或明确披露。
- **结构层级门**:若 claim 是交互、乘积、阈值或高阶项在低阶效应之外提供增量解释,主模型与加性 rival 必须保留相同的必要低阶/主效应,形成嵌套或另有预声明的匹配比较;否则只能报告非嵌套预测比较,不能把差异归因于该机制。
- **数据门**:固定版本、哈希、切分和污染检查;验证集可用于选择,最终测试集在 F4 前保持未触碰。
- **指标门**:看结果前冻结主指标、最小有意义效应、守护指标和失败阈值;任何平均分或综合分不能抵消真实性、安全或 Core 失败。
- **实验门**:报告效应量、区间、多种子方差、切片、消融和阴性结果,不只报告最佳种子。分析单位、随机化/阻断和统计方法匹配数据生成过程。
- **评价器门**:机器可检查项先确定性验证;使用 LLM judge 时固定量表、证据先行、交换候选位置,并用不同模型或人工抽查偏差。
- **系统增益门**:组合方法必须保留 claim 点名的 comparator,并按预声明关系对照相关最佳获准单体或非支配基线集合;报告组件消融、错误重叠、隐藏升级、总成本和最坏切片,同源多数一致不能证明正确。
- **采纳门**:候选先暂存,经 held-out/最终门禁和人工科学判断后再进入正式代码、skill 或论文声明,不自动覆盖基线。

所有看过结果后的假设、指标、切分、排除、超参和停止规则变更都记录日期、原因、决定者及对 claim 的影响,并标为探索性。不得把事后解释重写成事前预测。

## 7. 反馈、早停和策略切换

每轮实验必须减少一类关键不确定性,否则停止重复。记录触发本轮决定的原因,再在独立执行轴选择继续、升级、重设计、经授权缩窄 claim 或停止:

- `invalid`:泄漏、实现或评价错误;结果作废,不算反证;
- `futility`:即使按乐观边界也达不到最小有意义效应;
- `mechanism-failed`:核心判别预测失败;
- `instability`:跨种子/切片不稳定、训练发散或修正幅度持续增大;
- `saturation`:新增实验的信息增益相对成本过低;
- `budget-exhausted`:报告不确定,不能静默降配;
- `success-to-confirm`:当前层通过,触发升级保真度,不等于科研总目标完成或停止原因。

小而已定位的实现误差做局部修正;测量无法区分竞争解释时优先改善观测;假设失效时更新模型或转向;结果振荡时降低一次变更范围、隔离耦合并检查延迟/噪声。反复查看中间结果时使用预声明的序贯规则,或明确把阶段标为探索性。

## 8. 科研裁决与输出

结论强度不得超过当前保真层和证据链。对每个候选分别报告四个正交轴:

1. **实现状态**:`not-implemented`、`coded` 或 `mechanically-verified`;
2. **运行有效性**:`not-run`、`unverified-run`、`valid-run` 或 `invalid-run`;他方声称已运行但本次无法核对协议和产物时用 `unverified-run` 并保留 `reported` 来源标签,无效或未核验运行不得进入支持或挑战证据;
3. **证据裁决**:`unclassified` 表示来源、协议、Core 或校准信息不足,暂不能可靠指定 F 层;`supported-at-Fn` 表示在第 n 层和声明条件内得到支持;`challenged` 表示关键预测被有效证据挑战;`inconclusive` 表示有效证据仍不足或方差过大;
4. **执行决定**:`CONTINUE`、`ESCALATE`、`REDESIGN`、`NARROW-WITH-AUTHORIZATION` 或 `STOPPED`,并附对应触发原因。

最终输出优先包含:

1. 当前最值得继续的 idea 与仍存竞争解释;
2. 创新性检索边界和最近工作差异;
3. claim/Core/代码/实验追踪状态与未实现项;
4. 实际效果、区间、方差、失败切片和证据位置;
5. 已用资源、剩余预算和下一单位资源预计改变的决定;
6. 下一门禁:继续、升级 F 层、补观测、缩窄 claim、转向或停止。

只有相应的 F4 证据、完整保真链和诚信门禁均成立时,才把候选提升为可正式主张的研究结论;最终学术判断与发布责任仍由研究者承担。
receiving-code-reviewobra/superpowersUse when receiving code review feedback, before implementing suggestions, especially if feedback seems unclear or technically questionable - requires technical rigor and verification, not performative agreement or blind implementationStars: 322kUpdated Claude CodeCodexVerifiedInstall
requesting-code-reviewobra/superpowersUse when completing tasks, implementing major features, or before merging to verify work meets requirementsStars: 322kUpdated Claude CodeCodexVerifiedInstall
using-git-worktreesobra/superpowersUse when starting feature work that needs isolation from current workspace or before executing implementation plans - ensures an isolated workspace exists via native tools or git worktree fallbackStars: 322kUpdated Claude CodeCodexVerifiedInstall
verification-before-completionobra/superpowersUse when about to claim work is complete, fixed, or passing, before committing or creating PRs - requires running verification commands and confirming output before making any success claims; evidence before assertions alwaysStars: 322kUpdated Claude CodeCodexVerifiedInstall