Skip to content

YCC-Lover/research-starter-skills / skills/rsk-experiments-figures

rsk-experiments-figures

Verified

依据 Research-Starter-Kit 规划公平实验、分析真实结果并设计论文图表,提供 TG/DTG 只读数据检查与材料表征证据核对。用于主张与证据对齐,不生成虚构数据或替代真实实验。

references/experiments.md

View on GitHub
# 实验设计与章节写作

依据教程 14《如何写论文-Experiments》。各模块按贡献选择,不要求全部开展。

## 从主张推导验证

为主张选择能区分解释的对照:性能改进需要匹配任务与预算,组件必要性需要拆分或替换,稳健性需要对应扰动,效率需要真实成本,机制解释需要针对性分析。主张与指标不是同一件事。

## 实验模块

- Setup:数据来源和划分,基线及版本,评价指标,实现与训练或测量配置,重复次数、种子或样本独立性,统计方法和公平比较条件。只报告实际存在的流程。
- Main Results:回答核心问题,指出最大或最重要的差异及无改善情形,不能只写“结果如表所示”。说明比较对象和条件。
- Ablation:按机制移除或替换模块、目标、提示、检索、记忆、排序、数据、训练策略或规模。改变多项因素时不能将差异归因于单个组件。
- Analysis:按类别、难度、数据或模型规模、错误类型、参数、提示或上下文、检索等检查何时强弱;需要时与专家判断比较。适用到材料等领域时换成实际因素、测量与机制假设。
- Cases:用典型成功与失败展示行为,说明选择标准;个别案例不能代替总体证据。
- Robustness/Generalization:依据主张选择分布、数据集、噪声或条件变化,不将同设置下准确率提高称为泛化增强。
- Efficiency:报告时间、算力、存储或实际实验成本及计量环境,与准确性等权衡一起解释。

## 从结果到段落

每段优先表达一个结论,然后指向表图,给关键比较,最后解释支持范围。理论动机与事后解释分开。机制未被区分验证时使用可能解释,不能因为语言顺畅就强化为因果结论。

讨论异常:核对数据与配置,说明规模和重要性,报告是否存在误差或检验支持,给合理边界或后续检查。原文提到的柔化用语不授权隐藏负面结果;“统计不显著”需要相应检验,“可忽略”需要实际量级与任务依据。

## 可复现记录

实验 ID、目的、唯一或主要改动、数据版本、配置、环境、重复与种子、原始结果路径、处理方法、结论和下一步。暂未运行的记录保持计划状态。结合图表时保留数据到图的映射。
add-product-e2e-evalpaperclipai/paperclipAdd or extend a Paperclip full-stack runner E2E workflow, fixture, matcher, or report evidence path for local or Daytona execution.Stars: 115kUpdated Claude CodeCodexVerifiedInstall
add-runner-evalpaperclipai/paperclipAdd or extend a Paperclip Runner protocol evaluation definition, roster, assertion, or report fixture with provenance and narrow validation.Stars: 115kUpdated Claude CodeCodexVerifiedInstall
diagnose-why-work-stoppedpaperclipai/paperclipCompatibility entry point for failed, stalled, looping, or over-recovered Paperclip work. Use fix-failed-paperclip-run for the full diagnosis, regression, repair, real verification, and green-PR workflow; honor an explicitly requested diagnosis-only scope.Stars: 115kUpdated Claude CodeCodexVerifiedInstall
fix-failed-paperclip-runpaperclipai/paperclipDiagnose and fix failed, stuck, slow, or incorrectly blocked Paperclip tasks and runs. Use with a task/run URL or failure report to trace the root cause, prove a regression red then green, check second-order effects, verify the real workflow, and deliver a PR with passing checks.Stars: 115kUpdated Claude CodeCodexVerifiedInstall