Skip to content

momo-land/PHD-management-skills / skills/phd-research-code

phd-research-code

Verified

检查实验代码中的数据泄漏、指标实现、随机性与可复现性,用小样例验证关键科研逻辑

科研代码检查

检查流程

  1. 读取仓库约定、运行入口、研究方法说明及用户关注的问题。先追踪数据输入、划分、训练/处理、评价、输出这条路径,不泛化成无关的大规模重构。
  2. 逐项核对预处理是否只在训练集拟合、同一对象是否跨划分、标签与索引是否对齐、指标方向和平均口径是否一致,以及基线是否使用公平条件。
  3. 检查随机种子、确定性限制、依赖版本、检查点恢复、配置覆盖、缓存和失败重试,找出可能导致不可复现或静默使用旧结果的情况。
  4. 用能人工算出答案的小数据验证关键指标、数据划分与边界条件;测试应能捕获实际科研错误,而非重复实现本身。发现问题给出文件位置、触发条件及对结论的影响。
  5. 用户要求修复时做局部修改,运行针对性检查,保留原结果文件;必要时说明哪些历史结果需要重跑。修复代码不会自动证明原论文结论成立。

交付

按影响排序的发现、证据与修复/验证结果;清楚标注已执行、静态分析和待复跑项。工具或数据缺失时完成静态检查,不伪称运行通过。

保存与工作台

读取 本地操作约定。交付文件使用用户指定位置,否则放在仓库 outputs/,不覆盖原始材料。仅在用户要求登记/更新时,通过 node cli.mjs 读取当前记录与 version、预检所需批量变化、保存并回读;沿用 PHD_DATA_DIR。AI 方案标注 origin: "ai",外部材料保留来源;生成文档不自动增加论文百分比或把实验设为完成。

add-product-e2e-evalpaperclipai/paperclipAdd or extend a Paperclip full-stack runner E2E workflow, fixture, matcher, or report evidence path for local or Daytona execution.Stars: 115kUpdated Claude CodeCodexVerifiedInstall
add-runner-evalpaperclipai/paperclipAdd or extend a Paperclip Runner protocol evaluation definition, roster, assertion, or report fixture with provenance and narrow validation.Stars: 115kUpdated Claude CodeCodexVerifiedInstall
diagnose-why-work-stoppedpaperclipai/paperclipCompatibility entry point for failed, stalled, looping, or over-recovered Paperclip work. Use fix-failed-paperclip-run for the full diagnosis, regression, repair, real verification, and green-PR workflow; honor an explicitly requested diagnosis-only scope.Stars: 115kUpdated Claude CodeCodexVerifiedInstall
fix-failed-paperclip-runpaperclipai/paperclipDiagnose and fix failed, stuck, slow, or incorrectly blocked Paperclip tasks and runs. Use with a task/run URL or failure report to trace the root cause, prove a regression red then green, check second-order effects, verify the real workflow, and deliver a PR with passing checks.Stars: 115kUpdated Claude CodeCodexVerifiedInstall