momo-land/PHD-management-skills / skills/phd-data-quality
phd-data-quality
Verified检查科研数据的缺失、重复、单位、泄漏和异常,产出可追溯问题清单与清洗建议
| File | Kind | Size |
|---|---|---|
| SKILL.en.md | markdown | 2.0 KB |
| SKILL.md | skill md | 2.0 KB |
| agents/openai.yaml | config | 360 B |
SKILL.md
View on GitHub---
name: phd-data-quality
description: 检查科研数据的缺失、重复、单位、泄漏和异常,产出可追溯问题清单与清洗建议
---
# 数据质量检查
## 检查流程
1. 从用户问题和数据字典确定“一行代表什么”、样本独立单位、主键、时间范围、单位、分组与目标变量。无法确定含义时标记待确认,不凭列名替用户定义。
2. 保留原件,只对副本分析。记录文件路径、大小、读取方式、行列数和必要的校验值;无法读取全部时说明采样范围。
3. 区分完全重复、同一对象的合法重复测量、主键冲突;检查缺失编码(空值、-999、N/A)、类型、量纲、合法范围和关联表连接基数。给出分母和受影响行号/键,避免暴露无关个人信息。
4. 按组、时间和数据划分检查分布差异;关注同一受试者跨训练/测试集、目标信息泄漏、先全量拟合再切分等问题。可疑异常先定位原因,不能因为影响显著性就删除。
5. 清洗方案列出规则、依据、影响数量和可撤销方式。用户要求实际清洗时输出新文件及变更日志;保留缺失标记,不默认填零、插补或去重。
## 交付
输出数据概况、按影响排序的问题表、可复核样例、建议规则、未能检查的部分。执行了检查才报告实际数量;没有数据时交付检查计划。分析工具不足时给出所需读取能力并完成可读部分,不假装扫描了附件。
## 保存与工作台
读取 [本地操作约定](../phd-manager/references/local-workflow.md)。交付文件使用用户指定位置,否则放在仓库 `outputs/`,不覆盖原始材料。仅在用户要求登记/更新时,通过 `node cli.mjs` 读取当前记录与 version、预检所需批量变化、保存并回读;沿用 `PHD_DATA_DIR`。AI 方案标注 `origin: "ai"`,外部材料保留来源;生成文档不自动增加论文百分比或把实验设为完成。
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| slack-gif-creatoranthropics/skillsKnowledge and utilities for creating animated GIFs optimized for Slack. Provides constraints, validation tools, and animation concepts. Use when users request animated GIFs for Slack like "make me a GIF of X doing Y for Slack." | Stars: 198k | Updated | Claude CodeCodex | Verified | Install |
| ponytailDietrichGebert/ponytailLazy senior dev mode for any coding task: the smallest change that fully solves it, and a reply a busy human understands in one read. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailHarvest every shortcut: comment into one debt ledger, so deferrals get tracked instead of forgotten. One-shot report. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailList every `shortcut:` comment (and older `ponytail:` ones) as a debt ledger. One-shot report, changes nothing. Use for "ponytail debt", "what did ponytail defer", "list the shortcuts", /ponytail-debt. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |