Skip to content

staruhub/ClaudeSkills / lab/Geek-skills-weather-forecast-report

weather-forecast-report

Verified

将天气要素(风速、能见度、降雨量等)单站预报系统的项目文档、模型、报告、评估结果整理成符合省级自然科学基金项目编写规范的专题研究报告。适用于:(1) 基于Claude Code + OpenSpec开发的气象预报系统结题报告编写,(2) 将技术文档转换为学术研究报告格式,(3) 生成符合省级自然科学基金规范的专题研究报告,(4) 整合项目代码、模型、评估指标等技术材料为规范化学术报告。触发关键词:"专题研究报告"、"结题报告"、"天气预报系统"、"基金项目报告"、"风速预报"、"能见度预报"、"降雨量预报"、"气象预测"、"单站预报"等。

references/evaluation-metrics.md

View on GitHub
# 气象预报评估指标说明

## 一、连续变量评估指标

### 1.1 平均绝对误差(MAE)

**定义**:预测值与实际值之差的绝对值的平均值

**公式**:
```
MAE = (1/n) × Σ|yᵢ - ŷᵢ|
```

**特点**:
- 单位与原始数据相同
- 对异常值不敏感
- 越小越好

**适用场景**:温度、湿度、气压等连续变量

### 1.2 均方根误差(RMSE)

**定义**:预测值与实际值之差的平方的平均值的平方根

**公式**:
```
RMSE = √[(1/n) × Σ(yᵢ - ŷᵢ)²]
```

**特点**:
- 单位与原始数据相同
- 对大误差更敏感
- 越小越好

**适用场景**:风速、降水量等对大误差敏感的变量

### 1.3 相关系数(CC)

**定义**:预测序列与实际序列的线性相关程度

**公式**:
```
CC = Σ[(yᵢ - ȳ)(ŷᵢ - ȳ̂)] / √[Σ(yᵢ - ȳ)² × Σ(ŷᵢ - ȳ̂)²]
```

**特点**:
- 取值范围[-1, 1]
- 1表示完全正相关
- 越接近1越好

**适用场景**:评估预报趋势准确性

### 1.4 技巧评分(SS)

**定义**:相对于参考预报(如气候平均)的改进程度

**公式**:
```
SS = 1 - (MSE_forecast / MSE_reference) × 100%
```

**特点**:
- 可为负值(比参考预报差)
- 100%表示完美预报
- 越大越好

**适用场景**:评估预报方法相对于基准的提升

### 1.5 平均偏差(BIAS)

**定义**:预测值与实际值之差的平均值

**公式**:
```
BIAS = (1/n) × Σ(ŷᵢ - yᵢ)
```

**特点**:
- 正值表示系统性高估
- 负值表示系统性低估
- 越接近0越好

**适用场景**:评估系统性偏差

## 二、分类变量评估指标

### 2.1 列联表

| | 实际有(O=1) | 实际无(O=0) |
|---|---|---|
| 预报有(F=1) | 命中(a) | 空报(b) |
| 预报无(F=0) | 漏报(c) | 正确否定(d) |

### 2.2 准确率(Accuracy)

**定义**:正确预报占总预报的比例

**公式**:
```
Accuracy = (a + d) / (a + b + c + d)
```

**特点**:
- 取值范围[0, 1]
- 对不平衡样本敏感
- 越大越好

### 2.3 命中率/检测概率(POD)

**定义**:正确预报事件发生占实际发生的比例

**公式**:
```
POD = a / (a + c)
```

**特点**:
- 取值范围[0, 1]
- 评估对事件的捕捉能力
- 越大越好

### 2.4 空报率(FAR)

**定义**:错误预报事件发生占所有预报发生的比例

**公式**:
```
FAR = b / (a + b)
```

**特点**:
- 取值范围[0, 1]
- 评估预报的可信度
- 越小越好

### 2.5 TS评分/临界成功指数(CSI)

**定义**:命中次数占总有效预报的比例

**公式**:
```
TS = a / (a + b + c)
```

**特点**:
- 取值范围[0, 1]
- 综合考虑命中、空报、漏报
- 越大越好

### 2.6 ETS评分

**定义**:扣除随机命中后的技巧评分

**公式**:
```
a_random = (a + c)(a + b) / (a + b + c + d)
ETS = (a - a_random) / (a + b + c - a_random)
```

**特点**:
- 取值范围[-1/3, 1]
- 消除了随机预报的影响
- 越大越好

### 2.7 Heidke技巧评分(HSS)

**定义**:相对于随机预报的改进程度

**公式**:
```
HSS = 2(ad - bc) / [(a+c)(c+d) + (a+b)(b+d)]
```

**特点**:
- 取值范围[-1, 1]
- 0表示与随机预报相当
- 越大越好

## 三、概率预报评估指标

### 3.1 Brier评分(BS)

**定义**:概率预报与实际结果的均方误差

**公式**:
```
BS = (1/n) × Σ(pᵢ - oᵢ)²
```

**特点**:
- 取值范围[0, 1]
- 0表示完美预报
- 越小越好

### 3.2 Brier技巧评分(BSS)

**定义**:相对于气候概率预报的改进

**公式**:
```
BSS = 1 - BS / BS_climatology
```

**特点**:
- 可为负值
- 1表示完美预报
- 越大越好

### 3.3 可靠性图

**作用**:评估概率预报的可靠性

**解读**:
- 理想情况下,预报概率=实际频率
- 在可靠性图上应贴近对角线

## 四、各天气要素推荐指标

### 4.1 温度预报
| 指标 | 重要性 | 说明 |
|------|--------|------|
| MAE | ★★★★★ | 主要评估指标 |
| RMSE | ★★★★☆ | 关注大误差 |
| CC | ★★★★☆ | 评估趋势 |
| BIAS | ★★★☆☆ | 检查系统偏差 |

### 4.2 风速预报
| 指标 | 重要性 | 说明 |
|------|--------|------|
| RMSE | ★★★★★ | 主要评估指标 |
| MAE | ★★★★☆ | 辅助评估 |
| CC | ★★★★☆ | 评估趋势 |
| 分级准确率 | ★★★☆☆ | 风力等级预报 |

### 4.3 降水预报(有无)
| 指标 | 重要性 | 说明 |
|------|--------|------|
| TS | ★★★★★ | 主要评估指标 |
| ETS | ★★★★★ | 技巧评估 |
| POD | ★★★★☆ | 捕捉能力 |
| FAR | ★★★★☆ | 空报控制 |

### 4.4 降水量预报(定量)
| 指标 | 重要性 | 说明 |
|------|--------|------|
| MAE | ★★★★★ | 主要评估指标 |
| CC | ★★★★☆ | 趋势评估 |
| 分级TS | ★★★★☆ | 等级准确率 |
| BIAS | ★★★☆☆ | 系统偏差 |

### 4.5 能见度预报
| 指标 | 重要性 | 说明 |
|------|--------|------|
| TS | ★★★★★ | 低能见度预报 |
| MAE | ★★★★☆ | 数值评估 |
| POD | ★★★★☆ | 雾霾捕捉 |
| FAR | ★★★★☆ | 空报控制 |

## 五、评估结果报告模板

```markdown
### 模型性能评估

#### 总体性能

表X 模型总体性能指标

| 指标 | 训练集 | 验证集 | 测试集 |
|------|--------|--------|--------|
| MAE | x.xx | x.xx | x.xx |
| RMSE | x.xx | x.xx | x.xx |
| CC | x.xx | x.xx | x.xx |

#### 与基准方法对比

表X 不同方法性能对比

| 方法 | MAE | RMSE | CC | 相对提升 |
|------|-----|------|-----|---------|
| 气候平均 | x.xx | x.xx | - | - |
| 持续性预报 | x.xx | x.xx | x.xx | - |
| 线性回归 | x.xx | x.xx | x.xx | xx% |
| 随机森林 | x.xx | x.xx | x.xx | xx% |
| 本文方法 | x.xx | x.xx | x.xx | xx% |

注:相对提升以持续性预报为基准计算
```

## 六、指标计算代码示例

```python
import numpy as np
from sklearn.metrics import mean_absolute_error, mean_squared_error

def evaluate_continuous(y_true, y_pred):
    """连续变量评估"""
    mae = mean_absolute_error(y_true, y_pred)
    rmse = np.sqrt(mean_squared_error(y_true, y_pred))
    cc = np.corrcoef(y_true, y_pred)[0, 1]
    bias = np.mean(y_pred - y_true)
    return {'MAE': mae, 'RMSE': rmse, 'CC': cc, 'BIAS': bias}

def evaluate_categorical(y_true, y_pred):
    """分类变量评估"""
    a = np.sum((y_true == 1) & (y_pred == 1))  # 命中
    b = np.sum((y_true == 0) & (y_pred == 1))  # 空报
    c = np.sum((y_true == 1) & (y_pred == 0))  # 漏报
    d = np.sum((y_true == 0) & (y_pred == 0))  # 正确否定
    
    pod = a / (a + c) if (a + c) > 0 else 0
    far = b / (a + b) if (a + b) > 0 else 0
    ts = a / (a + b + c) if (a + b + c) > 0 else 0
    
    a_random = (a + c) * (a + b) / (a + b + c + d)
    ets = (a - a_random) / (a + b + c - a_random) if (a + b + c - a_random) > 0 else 0
    
    return {'POD': pod, 'FAR': far, 'TS': ts, 'ETS': ets}
```
reverse-engineer-anythingmorluto/reaReverse engineer native, managed, Electron/JavaScript, packaged, firmware, and browser targets with REA, and build agent environments (AgentEnv bundles) of web applications from a live instance or a capture, and of Linux desktop apps with a task from a request. Use shipped-artifact or requested runtime evidence to explain features, compare versions, decompile code, or guide a reconstruction. Skip REA for ordinary source-repository architecture analysis.Stars: 472kUpdated Claude CodeCodexVerifiedInstall
diagnosing-superpowersobra/superpowersUse when a superpowers session went wrong and your human partner wants to know why — repeated work, ignored plans, stumbles, poor results, a skill that didn't fire, "it took too long", "why is it so expensive", "what is it doing" — or wants to build a bug report for the superpowers maintainers, for the current session or a past one identified by id or path, on any harness.Stars: 323kUpdated Claude CodeCodexVerifiedInstall
dispatching-parallel-agentsobra/superpowersUse when facing 2+ independent tasks that can be worked on without shared state or sequential dependenciesStars: 323kUpdated Claude CodeCodexVerifiedInstall
executing-plansobra/superpowersUse when executing an implementation plan in the current session as the implementer yourself — your human partner chose inline execution, or no subagent tool is availableStars: 323kUpdated Claude CodeCodexVerifiedInstall