LeoYeAI/agent-master-skills / skills/agi-evolution-model-basic
agi-evolution-model
Verified基于双环架构的AGI进化模型,通过意向性分析、人格层映射和元认知检测实现持续自我演进;当用户需要智能对话、人格定制或复杂问题求解时使用
references/stratified-storage-design.md
View on GitHub# 元认知历史数据分层存储设计
> **版本**:v1.0
> **状态**:已实施
> **目标**:提供高效的分层存储方案,解决历史数据过大的问题
---
## 一、设计理念
### 1.1 核心思想
> **数据生命周期管理**:不同年龄的数据有不同的访问频率和价值,应该采用不同的存储策略。
### 1.2 三种策略的作用
| 策略 | 目的 | 适用场景 | 压缩比 |
|------|------|---------|--------|
| **归档** | 移动数据到冷存储 | 短期冷数据(1-3个月) | 1x(仅移动) |
| **压缩** | 减少存储空间 | 中期冷数据(3-12个月) | 3-5x |
| **总结** | 提取关键信息 | 长期冷数据(>12个月) | 10-20x |
---
## 二、分层存储架构
### 2.1 四层架构设计
```
┌─────────────────────────────────────────────────────────────┐
│ 元认知历史数据存储架构 │
├─────────────────────────────────────────────────────────────┤
│ │
│ 🔥 热数据层(Hot Layer) │
│ ├─ 时间范围:0-1个月 │
│ ├─ 存储格式:JSON(完整记录) │
│ ├─ 访问频率:高(实时分析) │
│ ├─ 存储位置:内存缓存 + 磁盘 │
│ └─ 压缩:否 │
│ │
│ ♨️ 温数据层(Warm Layer) │
│ ├─ 时间范围:1-3个月 │
│ ├─ 存储格式:GZIP压缩的JSON │
│ ├─ 访问频率:中(定期分析) │
│ ├─ 存储位置:磁盘 │
│ └─ 压缩:是(gzip) │
│ │
│ ❄️ 冷数据层(Cold Layer) │
│ ├─ 时间范围:3-12个月 │
│ ├─ 存储格式:聚合统计(按天/周/月) │
│ ├─ 访问频率:低(趋势分析) │
│ ├─ 存储位置:磁盘 │
│ └─ 压缩:是(gzip) │
│ │
│ 📦 归档层(Archive Layer) │
│ ├─ 时间范围:>12个月 │
│ ├─ 存储格式:归档文件(可选删除) │
│ ├─ 访问频率:极低(审计) │
│ ├─ 存储位置:冷存储 │
│ └─ 压缩:是(gzip) │
│ │
└─────────────────────────────────────────────────────────────┘
```
### 2.2 存储策略对比
| 维度 | 热数据层 | 温数据层 | 冷数据层 | 归档层 |
|------|---------|---------|---------|--------|
| **数据年龄** | 0-1个月 | 1-3个月 | 3-12个月 | >12个月 |
| **数据完整性** | 100% | 100% | 统计信息 | 可选 |
| **压缩比** | 1x | 3-5x | 10-20x | 3-5x |
| **查询延迟** | <10ms | 50-100ms | 100-500ms | 1-5s |
| **存储成本** | 高 | 中 | 低 | 极低 |
| **典型用例** | 实时分析 | 周报/月报 | 趋势分析 | 合规审计 |
---
## 三、数据转换策略
### 3.1 热→温转换(1个月后)
**触发条件**:
- 数据年龄 > 30天
**转换操作**:
1. 读取热数据(JSON)
2. 压缩为GZIP格式
3. 移动到温数据目录
4. 删除热数据文件
**压缩效果**:
- 原始大小:100MB
- 压缩后:20-30MB
- **压缩比:3-5倍**
**保留内容**:
- ✅ 所有字段(100%完整性)
- ✅ 可解压缩恢复完整记录
---
### 3.2 温→冷转换(3个月后)
**触发条件**:
- 数据年龄 > 90天
**转换操作**:
1. 解压缩温数据
2. 按天聚合统计
3. 提取关键指标
4. 删除温数据
**聚合统计内容**:
```python
@dataclass
class DailyStatistics:
date: str # 日期(YYYY-MM-DD)
count: int # 当天记录数
avg_objectivity: float # 平均客观性分数
min_objectivity: float # 最小客观性分数
max_objectivity: float # 最大客观性分数
success_rate: float # 成功率(0-1)
strategy_distribution: dict # 策略分布
context_distribution: dict # 场景分布
learning_stage: str # 主要学习阶段
```
**压缩效果**:
- 原始大小:30MB(压缩后)
- 聚合后:2-3MB
- **压缩比:10-20倍**
**保留内容**:
- ✅ 统计信息(平均值、最大值、最小值、计数)
- ❌ 详细记录(丢失)
---
### 3.3 冷→归档转换(12个月后)
**触发条件**:
- 数据年龄 > 365天
**转换操作**:
1. 归档到冷存储(按年份组织)
2. 或删除(根据配置)
**归档策略**:
- **保留策略**:用于合规审计、历史回溯
- **删除策略**:节省存储空间,仅保留关键统计
---
## 四、统一查询接口
### 4.1 查询接口设计
```python
class MetacognitionHistoryManager:
def query(
self,
start_date: Optional[str] = None,
end_date: Optional[str] = None,
context_type: Optional[str] = None,
min_success_rate: Optional[float] = None,
strategy: Optional[str] = None,
learning_stage: Optional[str] = None,
include_detail: bool = False
) -> Union[List[Dict], Dict[str, Dict]]:
"""
跨层级查询
Returns:
如果include_detail=True: 返回详细记录列表
如果include_detail=False: 返回聚合统计字典
"""
```
### 4.2 查询性能优化
| 优化策略 | 实现方式 | 效果 |
|---------|---------|------|
| **索引优化** | 为热数据创建时间索引 | 查询速度提升10-100倍 |
| **缓存优化** | 热数据缓存在内存 | 查询延迟<10ms |
| **并行查询** | 跨层级并行查询 | 查询速度提升2-4倍 |
| **预加载** | 预加载温数据到缓存 | 减少解压缩开销 |
---
## 五、自动化管理
### 5.1 数据生命周期管理器
```python
class DataLifecycleManager:
"""
数据生命周期管理器
负责自动执行归档、压缩、总结操作。
"""
def run_maintenance(self) -> Dict:
"""
执行维护任务(建议每天执行一次)
Returns:
维护结果统计
"""
# 1. 热→温转换
# 2. 温→冷转换
# 3. 冷→归档转换
# 4. 清理过期归档
```
### 5.2 配置选项
```python
@dataclass
class LifecycleConfig:
"""数据生命周期配置"""
hot_to_warm_days: int = 30 # 热→温转换天数
warm_to_cold_days: int = 90 # 温→冷转换天数
cold_to_archive_days: int = 365 # 冷→归档转换天数
archive_retention_days: int = 1825 # 归档保留天数(5年)
enable_archive: bool = True # 是否启用归档
enable_delete: bool = False # 是否启用删除过期归档
```
---
## 六、效果评估
### 6.1 存储空间优化
| 时间范围 | 原始大小 | 优化后大小 | 压缩比 |
|---------|---------|-----------|--------|
| **0-1个月(热)** | 100MB | 100MB | 1x |
| **1-3个月(温)** | 200MB | 50MB | 4x |
| **3-12个月(冷)** | 900MB | 90MB | 10x |
| **>12个月(归档)** | 800MB | 200MB | 4x |
| **总计** | **2000MB** | **440MB** | **4.5x** |
**结论**:存储空间减少约78%
### 6.2 查询性能
| 查询场景 | 查询延迟 | 说明 |
|---------|---------|------|
| **热数据查询(最近1天)** | <10ms | 从内存缓存读取 |
| **温数据查询(1-3个月)** | 50-100ms | 解压缩GZIP |
| **冷数据查询(3-12个月)** | 100-500ms | 查询聚合统计 |
| **归档查询(>12个月)** | 1-5s | 从冷存储读取 |
---
## 七、实施建议
### 7.1 实施优先级
| 阶段 | 内容 | 优先级 | 工作量 |
|------|------|--------|--------|
| **第一阶段** | 实现热数据层和温数据层(压缩) | 高 | 2天 |
| **第二阶段** | 实现冷数据层(聚合统计) | 中 | 2天 |
| **第三阶段** | 实现归档层和自动化管理 | 低 | 1天 |
### 7.2 配置建议
```python
# 推荐配置
lifecycle_config = {
'hot_to_warm_days': 30, # 1个月后压缩
'warm_to_cold_days': 90, # 3个月后聚合
'cold_to_archive_days': 365, # 1年后归档
'archive_retention_days': 1825, # 保留5年
'enable_archive': True, # 启用归档
'enable_delete': False # 不自动删除
}
```
### 7.3 注意事项
⚠️ **重要**:
1. 归档、压缩、总结操作应该在**后台异步执行**,不影响主循环
2. 提供配置选项,允许用户自定义数据生命周期策略
3. 实现完善的错误处理和日志记录
4. 定期备份数据,防止数据丢失
---
## 八、总结
### 8.1 方案优势
| 优势 | 说明 |
|------|------|
| **存储效率** | 存储空间减少78% |
| **查询性能** | 热数据查询<10ms |
| **自动化** | 无需手动维护,自动执行归档、压缩、总结 |
| **可扩展** | 易于添加新的数据层级或转换策略 |
| **灵活性** | 提供配置选项,满足不同需求 |
### 8.2 适用场景
✅ **推荐使用**:
- 长期运行的系统(>6个月)
- 高频交互的系统(>100次/天)
- 需要历史数据分析的系统
❌ **不推荐使用**:
- 短期运行的系统(<6个月)
- 低频交互的系统(<10次/天)
- 不需要历史数据分析的系统
---
**实施状态**:✅ 已完成
**实施日期**:2026-03-06
**相关文件**:
- `scripts/metacognition_history.py` - 元认知历史管理器
- `scripts/data_lifecycle_manager.py` - 数据生命周期管理器
- `scripts/learning_stage_tracker.py` - 学习阶段追踪器
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| slack-gif-creatoranthropics/skillsKnowledge and utilities for creating animated GIFs optimized for Slack. Provides constraints, validation tools, and animation concepts. Use when users request animated GIFs for Slack like "make me a GIF of X doing Y for Slack." | Stars: 198k | Updated | Claude CodeCodex | Verified | Install |
| ponytailDietrichGebert/ponytailLazy senior dev mode for any coding task: the smallest change that fully solves it, and a reply a busy human understands in one read. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailHarvest every shortcut: comment into one debt ledger, so deferrals get tracked instead of forgotten. One-shot report. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailList every `shortcut:` comment (and older `ponytail:` ones) as a debt ledger. One-shot report, changes nothing. Use for "ponytail debt", "what did ponytail defer", "list the shortcuts", /ponytail-debt. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |