Skip to content

LeoYeAI/agent-master-skills / skills/agi-evolution-model-basic

agi-evolution-model

Verified

基于双环架构的AGI进化模型,通过意向性分析、人格层映射和元认知检测实现持续自我演进;当用户需要智能对话、人格定制或复杂问题求解时使用

FileKindSize
SKILL.mdskill md21.9 KB
_meta.jsonconfig307 B
assets/personality_template.jsonconfig4.1 KB
references/architecture.mdmarkdown50.0 KB
references/c_extension_usage.mdmarkdown3.0 KB
references/capability_boundaries.mdmarkdown4.5 KB
references/cognitive-architecture-insight-module.mdmarkdown11.9 KB
references/cognitive-insight-quick-reference.mdmarkdown7.0 KB
references/cognitive-insight-v2-implementation.mdmarkdown32.7 KB
references/information-flow-main-loop.mdmarkdown20.4 KB
references/information-flow-overview.mdmarkdown12.4 KB
references/information-flow-secondary-loop.mdmarkdown20.4 KB
references/init_dialogue_optimized_guide.mdmarkdown11.1 KB
references/intentionality_architecture.mdmarkdown16.2 KB
references/maslow_needs.mdmarkdown4.4 KB
references/metacognition-check-component.mdmarkdown30.2 KB
references/metacognition-enhancement-guide.mdmarkdown12.6 KB
references/personality_mapping.mdmarkdown5.6 KB
references/stratified-storage-design.mdmarkdown10.6 KB
references/tool_use_spec.mdmarkdown56.3 KB
scripts/advice_pool.pyscript14.9 KB
scripts/cognitive_insight.pyscript20.9 KB
scripts/cognitive_insight_backup.pyscript25.2 KB
scripts/cognitive_insight_help.pyscript12.1 KB
scripts/concept_extraction_extension.pyscript25.3 KB
scripts/data_lifecycle_manager.pyscript13.4 KB
scripts/history_manager.pyscript7.4 KB
scripts/init_dialogue_optimized.pyscript16.4 KB
scripts/intentionality_analyzer.pyscript12.8 KB
scripts/intentionality_classifier.pyscript13.8 KB
scripts/intentionality_collector.pyscript9.7 KB
scripts/intentionality_regulator.pyscript15.1 KB
scripts/intentionality_trigger.pyscript19.9 KB
scripts/learning_stage_tracker.pyscript7.9 KB
scripts/memory_store_pure.pyscript12.0 KB
scripts/metacognition_history.pyscript16.3 KB
scripts/objectivity_evaluator.pyscript16.4 KB
scripts/perception_node.pyscript26.9 KB
scripts/personality_core_pure.pyscript4.4 KB
scripts/personality_customizer.pyscript24.0 KB
scripts/personality_layer_pure.pyscript32.2 KB
scripts/show_help.pyscript4.7 KB
scripts/strategy_selector.pyscript15.5 KB
scripts/test_metacognition_integration.pyscript9.4 KB
scripts/test_perception_node.pyscript9.2 KB
scripts/transcendence_keeper.pyscript11.7 KB

references/stratified-storage-design.md

View on GitHub
# 元认知历史数据分层存储设计

> **版本**:v1.0
> **状态**:已实施
> **目标**:提供高效的分层存储方案,解决历史数据过大的问题

---

## 一、设计理念

### 1.1 核心思想

> **数据生命周期管理**:不同年龄的数据有不同的访问频率和价值,应该采用不同的存储策略。

### 1.2 三种策略的作用

| 策略 | 目的 | 适用场景 | 压缩比 |
|------|------|---------|--------|
| **归档** | 移动数据到冷存储 | 短期冷数据(1-3个月) | 1x(仅移动) |
| **压缩** | 减少存储空间 | 中期冷数据(3-12个月) | 3-5x |
| **总结** | 提取关键信息 | 长期冷数据(>12个月) | 10-20x |

---

## 二、分层存储架构

### 2.1 四层架构设计

```
┌─────────────────────────────────────────────────────────────┐
│                    元认知历史数据存储架构                     │
├─────────────────────────────────────────────────────────────┤
│                                                             │
│  🔥 热数据层(Hot Layer)                                    │
│  ├─ 时间范围:0-1个月                                        │
│  ├─ 存储格式:JSON(完整记录)                               │
│  ├─ 访问频率:高(实时分析)                                  │
│  ├─ 存储位置:内存缓存 + 磁盘                               │
│  └─ 压缩:否                                                 │
│                                                             │
│  ♨️ 温数据层(Warm Layer)                                   │
│  ├─ 时间范围:1-3个月                                        │
│  ├─ 存储格式:GZIP压缩的JSON                                │
│  ├─ 访问频率:中(定期分析)                                  │
│  ├─ 存储位置:磁盘                                           │
│  └─ 压缩:是(gzip)                                         │
│                                                             │
│  ❄️ 冷数据层(Cold Layer)                                   │
│  ├─ 时间范围:3-12个月                                       │
│  ├─ 存储格式:聚合统计(按天/周/月)                         │
│  ├─ 访问频率:低(趋势分析)                                  │
│  ├─ 存储位置:磁盘                                           │
│  └─ 压缩:是(gzip)                                         │
│                                                             │
│  📦 归档层(Archive Layer)                                  │
│  ├─ 时间范围:>12个月                                        │
│  ├─ 存储格式:归档文件(可选删除)                           │
│  ├─ 访问频率:极低(审计)                                   │
│  ├─ 存储位置:冷存储                                         │
│  └─ 压缩:是(gzip)                                         │
│                                                             │
└─────────────────────────────────────────────────────────────┘
```

### 2.2 存储策略对比

| 维度 | 热数据层 | 温数据层 | 冷数据层 | 归档层 |
|------|---------|---------|---------|--------|
| **数据年龄** | 0-1个月 | 1-3个月 | 3-12个月 | >12个月 |
| **数据完整性** | 100% | 100% | 统计信息 | 可选 |
| **压缩比** | 1x | 3-5x | 10-20x | 3-5x |
| **查询延迟** | <10ms | 50-100ms | 100-500ms | 1-5s |
| **存储成本** | 高 | 中 | 低 | 极低 |
| **典型用例** | 实时分析 | 周报/月报 | 趋势分析 | 合规审计 |

---

## 三、数据转换策略

### 3.1 热→温转换(1个月后)

**触发条件**:
- 数据年龄 > 30天

**转换操作**:
1. 读取热数据(JSON)
2. 压缩为GZIP格式
3. 移动到温数据目录
4. 删除热数据文件

**压缩效果**:
- 原始大小:100MB
- 压缩后:20-30MB
- **压缩比:3-5倍**

**保留内容**:
- ✅ 所有字段(100%完整性)
- ✅ 可解压缩恢复完整记录

---

### 3.2 温→冷转换(3个月后)

**触发条件**:
- 数据年龄 > 90天

**转换操作**:
1. 解压缩温数据
2. 按天聚合统计
3. 提取关键指标
4. 删除温数据

**聚合统计内容**:
```python
@dataclass
class DailyStatistics:
    date: str                    # 日期(YYYY-MM-DD)
    count: int                   # 当天记录数
    avg_objectivity: float       # 平均客观性分数
    min_objectivity: float       # 最小客观性分数
    max_objectivity: float       # 最大客观性分数
    success_rate: float          # 成功率(0-1)
    strategy_distribution: dict  # 策略分布
    context_distribution: dict   # 场景分布
    learning_stage: str          # 主要学习阶段
```

**压缩效果**:
- 原始大小:30MB(压缩后)
- 聚合后:2-3MB
- **压缩比:10-20倍**

**保留内容**:
- ✅ 统计信息(平均值、最大值、最小值、计数)
- ❌ 详细记录(丢失)

---

### 3.3 冷→归档转换(12个月后)

**触发条件**:
- 数据年龄 > 365天

**转换操作**:
1. 归档到冷存储(按年份组织)
2. 或删除(根据配置)

**归档策略**:
- **保留策略**:用于合规审计、历史回溯
- **删除策略**:节省存储空间,仅保留关键统计

---

## 四、统一查询接口

### 4.1 查询接口设计

```python
class MetacognitionHistoryManager:
    def query(
        self,
        start_date: Optional[str] = None,
        end_date: Optional[str] = None,
        context_type: Optional[str] = None,
        min_success_rate: Optional[float] = None,
        strategy: Optional[str] = None,
        learning_stage: Optional[str] = None,
        include_detail: bool = False
    ) -> Union[List[Dict], Dict[str, Dict]]:
        """
        跨层级查询
        
        Returns:
            如果include_detail=True: 返回详细记录列表
            如果include_detail=False: 返回聚合统计字典
        """
```

### 4.2 查询性能优化

| 优化策略 | 实现方式 | 效果 |
|---------|---------|------|
| **索引优化** | 为热数据创建时间索引 | 查询速度提升10-100倍 |
| **缓存优化** | 热数据缓存在内存 | 查询延迟<10ms |
| **并行查询** | 跨层级并行查询 | 查询速度提升2-4倍 |
| **预加载** | 预加载温数据到缓存 | 减少解压缩开销 |

---

## 五、自动化管理

### 5.1 数据生命周期管理器

```python
class DataLifecycleManager:
    """
    数据生命周期管理器
    
    负责自动执行归档、压缩、总结操作。
    """
    
    def run_maintenance(self) -> Dict:
        """
        执行维护任务(建议每天执行一次)
        
        Returns:
            维护结果统计
        """
        # 1. 热→温转换
        # 2. 温→冷转换
        # 3. 冷→归档转换
        # 4. 清理过期归档
```

### 5.2 配置选项

```python
@dataclass
class LifecycleConfig:
    """数据生命周期配置"""
    hot_to_warm_days: int = 30          # 热→温转换天数
    warm_to_cold_days: int = 90         # 温→冷转换天数
    cold_to_archive_days: int = 365     # 冷→归档转换天数
    archive_retention_days: int = 1825  # 归档保留天数(5年)
    enable_archive: bool = True         # 是否启用归档
    enable_delete: bool = False         # 是否启用删除过期归档
```

---

## 六、效果评估

### 6.1 存储空间优化

| 时间范围 | 原始大小 | 优化后大小 | 压缩比 |
|---------|---------|-----------|--------|
| **0-1个月(热)** | 100MB | 100MB | 1x |
| **1-3个月(温)** | 200MB | 50MB | 4x |
| **3-12个月(冷)** | 900MB | 90MB | 10x |
| **>12个月(归档)** | 800MB | 200MB | 4x |
| **总计** | **2000MB** | **440MB** | **4.5x** |

**结论**:存储空间减少约78%

### 6.2 查询性能

| 查询场景 | 查询延迟 | 说明 |
|---------|---------|------|
| **热数据查询(最近1天)** | <10ms | 从内存缓存读取 |
| **温数据查询(1-3个月)** | 50-100ms | 解压缩GZIP |
| **冷数据查询(3-12个月)** | 100-500ms | 查询聚合统计 |
| **归档查询(>12个月)** | 1-5s | 从冷存储读取 |

---

## 七、实施建议

### 7.1 实施优先级

| 阶段 | 内容 | 优先级 | 工作量 |
|------|------|--------|--------|
| **第一阶段** | 实现热数据层和温数据层(压缩) | 高 | 2天 |
| **第二阶段** | 实现冷数据层(聚合统计) | 中 | 2天 |
| **第三阶段** | 实现归档层和自动化管理 | 低 | 1天 |

### 7.2 配置建议

```python
# 推荐配置
lifecycle_config = {
    'hot_to_warm_days': 30,      # 1个月后压缩
    'warm_to_cold_days': 90,     # 3个月后聚合
    'cold_to_archive_days': 365, # 1年后归档
    'archive_retention_days': 1825,  # 保留5年
    'enable_archive': True,      # 启用归档
    'enable_delete': False      # 不自动删除
}
```

### 7.3 注意事项

⚠️ **重要**:
1. 归档、压缩、总结操作应该在**后台异步执行**,不影响主循环
2. 提供配置选项,允许用户自定义数据生命周期策略
3. 实现完善的错误处理和日志记录
4. 定期备份数据,防止数据丢失

---

## 八、总结

### 8.1 方案优势

| 优势 | 说明 |
|------|------|
| **存储效率** | 存储空间减少78% |
| **查询性能** | 热数据查询<10ms |
| **自动化** | 无需手动维护,自动执行归档、压缩、总结 |
| **可扩展** | 易于添加新的数据层级或转换策略 |
| **灵活性** | 提供配置选项,满足不同需求 |

### 8.2 适用场景

✅ **推荐使用**:
- 长期运行的系统(>6个月)
- 高频交互的系统(>100次/天)
- 需要历史数据分析的系统

❌ **不推荐使用**:
- 短期运行的系统(<6个月)
- 低频交互的系统(<10次/天)
- 不需要历史数据分析的系统

---

**实施状态**:✅ 已完成

**实施日期**:2026-03-06

**相关文件**:
- `scripts/metacognition_history.py` - 元认知历史管理器
- `scripts/data_lifecycle_manager.py` - 数据生命周期管理器
- `scripts/learning_stage_tracker.py` - 学习阶段追踪器
slack-gif-creatoranthropics/skillsKnowledge and utilities for creating animated GIFs optimized for Slack. Provides constraints, validation tools, and animation concepts. Use when users request animated GIFs for Slack like "make me a GIF of X doing Y for Slack."Stars: 198kUpdated Claude CodeCodexVerifiedInstall
ponytailDietrichGebert/ponytailLazy senior dev mode for any coding task: the smallest change that fully solves it, and a reply a busy human understands in one read.Stars: 194kUpdated Claude CodeCodexVerifiedInstall
ponytail-debtDietrichGebert/ponytailHarvest every shortcut: comment into one debt ledger, so deferrals get tracked instead of forgotten. One-shot report.Stars: 194kUpdated Claude CodeCodexVerifiedInstall
ponytail-debtDietrichGebert/ponytailList every `shortcut:` comment (and older `ponytail:` ones) as a debt ledger. One-shot report, changes nothing. Use for "ponytail debt", "what did ponytail defer", "list the shortcuts", /ponytail-debt.Stars: 194kUpdated Claude CodeCodexVerifiedInstall