brycewang-stanford/Auto-Empirical-Research-Skills / skills/33-Galaxy-Dawn-claude-scholar/skills/research-ideation
research-ideation
VerifiedThis skill should be used when the user asks to "brainstorm research ideas", "use 5W1H framework", "identify research gaps", "conduct gap analysis", "start research project", "conduct literature review", "define research question", "select research method", "plan research", or mentions research project initiation phase. Provides comprehensive guidance for research startup workflow from idea generation to planning.
| File | Kind | Size |
|---|---|---|
| SKILL.md | skill md | 8.4 KB |
| examples/example-literature-review.md | markdown | 3.4 KB |
| examples/example-research-proposal.md | markdown | 5.0 KB |
| references/5w1h-framework.md | markdown | 4.8 KB |
| references/gap-analysis-guide.md | markdown | 7.3 KB |
| references/literature-search-strategies.md | markdown | 6.3 KB |
| references/method-selection-guide.md | markdown | 4.0 KB |
| references/research-planning.md | markdown | 3.6 KB |
| references/research-question-formulation.md | markdown | 4.6 KB |
| references/zotero-integration-guide.md | markdown | 5.6 KB |
examples/example-literature-review.md
View on GitHub# 文献综述示例:Transformer 模型可解释性研究
## 研究主题
本文献综述聚焦于 Transformer 模型的可解释性研究,特别是注意力机制的解释和理解。
## 1. 引言
### 1.1 研究背景
Transformer 模型自 2017 年提出以来,已成为自然语言处理领域的主流架构。然而,其内部工作机制仍然不够透明,限制了模型的可信度和在关键应用中的部署。
### 1.2 研究重要性
**学术价值**:
- 深入理解深度学习模型的工作原理
- 为模型改进提供理论指导
- 推动可解释 AI 领域发展
**实际价值**:
- 提高模型可信度
- 辅助模型调试和优化
- 满足监管和伦理要求
### 1.3 综述范围
本综述涵盖 2020-2024 年间发表的相关工作,重点关注:
- 注意力机制的可视化和分析
- 模型内部表示的探测
- 可解释性评估方法
- 应用案例研究
## 2. 主要研究方向
### 2.1 注意力可视化方法
**代表性工作**:
**Clark et al. (2019) - "What Does BERT Look At?"**
- 会议:ACL 2019
- 贡献:系统分析 BERT 的注意力模式
- 发现:不同层的注意力关注不同语言现象
- 引用次数:1200+
**Vig (2019) - "A Multiscale Visualization of Attention"**
- 会议:ACL 2019 Demo
- 贡献:开发交互式注意力可视化工具
- 工具:BertViz(开源)
- 影响:广泛使用的可视化工具
**主要发现**:
- 早期层关注句法结构
- 中间层关注语义关系
- 后期层关注任务相关特征
### 2.2 模型探测方法
**代表性工作**:
**Tenney et al. (2019) - "BERT Rediscovers the Classical NLP Pipeline"**
- 会议:ACL 2019
- 贡献:使用探测任务分析 BERT 的语言知识
- 方法:Edge probing tasks
- 发现:BERT 隐式学习了传统 NLP 流程
**Rogers et al. (2020) - "A Primer on BERTology"**
- 期刊:TACL 2020
- 贡献:系统综述 BERT 的可解释性研究
- 影响:成为该领域的重要参考文献
- 引用次数:800+
**主要发现**:
- 模型学习了丰富的语言知识
- 不同层编码不同层次的信息
- 知识分布在多个层中
## 3. 研究趋势与空白
### 3.1 当前研究趋势
**从静态分析到动态分析**:
- 早期工作主要分析训练好的模型
- 近期工作开始关注训练过程中的动态变化
**从单一方法到综合方法**:
- 结合多种可解释性技术
- 跨层次、跨模态的分析
**从理解到应用**:
- 将可解释性用于模型改进
- 辅助模型调试和优化
### 3.2 研究空白
**理论基础不足**:
- 缺乏统一的可解释性理论框架
- 注意力权重与模型行为的因果关系不明确
**评估标准缺失**:
- 缺乏标准化的评估方法
- 人类评估成本高且主观性强
**长文本处理**:
- 现有方法主要针对短文本
- 长文本的注意力模式更复杂
## 4. 总结
本综述系统梳理了 Transformer 模型可解释性研究的主要方向和代表性工作。主要发现包括:
1. **注意力机制**:不同层关注不同语言现象,但注意力权重不能完全解释模型行为
2. **内部表示**:模型隐式学习了丰富的语言知识,分布在多个层中
3. **研究空白**:理论基础、评估标准、长文本处理等方面仍需深入研究
**未来研究方向**:
- 建立统一的可解释性理论框架
- 开发标准化的评估方法
- 探索长文本的可解释性
- 将可解释性用于模型改进
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| reverse-engineer-anythingmorluto/reaReverse engineer native, managed, Electron/JavaScript, packaged, firmware, and browser targets with REA, and build agent environments (AgentEnv bundles) of web applications from a live instance or a capture, and of Linux desktop apps with a task from a request. Use shipped-artifact or requested runtime evidence to explain features, compare versions, decompile code, or guide a reconstruction. Skip REA for ordinary source-repository architecture analysis. | Stars: 472k | Updated | Claude CodeCodex | Verified | Install |
| diagnosing-superpowersobra/superpowersUse when a superpowers session went wrong and your human partner wants to know why — repeated work, ignored plans, stumbles, poor results, a skill that didn't fire, "it took too long", "why is it so expensive", "what is it doing" — or wants to build a bug report for the superpowers maintainers, for the current session or a past one identified by id or path, on any harness. | Stars: 323k | Updated | Claude CodeCodex | Verified | Install |
| dispatching-parallel-agentsobra/superpowersUse when facing 2+ independent tasks that can be worked on without shared state or sequential dependencies | Stars: 323k | Updated | Claude CodeCodex | Verified | Install |
| executing-plansobra/superpowersUse when executing an implementation plan in the current session as the implementer yourself — your human partner chose inline execution, or no subagent tool is available | Stars: 323k | Updated | Claude CodeCodex | Verified | Install |