Skip to content

Lambenthan/empiricalwiki / .claude/skills/novelty

novelty

Verified

多源 novelty 验证:WebSearch + Semantic Scholar + wiki + Review LLM cross-verify,输出 novelty 评分与建议

/novelty

对一个研究想法或方法进行多源 novelty 验证。搜索 WebSearch、Semantic Scholar、 wiki 内已有工作和 arXiv 最新预印本,然后由 Review LLM 交叉验证,输出 novelty 评分(1-5)、 最相似已有工作、差异化要点和下一步建议。 可独立使用,也被 /ideate Phase 4 调用。

Inputs

  • target:以下之一:
    • idea 的自由文本描述(一段话或几句话)
    • wiki 中 ideas/ 页面的 slug(如 sparse-lora-for-edge-devices)
    • 论文标题或 arXiv URL(检查该论文方法的 novelty)
  • --quick:快速模式,跳过 Review LLM cross-verify(Step 3),仅做搜索
  • --verbose:输出完整搜索结果,不仅是摘要

Outputs

  • Novelty Report(输出到终端,不写入 wiki):
    • Novelty Score(1-5)
    • 最相似的已有工作列表(top 3-5)
    • 与每个已有工作的差异化要点
    • Review LLM 交叉验证意见(除非 --quick)
    • 推荐行动:proceed / modify / abandon
  • 该 skill 是只读查询,不修改 wiki 任何内容

Wiki Interaction

Reads

  • wiki/papers/*.md — 搜索已有论文中是否有类似方法
  • wiki/concepts/*.md — 检查概念重叠
  • wiki/ideas/*.md — 检查是否与已有 idea 重复(特别是 failed ideas 的 failure_reason)
  • wiki/claims/*.md — 检查 idea 所依赖的 claims 当前状态
  • wiki/graph/context_brief.md — 获取全局上下文辅助搜索

Writes

  • 无。Novelty check 是纯查询操作,不修改 wiki。

Graph edges created

  • 无。

Workflow

前置:确认工作目录为 wiki 项目根(包含 wiki/、raw/、tools/ 的目录)。

Step 1: 提取方法签名

  1. 若 target 是 slug:读取 wiki/ideas/{slug}.md,提取 title、Hypothesis、Approach sketch
  2. 若 target 是自由文本:直接使用
  3. 若 target 是 arXiv URL:下载摘要,提取方法描述
  4. 从 target 中提取「方法签名」——方法的核心要素:
    • What:做什么(任务/目标)
    • How:用什么方法(技术路线)
    • Why novel:声称的创新点
  5. 生成 3-5 个核心关键词用于后续搜索

Step 2: 多源搜索

并行执行以下搜索(使用 Agent tool 并发):

Source A — Web Search(5+ 查询):

  1. 直接查询:"<method-name>" + "<task>" 精确短语搜索
  2. 组件查询:<component-1> + <component-2> + <domain> 组件组合搜索
  3. Survey 查询:"survey" OR "review" + <task-area> + 2024 2025
  4. 竞品查询:<alternative-approach> + <same-task>
  5. 最新查询:<method-keywords> + arXiv + 2025 2026

Source B — Semantic Scholar + DeepXiv:

python3 tools/fetch_s2.py search "<method-keywords>" --limit 20
python3 tools/fetch_deepxiv.py search "<method-keywords>" --mode hybrid --limit 20

合并两个来源的结果(按 arxiv_id 去重)。DeepXiv 的混合语义搜索能发现 S2 关键词搜索遗漏的语义相似工作。

  • 对 top 5 结果获取详情和 TLDR:
python3 tools/fetch_s2.py paper <s2_id>
python3 tools/fetch_deepxiv.py brief <arxiv_id>

使用 DeepXiv brief 的 TLDR 辅助快速判断方法相似度。 若 DeepXiv 不可用:仅使用 S2 搜索(回退到原有行为)。

Source C — Wiki 内部搜索:

  1. 扫描 wiki/papers/ 所有页面的 Key idea 和 Method 段落
  2. 扫描 wiki/concepts/ 的 Definition 和 Variants 段落
  3. 扫描 wiki/ideas/ 的全部内容,特别关注:
    • status = failed 的 ideas 及其 failure_reason(anti-repetition)
    • status = proposed/in_progress 的 ideas(避免内部重复)
  4. 读取 wiki/graph/context_brief.md 获取全局视角

Source D — arXiv 近期预印本:

  • 使用 WebSearch 查询 site:arxiv.org <method-keywords> 2025 2026

Step 3: Review LLM 交叉验证

(若 --quick 则跳过此步)

将以下信息提交 Review LLM 进行独立判断:

mcp__llm-review__chat:
  system: "You are a senior ML researcher assessing the novelty of a proposed method.
           Be rigorous: if the method is essentially a recombination of known techniques
           with minor changes, score it low. Only score 4-5 if there is a genuinely new
           insight or formulation."
  message: |
    ## Proposed Method
    {method signature from Step 1}

    ## Existing Similar Work Found
    {top 5 similar works from Step 2, with title + one-line summary}

    ## Questions
    1. Is this method genuinely novel, or a minor variation of existing work?
    2. What is the closest existing work and what's the real difference?
    3. Novelty score 1-5 with justification.
    4. If score <= 2, what modification could increase novelty?

Step 4: 生成 Novelty Report

综合 Step 2 搜索结果和 Step 3 Review LLM 意见,生成结构化报告:

# Novelty Report: {idea title}

## Score: {1-5}/5 — {label}

| Score | Label | 含义 |
|-------|-------|------|
| 1 | Published | 已有高度相似的发表工作 |
| 2 | Very Similar | 存在非常相似的方法,仅细节差异 |
| 3 | Incremental | 在已有工作基础上有明确的增量贡献 |
| 4 | Novel Combination | 创新性地组合已有技术,产生新 insight |
| 5 | Fundamentally New | 提出全新范式或 formulation |

## Closest Prior Work

1. **{title}** ({year}) — {一句话描述相似之处}
   - 差异:{本方法与之的关键区别}
   - Wiki 链接:[[slug]](若存在)
2. ...

## Review LLM Assessment
{Review LLM 的独立判断摘要}

## Anti-repetition Check
- Wiki 中已有 failed ideas:{列出相关 failed ideas 及 failure_reason}
- Wiki 中已有 in_progress ideas:{列出可能重叠的 ideas}

## Recommendation
- **{proceed / modify / abandon}**
- 理由:{一段话}
- 若 modify:建议的差异化方向:{具体建议}

评分规则(综合判断):

  • Claude 搜索结果 和 Review LLM 意见取较低分(保守原则)
  • 若 wiki 中存在 failed idea 且 failure_reason 与本 idea 相关 → 降 1 分
  • 若 wiki 中存在 in_progress idea 高度重叠 → 标记为 abandon(内部重复)

Constraints

  • 不修改 wiki:novelty check 是纯查询操作,所有结果仅输出到终端
  • 保守评分:宁可低估 novelty 也不高估,避免在已有工作上浪费精力
  • 必须检查 failed ideas:wiki/ideas/ 中 status=failed 的 ideas 是重要的 anti-repetition 信号
  • 搜索覆盖面:至少 5 个不同的 WebSearch 查询 + Semantic Scholar + wiki 内部搜索
  • Review LLM 独立性:提交给 Review LLM 时不包含 Claude 自己的 novelty 判断,让 Review LLM 独立评估
  • 引用真实来源:报告中列出的所有 prior work 必须是真实存在的(WebSearch/S2 返回的),不得编造

Error Handling

  • WebSearch 不可用:跳过 Source A 和 D,仅依赖 S2 + wiki 搜索,在报告中注明覆盖面不足
  • Semantic Scholar API 不可用:跳过 S2 部分,依赖 DeepXiv + WebSearch 补偿
  • DeepXiv API 不可用:跳过 DeepXiv 部分,依赖 S2 + WebSearch(回退到原有行为)
  • Review LLM 不可用:跳过 Step 3,报告标注「Review LLM cross-verify unavailable, single-model assessment only」
  • Wiki 为空:正常执行外部搜索,wiki 内部搜索部分标注「wiki empty」
  • idea slug 不存在:提示用户检查 slug,列出 wiki/ideas/ 中的可用 slugs

Dependencies

Tools(via Bash)

  • python3 tools/fetch_s2.py search "<query>" --limit 20 — Semantic Scholar 关键词搜索
  • python3 tools/fetch_s2.py paper <s2_id> — 获取论文详情
  • python3 tools/fetch_deepxiv.py search "<query>" --mode hybrid --limit 20 — DeepXiv 语义搜索
  • python3 tools/fetch_deepxiv.py brief <arxiv_id> — 获取论文 TLDR 辅助相似度判断

MCP Servers

  • mcp__llm-review__chat — Review LLM 交叉验证(Step 3)

Claude Code Native

  • WebSearch — 多查询 web 搜索(Step 2 Source A + D)
  • Agent tool — 并行执行多源搜索(Step 2)

Shared References

  • .claude/skills/shared-references/cross-model-review.md(Phase 2 创建,Review LLM 独立性原则)
receiving-code-reviewobra/superpowersUse when receiving code review feedback, before implementing suggestions, especially if feedback seems unclear or technically questionable - requires technical rigor and verification, not performative agreement or blind implementationStars: 322kUpdated Claude CodeCodexVerifiedInstall
requesting-code-reviewobra/superpowersUse when completing tasks, implementing major features, or before merging to verify work meets requirementsStars: 322kUpdated Claude CodeCodexVerifiedInstall
using-git-worktreesobra/superpowersUse when starting feature work that needs isolation from current workspace or before executing implementation plans - ensures an isolated workspace exists via native tools or git worktree fallbackStars: 322kUpdated Claude CodeCodexVerifiedInstall
verification-before-completionobra/superpowersUse when about to claim work is complete, fixed, or passing, before committing or creating PRs - requires running verification commands and confirming output before making any success claims; evidence before assertions alwaysStars: 322kUpdated Claude CodeCodexVerifiedInstall