Skip to content

kfangw/research-ops / skills/paper-review

paper-review

Verified

논문 원고를 표준 기준표(축 일곱, 1~5점 기준 문장, 지적의 크기, 투고처 판)로 모의 심사하고 점수와 지적을 같은 형식으로 낼 때 사용. "심사해 줘", "모의 심사", "리뷰 돌려", "점수 매겨 봐", "심사 기준으로 다시 평가" 같은 요청과 paper-quality-loop의 심사 단계에 적용.

FileKindSize
SKILL.mdskill md11.8 KB
rubric.mdmarkdown22.5 KB
# 모의 심사 기준표 (판 5)

paper-review 스킬이 쓴다.

**쓰임.** 이 기준표의 주 산출물은 큰 지적 목록과 A4 세부 진단의 할 일 목록이다. 축 점수와 결정 권고는 참고다. 시험에서 축 점수는 최상위 학회 출판본과 평균 투고처 논문을 갈랐지만, 일반 저널 출판본과 평균 투고처 논문은 가르지 못했다. 모델 심사자는 출판된 논문에도 큰 지적을 여럿 낸다. 권고가 major나 reject여도 그 원고가 출판 수준이 아니라는 뜻은 아니다. 수준은 견본 기준선(5절)과 나란히 놓고 읽는다. 점수는 같은 판의 기준표끼리만 비교한다. 기준표를 고치면 판 번호를 올리고 아래 변경 줄에 적는다.

- 판 1: 축 일곱, 기준 문장, 일반 저널 판과 학회 판, 투고처 판 만드는 법.
- 판 2: 판 1을 출판 논문에 시험했더니 최상위 학회의 수상 논문이 reject로 나왔다(지나치게 엄격함). 큰 지적을 "치명"과 "고칠 수 있음"으로 나누고 축 상한은 치명에만 걸었다(2절). 학회 판에 수정 조건부 accept를 두고 일반 저널 판의 reject 조건을 치명 지적에 묶었다(3절). A4를 논리 구조, 구성과 가독성, 표현의 세부 진단으로 나눴다(2.1절). 견본 기준선 절을 더했다(5절). 판 1 점수와 판 2 점수는 비교하지 않는다.
- 판 3: 판 2를 출판 논문 셋에 시험했더니 엄격함은 풀렸으나, A4 세부 진단의 "고칠 곳"이 출판 논문에도 9~13개씩 나와 환산 점수가 모두 2가 되었다. 판정을 맞음, 가벼움, 고칠 곳의 셋으로 나누고 점수는 고칠 곳으로만 환산했다(2.1절). 잴 수 있는 항목은 잰 값으로 판정한다. 종합의 할 일 목록은 셋 모두 고칠 곳으로 본 항목부터 둔다(SKILL 5절). 견본 기준선과의 차를 종합에 반드시 적는다(5절). 결정 규칙은 판 2와 같다. 판 2와 판 3의 A4 점수는 비교하지 않는다.
- 판 4: 판 3을 출판본 여섯(일반 저널 다섯, 대조 하나)에 시험했더니 A4 진단은 견본과 대조를 갈랐으나, 축 점수의 합과 결정 권고는 일반 저널 출판본과 평균 투고처 논문을 가르지 못했다. 이 기준표의 쓰임을 지적과 A4 할 일 목록으로 정하고 결정 권고는 참고로 낮췄다(머리말). 치명의 정의를 좁혔다(2절). A4 항목에 견본 표시를 달았다(2.1절).
- 판 5: 여러 논문을 묶은 연구 전체의 평가문에서 복원한 개별 논문 심사 기준을 넣었다. 축 일곱과 기준 문장의 점수 뜻은 그대로 두고(판 4 점수와 비교할 수 있게), A1과 A3에 일반성, 문제의 중요성, 효용과 비용(적용 영역)의 세부 질문을 더했다(1.2절). 논문 유형별 판정 사슬(1.3절), 지적의 요구 층위(2.2절), 주장의 크기에 맞춘 요구와 공통 점검 넷(2.3절)을 더했다. 복원한 기준이라 실제 심사표와 같다는 보장은 없다(6절).

## 1. 축 일곱

| 축 | 묻는 것 |
|---|---|
| A1 기여 | 지식에 무엇을 더하는가. 기존 연구와 구별되는가. 그 차이가 분야에 의미가 있는가 |
| A2 기술적 건전성 | 방법, 증명, 실험 설계, 분석이 맞는가 |
| A3 주장과 증거 | 주장의 크기가 증거에 맞는가. 자료가 결론을 받치기에 충분한가 |
| A4 명료성과 구성 | 처음 읽는 독자가 문제, 기여, 결과를 따라갈 수 있는가. 그림과 표가 본문을 받치는가 |
| A5 위치 짓기와 참고문헌 | 가장 가까운 선행 연구와의 차이가 분명한가. 참고문헌이 적절하고 충분한가 |
| A6 재현과 보고 | 다른 사람이 같은 결과를 얻는 데 필요한 정보(자료, 도구 판, 설정, 반복, 누락)가 있는가 |
| A7 투고처 적합성 | 투고처의 범위와 독자, 분량, 양식에 맞는가 |

축은 학술지 심사 양식이 흔히 묻는 질문(기여, 기술적 건전성, 제시, 참고문헌)과 보안, 시스템 학회의 통상 축(novelty, soundness, presentation)을 나눠 놓은 것이다.

### 1.2 축의 세부 질문 (판 5)

축의 점수 뜻은 2절 그대로이고, 아래 질문은 각 축을 매길 때 함께 본다.

| 기준 | 축 | 묻는 것 |
|---|---|---|
| 문제의 중요성 | A1 | 실제로 있는 문제인가. 풀면 무엇이 달라지는가 |
| 독창성 | A1, A5 | 기존 기법의 적용이나 조합을 넘는 새 발견이나 보장이 있는가. 4점 이상은 이것이 분명할 때만 |
| 기술적 타당성 | A2 | 정의, 가정, 증명, 구현이 서로 맞는가. 증명한 모형의 성질이 구현과 어떻게 이어지는가 |
| 일반성 | A1, A3 | 자기 설계나 자기 예시 밖에서도 성립하는가. 적용 조건을 밝혔는가 |
| 평가의 설득력 | A3 | 공정한 기준선과 실험으로 대안 설명을 배제했는가 |
| 효용과 비용 | A3 | 무엇을 얻고 무엇을 희생하는가. 언제(어느 적용 영역에서) 유용한가. 그 영역에 실제 대상이 있는가, 모형과 문헌으로만 보였는가 |
| 재현성과 명료성 | A6, A4 | 독자가 결과를 추적, 재현하고 보장의 경계(무엇을 누구에게 어느 기간)를 이해할 수 있는가 |

구현 규모나 실험 건수 자체보다 독창성, 일반성, 외부 기준과의 비교를 무겁게 본다.

### 1.3 논문 유형별 판정 사슬 (판 5)

심사 전에 총괄이 원고의 기여 유형을 정해 심사자에게 준다(SKILL 2절). 심사자는 점수 전에 사슬의 세 고리에 한 줄씩 답한다(섬, 약함, 끊김과 근거).

| 유형 | 판정 사슬 | 흔한 함정 |
|---|---|---|
| 현상 발견형 | 새로운 실패 경로인가 → 대조 실험이 원인을 설명하는가 → 실무적인 예방 원칙으로 이어지는가 | 의도적으로 잘못 만든 설정에서 당연한 결과. 알려진 현상(프롬프트 인젝션 등)과의 차이 불분명. 존재 증거를 발생률로 과장 |
| 정의와 보장형 | 새 요구사항이 유용한가 → 충분조건의 증명이 자명하지 않은가 → 실제 구현과 다른 설계에서도 의미가 있는가 | 의무 조건이 결론을 사실상 가정함. 자기 설계에만 맞춘 조건. 설계 차이와 제품 결함의 혼동 |
| 메커니즘과 이론형 | 새로운 정리가 필요한가(고전 결과 너머) → 정리가 정확한가 → 보장을 얻는 비용과 유용한 영역이 밝혀졌는가 | 고전 결과의 옮겨 쓰기. 보장 단위(계정, 에피소드, 수령액과 환급)의 혼동. 저자가 만든 비교 대상. 적용 영역에 실제 대상이 없음 |

유형이 섞이면 주된 유형 하나를 정하고 다른 유형의 고리는 참고로 적는다.

### 1.1 흔히 쓰는 이름과의 대응

| 흔히 쓰는 이름 | 표준 축 |
|---|---|
| Novelty, Originality, 새로움, Significance, 의의 | A1 |
| Technical soundness, Technical quality, 정확성 | A2 |
| Evidence, Evaluation adequacy, 평가 | A3 |
| Clarity, Presentation, 명료성, 표현, 가독성, 발표 점수 | A4 |
| Related work, 관련 연구, 참고문헌 | A5 |
| Reproducibility, Artifact, 재현 | A6 |
| Relevance, Fit, 주제 적합 | A7 |
| Overall, 종합 | 축 점수가 아니라 투고처 판의 결정 규칙으로 낸다 |
| major, 1급, Must | 큰 지적 |
| minor, 2급, Should | 작은 지적 |
| 문장, 형식, typo | 표현 지적 |

## 2. 점수 기준 문장 (1~5)

모든 축에 공통 규칙:
- 큰 지적은 둘로 나눈다. **치명**은 결과나 설계가 틀렸거나, 방법이 그 결론을 원리상 낼 수 없는 것이다(예: 공격이 설계를 실제로 깨뜨림, 측정 대상이 주장과 다름). **고칠 수 있음**은 범위 한정, 서술, 추가 분석, 빠진 정의나 증명이나 실험의 보충으로 결론이 서는 것이다. 빠진 증명이나 실험은, 설계가 그 성질을 갖지 못한다는 근거가 원고에 없으면 고칠 수 있음이다. 판단이 서지 않으면 고칠 수 있음으로 두고 이유를 적는다.
- 그 축에 치명 지적이 있으면 3점 이하. 고칠 수 있는 큰 지적만 있거나 작은 지적이 셋 이상이면 4점 이하.
- 잘 쓰인 출판 논문도 심사자가 큰 지적을 낸다. 큰 지적이 있다는 것만으로 점수를 깎지 말고, 그 지적이 결론에 얼마나 닿는지로 매긴다.
- 지적마다 요구의 층위(2.2절)를 붙인다. 강화 층위의 지적은 원고가 그것을 주장할 때만 큰 지적이 된다.

| 축 | 5 | 4 | 3 | 2 | 1 |
|---|---|---|---|---|---|
| A1 기여 | 가장 가까운 선행 연구와의 차이가 분명하고, 그 차이로 분야의 문제를 새로 풀거나 새로 보게 한다 | 차이가 분명하고 의미가 있으나 범위가 좁다 | 차이는 있으나 작거나, 의미를 원고가 충분히 보이지 못한다 | 차이가 불분명하거나 이미 알려진 결과에 가깝다 | 새로운 것이 없다 |
| A2 건전성 | 방법과 분석에 오류가 없고, 위협과 가정이 명시되며 대안 설명을 배제한다 | 작은 빈틈은 있으나 결론에 영향이 없다 | 결론에 영향을 줄 수 있는 빈틈이 하나 있다 | 빈틈이 여럿이거나 핵심 단계가 틀렸다 | 방법이 결론을 낼 수 없다 |
| A3 주장과 증거 | 모든 주장(초록, 서론, 결론 포함)이 본문 근거와 같은 크기이고, 한계와 범위가 명시된다 | 한두 곳의 주장이 근거보다 조금 넓다 | 핵심 주장 하나가 근거보다 넓거나 근거가 간접적이다 | 여러 주장이 근거를 넘는다 | 결론이 자료에서 나오지 않는다 |
| A4 명료성과 구성 | 처음 읽는 독자가 서론 셋째 문단 안에서 문제와 기여를 알고, 절의 순서와 연결이 자연스럽다. 서론의 약속마다 이행 자리가 있다 | 막히는 곳이 몇 군데 있으나 흐름은 선다 | 구성은 서나 정의 없는 용어, 내부 이름, 과정 서술 같은 장애가 잦다 | 기여나 결과를 찾기 어렵다 | 읽고 따라갈 수 없다 |
| A5 위치 짓기 | 가장 가까운 연구들을 빠짐없이 들고 차이를 하나씩 말한다 | 차이는 분명하나 빠진 연구가 조금 있다 | 가까운 연구 하나 이상이 빠지거나 차이가 뭉뚱그려진다 | 선행 연구 대비가 거의 없다 | 선행 연구를 잘못 전한다 |
| A6 재현과 보고 | 자료, 도구 판, 설정, 반복 수, 누락과 그 처리가 있고 재현 자료가 공개된다 | 재현 자료는 있으나 일부 설정이 빠졌다 | 핵심 설정 일부가 빠져 재현이 어렵다 | 재현에 필요한 정보 대부분이 없다 | 재현할 수 없다 |
| A7 적합성 | 투고처의 범위 한가운데이고 분량과 양식을 지킨다 | 범위 안이나 양식이나 분량에 손볼 곳이 있다 | 범위의 가장자리이거나 독자에게 맞춘 설명이 부족하다 | 범위 밖에 가깝다 | 범위 밖이다 |

### 2.2 지적의 요구 층위 (판 5)

| 층위 | 뜻 | 큰 지적이 될 수 있나 |
|---|---|---|
| 타당성 | 정의, 가정, 보장 단위, 증명과 구현의 정확성 | 늘 |
| 효용 주장 | 공정한 기준선, 비용 분석, 적용 영역 | 원고가 효용(더 싸다, 더 낫다, 쓸모 있다)을 주장할 때만 |
| 강화 | 최적성 하한, 일반 인센티브 정리, Pareto 경계, 더 많은 모델이나 판매자, 상위 학회 수준의 확장 | 원고가 그것을 주장할 때만. 아니면 작은 지적이나 제안 |

상위 학회 수준의 확장 과제가 없다는 이유만으로 일반 저널 원고를 major로 몰지 않는다.

### 2.3 주장의 크기와 공통 점검 (판 5)

주장의 크기를 먼저 분류하고 그 크기에 맞는 증거만 요구한다.
- 존재 주장("일어날 수 있다")과 발생률 주장("널리 일어난다")은 필요한 증거가 다르다. 존재 주장에 모든 모델에서의 유의한 효과나 실제 피해 사례를 요구하지 않는다.
- 추상 규칙의 보장과 배포 코드의 보장은 다르다. 배포 코드의 보장을 주장할 때만 코드와의 연결 증거(초기화, 불변식 보존, 함수 대응, 차등 시험)를 요구한다.

심사자는 아래 넷을 점검하고 해당하면 지적으로 낸다.
1. 허수아비: 의도적으로 잘못 만든 설정에서 당연한 결과가 나온 것은 아닌가. 의무 조건이 결론을 사실상 가정하지 않는가. 조건을 하나씩 빼면 반례가 나오는가.
2. 기준선의 공정성: 비교 대상이 같은 보장과 같은 사용 계획(owner 동작, 중단 절차, 클라이언트 행동) 아래에서 가장 강한 합리적 형태인가. 저자가 만든 비교 대상은 더 엄격히 본다.
3. 차이의 구분: 제안한 요구사항을 기존 제품이 만족하지 않을 때 설계 차이, 사용 계획의 실패, 제품 결함을 가르는가.
4. 적용 영역의 실재: 효용을 주장하면 그 영역에 실제 대상이 있는가, 모형과 문헌으로만 보였는가. 앞의 경우와 뒤의 경우의 주장 크기가 맞는가.

### 2.1 A4 세부 진단: 논리 구조, 구성과 가독성, 표현

A4 점수와 별도로 심사자마다 아래 항목을 판정한다. 판정은 넷이다.
- **맞음**: 잘 쓰인 출판 논문과 같거나 낫다.
- **가벼움**: 흠은 있으나 잘 쓰인 출판 논문에도 흔한 정도다. 고치면 좋지만 심사에서 감점되지는 않는다.
- **고칠 곳**: 잘 쓰인 출판 논문보다 눈에 띄게 못하다. 처음 읽는 독자가 막히거나, 심사자가 지적할 정도다.
- **해당 없음**.

판정이 가벼움과 고칠 곳 사이에서 망설여지면 가벼움으로 두고 이유를 적는다. "가벼움"과 "고칠 곳"이면 원고 위치와 힌트를 한 줄로 적는다. 힌트는 무엇을 어느 방향으로 바꿀지와 잘 쓰인 출판 논문이 그 자리를 어떻게 쓰는지이고, 고친 문장은 쓰지 않는다. 원고 안에 그 항목을 잘 한 곳이 있으면 "본보기"로 위치를 적는다. 기준값은 paper-framing, paper-readability, english-academic-style 7절의 출판 논문 견본 범위다.

표의 "견본" 열은 출판본 시험에서 본 것이다. **늘**은 잘 쓰인 출판 논문도 대부분 걸리는 항목이라 고칠 곳이어도 출판 수준과 어긋나지 않는다. **가름**은 평균 투고처 논문에서만 셋 모두 고칠 곳으로 걸린 항목이라 먼저 고친다.

| 묶음 | 항목 | 묻는 것 |
|---|---|---|
| 논리 구조 | L1 약속과 이행 | 서론의 기여와 연구 질문마다 본문에 이행하는 자리(절, 표, 그림, 정리)가 있는가 |
| | L2 주장과 근거의 거리 | 주장 문장의 근거가 같은 단락이나 바로 옆 표와 그림에 있는가 |
| | L3 절의 연결 | 최상위 절의 첫 단락이 앞 절과의 관계나 이 절이 답할 물음을 말하는가 |
| | L4 단락의 첫 문장 | 첫 문장만 이어 읽어도 논증이 따라오는가. 표만 가리키는 첫 문장이 없는가(모든 단락을 같은 꼴로 맞출 필요는 없다) |
| | L5 주장의 크기 (견본: 늘) | 초록과 결론의 주장(범위, 일반화, 평가어)이 본문 근거보다 넓지 않은가. 의의와 쓰임을 넓게 말하는 것은 가벼움, 본문과 다른 숫자나 모집단이나 조건을 쓰는 것은 고칠 곳이다 |
| | L6 한계의 자리 | 한계를 어디서든 다루고, 같은 한계를 여러 곳에서 되풀이하지 않는가 |
| 구성과 가독성 | G1 서론의 속도 | 셋째 문단 안에서 이 논문이 하는 일을 말하는가. 분야 일반론이 한 문단을 넘지 않는가 |
| | G2 초록과 결론의 꼴 (견본: 가름) | 초록이 한 문단 120~250단어, 숫자 네 개 이하인가. 결론이 450단어 이하이고 새 숫자가 없는가 |
| | G3 정의와 이름 (견본: 늘) | 정의 전에 쓰는 용어, 정의 없는 내부 이름과 코드명, 한 대상의 여러 이름이 없는가 |
| | G4 기호와 숫자 | 본문의 기호와 숫자가 읽기를 막지 않는가. 표의 숫자를 본문이 다시 나열하지 않는가 |
| | G5 그림과 표 | 첫 쪽이나 둘째 쪽에 결과를 요약하는 그림이나 표가 있는가. 그림과 표가 주장을 직접 받치는가 |
| 표현 | E1 AI 흔적과 과장 (견본: 가름) | 강조 공식, not X but Y, 무대 세우기, 평가어("superior"), 금지 어휘가 없는가 |
| | E2 헤지와 한정 | 헤지가 확실성에 맞는가(너무 없거나 겹치지 않는가). 한 문장에 단서가 겹쳐 달리지 않는가 |
| | E3 문장의 결 | 문장 길이가 고르지 않게 섞였는가. 되읽어야 하는 문장, 괄호가 겹친 문장이 드문가 |
| | E4 과정 이력 (견본: 가름) | 판 이력, 이전 판과의 비교, 내부 검토 기록 같은 과정 서술이 본문에 없는가 |

잴 수 있는 항목은 잰 값으로 판정한다. G2(초록 단어 수와 숫자 수, 결론 단어 수), E2(1천 단어당 헤지, 문장당 한정), E3(문장 길이 평균과 표준편차, 괄호가 두 쌍 이상인 문장의 비율)는 english-academic-style 7절과 paper-framing의 범위를 쓴다. 견본의 25~75 백분위 안이면 맞음, 10~90 백분위 안이면 가벼움, 그 밖이면 고칠 곳이다. 프로젝트에 측정 스크립트가 있으면 그 값을 쓰고, 없으면 심사자가 어림한 값과 어림했다는 사실을 적는다.

A4 점수는 "고칠 곳"의 개수로만 환산한다. 하나 이하이면 5, 둘에서 셋이면 4, 넷에서 여섯이면 3, 일곱 이상이면 2를 기준으로 하고, 기준 문장과 어긋나면 이유를 적는다. "가벼움"은 점수에 넣지 않는다.

확신도(1~5): 5는 이 주제의 전문가로서 원고를 자세히 읽었다, 3은 주제는 알지만 일부를 확인하지 못했다, 1은 추측이다.

## 3. 기본 투고처 판

결정 규칙은 축 중앙값과 합의된 큰 지적에 적용한다.

### 3.1 일반 저널 판

- accept: 합의된 큰 지적 0, 모든 축 4 이상
- minor revision: 합의된 큰 지적 0, 모든 축 3 이상
- major revision: 합의된 치명 지적 0이고, 합의된 큰 지적이 모두 고칠 수 있음. A1, A2, A3 가운데 2점인 축이 있어도 그 원인이 고칠 수 있는 지적이면 여기에 든다
- reject: 합의된 치명 지적이 있거나, A1, A2, A3 가운데 하나가 1

### 3.2 학회 판

- 통상 축(novelty, soundness, presentation)에 A1, A2, A4가 대응한다. 결정은 accept와 reject 둘이다(학회에 shepherding이나 major revision이 있으면 투고처 판에 적는다).
- accept: 합의된 큰 지적 0, A1과 A2가 4 이상, 나머지 축 3 이상
- 수정 조건부 accept(shepherding): 합의된 치명 지적 0, 합의된 큰 지적이 모두 고칠 수 있음, A1 4 이상, A2 3 이상, 나머지 축 3 이상. 학회에 shepherding이 없으면 "고쳐서 다음 회 재투고 권함"으로 읽는다
- reject: 그 밖

## 4. 투고처 판 만드는 법

투고처가 공개한 심사 지침이 있으면 그 투고처의 판을 만들어 프로젝트에 둔다(`docs/설정.md`의 심사 절이 가리키게 한다).

1. 공식 심사 질문을 원문 그대로 옮기고 출처 주소와 확인한 날짜를 적는다. 찾지 못한 항목은 "미확인"으로 적는다.
2. 질문마다 대응하는 축(1절)을 적는다.
3. 투고처의 결정 이름(accept, minor, major, reject, 재투고 허용 등)을 그대로 쓰고, 결정마다 축 점수와 합의된 큰 지적으로 된 규칙을 적는다.
4. 투고처가 무겁게 보는 축을 적는다(예: 독창성 문턱이 낮고 건전성을 무겁게 보는 학술지면 A2와 A3을 무겁게, A1은 3점이면 충분).
5. 투고처가 major revision을 한 번만 허용하는 등의 절차 제약이 있으면 적는다. 그런 투고처는 첫 투고에서 합의된 큰 지적이 없어야 한다.

## 5. 견본 기준선

축 점수는 절대값보다 같은 기준표 판으로 잰 잘 쓰인 출판 논문과 나란히 볼 때 뜻이 있다. 모델 심사자는 출판 논문에도 큰 지적을 낸다.

1. 프로젝트마다 투고처나 같은 분야의 잘 쓰인 출판 논문 둘 이상을 같은 기준표 판, 같은 투고처 판, 같은 심사자 구성으로 심사해 둔다. 이것이 견본 기준선이다. 기준표 판이 바뀌면 다시 잰다.
2. 견본에는 심사자가 알아보기 어려운 논문(유명하지 않은 출판본)을 섞는다. 알아본 논문은 점수가 오를 수 있다.
3. 원고를 심사하면 종합(SKILL 5절)에 원고의 축 중앙값과 견본 기준선, 그 차를 반드시 나란히 적는다. 원고가 축마다 기준선과 같거나 높으면 "출판 견본 수준"으로 읽는다. 기준선이 없으면 "기준선 없음"이라고 적고, 점수 합만으로 원고의 수준을 말하지 않는다. 이 기준표는 최상위 학회 수준과 평균 저널 수준은 가르지만 그 사이는 잘 가르지 못한다(판 2 시험).
4. 기준선 값은 공개 판에 싣지 않고 프로젝트 기록에 둔다.
5. 견본 본문은 출판본(publisher version)으로 만든다. 저자 판(arXiv 등)은 출판본과 다를 수 있다. 심사자에게 넘기기 전에 제목, 저자, 소속, 감사의 글, 저자 기여 진술, 그리고 쪽 머리말과 각주의 출판 표기(저널 이름, 채택 표기, DOI, 학회 이름)를 찾아 지운다.

## 6. 이 판의 한계

- 기준 문장은 흔한 심사 양식의 질문을 풀어 쓴 것이고, 투고처가 실제로 쓰는 점수표와 같다는 보장은 없다.
- 결정 규칙은 이 체계의 약속이다. 실제 편집 결정과 맞는지는 실제 심사평이 오면 대조한다(SKILL 6절).
- 판 2의 결정 규칙은 판 1 시험 결과를 보고 고쳤고, 다른 출판 논문 셋으로 다시 시험해 견본이 reject가 되지 않음을 확인했다. 다만 그 셋은 저자 판이었다.
- 판 3의 A4 환산은 판 2 시험 결과를 보고 고쳤고, 다른 출판본 여섯으로 시험해 18개 보고 가운데 14개에서 심사자 판단과 맞았다.
- 판 4의 치명 정의는 판 3 시험의 한 원고를 보고 좁혔다. 다른 원고로 확인되지 않았다.
- 견본 표시(늘, 가름)는 출판본 여섯과 대조 하나에서 본 것이다. 표본이 작다.
- A4 진단의 기준값은 보안 분야 저널과 학회 논문 견본에서 왔다. 다른 분야에서는 그 분야 견본으로 다시 잰다.
- 판 5의 세부 질문, 유형별 사슬, 요구 층위는 여러 논문을 묶은 연구 전체의 평가문에서 복원한 것이다. 평가자가 쓰는 실제 개별 논문 심사표가 아니며, 출판본으로 시험하지 않았다. 여러 논문을 묶은 연구 전체를 보는 요구(논문 사이의 통합 정리, 종단 간 실험, 검증 수준 맞추기)는 여기에 넣지 않았다.
add-product-e2e-evalpaperclipai/paperclipAdd or extend a Paperclip full-stack runner E2E workflow, fixture, matcher, or report evidence path for local or Daytona execution.Stars: 115kUpdated Claude CodeCodexVerifiedInstall
add-runner-evalpaperclipai/paperclipAdd or extend a Paperclip Runner protocol evaluation definition, roster, assertion, or report fixture with provenance and narrow validation.Stars: 115kUpdated Claude CodeCodexVerifiedInstall
diagnose-why-work-stoppedpaperclipai/paperclipCompatibility entry point for failed, stalled, looping, or over-recovered Paperclip work. Use fix-failed-paperclip-run for the full diagnosis, regression, repair, real verification, and green-PR workflow; honor an explicitly requested diagnosis-only scope.Stars: 115kUpdated Claude CodeCodexVerifiedInstall
fix-failed-paperclip-runpaperclipai/paperclipDiagnose and fix failed, stuck, slow, or incorrectly blocked Paperclip tasks and runs. Use with a task/run URL or failure report to trace the root cause, prove a regression red then green, check second-order effects, verify the real workflow, and deliver a PR with passing checks.Stars: 115kUpdated Claude CodeCodexVerifiedInstall