kfangw/research-ops / skills/paper-review
paper-review
Verified논문 원고를 표준 기준표(축 일곱, 1~5점 기준 문장, 지적의 크기, 투고처 판)로 모의 심사하고 점수와 지적을 같은 형식으로 낼 때 사용. "심사해 줘", "모의 심사", "리뷰 돌려", "점수 매겨 봐", "심사 기준으로 다시 평가" 같은 요청과 paper-quality-loop의 심사 단계에 적용.
모의 심사
원고 하나를 표준 기준표로 한 번 심사한다. 주 산출물은 큰 지적 목록과 A4 세부 진단(논리 구조, 구성과 가독성, 표현)의 할 일 목록이고, 축 점수와 결정 권고는 참고다(rubric.md 머리말). 프로젝트와 원고가 달라도 같은 축, 같은 점수 뜻, 같은 지적 크기, 같은 보고 형식을 쓴다. 그래야 판과 판, 원고와 원고의 점수를 나란히 볼 수 있다. research-session의 공통 규칙을 따른다.
| 이 스킬이 하는 일 | 다른 스킬이 하는 일 |
|---|---|
| 한 번의 모의 심사(심사자 구성, 점수, 지적, 종합) | 심사, 수정, 문체의 반복과 멈춤: paper-quality-loop |
| 실제 심사평 대응: rebuttal | |
| 숫자와 인용 대조: fact-check | |
| 문장 단위 문체: english-academic-style, korean-academic-style |
기준표는 같은 폴더의 rubric.md다. 축의 뜻, 점수 기준 문장, 결정 규칙은 그 파일이 정하고, 이 스킬은 절차를 정한다.
0. 시작 전
- 원고의 판을 고정한다. 커밋 해시나 PDF의 sha256을 심사 폴더에 적는다. 심사 중에 원고를 고치지 않는다.
- 투고처 판을 정한다. 프로젝트에 투고처 판 문서(
docs/설정.md의 심사 절이나 그 절이 가리키는 문서)가 있으면 쓰고, 없으면rubric.md3절의 일반 저널 판이나 학회 판을 쓴다. 투고처 판을 새로 만들 때는rubric.md4절을 따른다. - 원고에 주장 목록(paper-framing 0절)이 있으면 함께 준다. 없으면 A3 판정이 약해진다고 보고에 적는다.
- 심사 폴더:
<원고 폴더>/심사/<회차>/. 회차 이름은 프로젝트의 관례를 따른다. paper-quality-loop 안에서 돌면 그 바퀴 폴더를 쓴다. - 심사자에게 준 지시서 원문을 같은 폴더에
지시서.md로 남긴다. 지시서가 남지 않은 회차의 점수는 다른 회차와 비교하지 않는다. - 바로잡은 자료로 심사한다. 원고의 최근 사실 대조 문서를 확인하고, 이전 회차 지적 가운데 이미 바로잡힌 사실 오류에 기댄 것이 있으면 종합에서 바로잡은 자료로 다시 판정한다(이전 심사평을 심사자에게 넘기지는 않는다).
- 기여 유형(
rubric.md1.3절)을 정한다. 프로젝트에 원고별 기준 문서(<원고 폴더>/심사/기준_<원고>.md)가 있으면 그 유형과 중심 질문을 쓴다. - 확신도는 언제나 매긴다. 종합 점수는 따로 매기지 않고 결정 규칙으로 낸다(
rubric.md1.1절).
1. 심사자 구성
모두 새로 띄운 에이전트다. 앞선 대화, 이전 회차의 심사평, 저자의 대응 기록을 넘기지 않는다.
심사자는 다섯이다. 모델은 프로젝트 설정을 따르고, 설정이 없으면 아래 기본을 쓴다.
| 심사자 | 기본 모델 | 관점 | 주로 보는 축 |
|---|---|---|---|
| R1 분야 전문가 | Opus | 가장 가까운 선행 연구를 아는 심사자 | A1, A2, A5 |
| R2 방법 전문가 | Opus | 실험 설계, 통계, 증명, 재현을 보는 심사자 | A2, A3, A6 |
| R3 투고처 편집자 | Fable | 투고처 독자와 범위, 분량, 양식을 보고, A4 세부 진단을 가장 깊게 쓰는 심사자 | A4, A7, A1 |
| R4 회의적 심사자 | Sonnet | 주장이 근거보다 넓은 곳, 대안 설명, 빠진 비교와 선행 연구를 찾는 심사자 | A3, A5, A2 |
| R5 첫 독자 심사자 | Sonnet | 분야 밖 대학원생처럼 처음부터 끝까지 읽고 막힌 곳과 논리 흐름을 보는 심사자 | A4, A1, A7 |
- 다섯 모두 일곱 축을 다 매긴다. "주로 보는 축"은 지적을 깊게 쓰는 곳일 뿐이다.
- R3과 R5는 A4 세부 진단(
rubric.md2.1절)을 15항목 모두 깊게 쓴다. 표현, 가독성, 논리 구조의 힌트가 필요한 원고면 이 둘의 진단을 먼저 읽는다. R5는 막힌 곳(위치, 인용, 이유, 차단 또는 지연)도 함께 낸다. - 학회 판은 셋(R1, R2, R3)으로 줄여도 된다.
- 다른 계열 심사자(ChatGPT, Codex 등)는 선택이다. 쓰면 여섯째 심사자(R6)로 더하고 관점은 R1이나 R2와 같게 둔다. 프로젝트 설정에 이미 있으면(예: 마지막 바퀴는 다른 계열) 그대로 따른다. 쓰지 않았으면 "같은 계열만으로 심사함"을 종합에 한 줄 적는다.
2. 심사자에게 주는 것
- 원고(본문, 부록, 보충)와 판 정보. 학회 판은 익명본.
rubric.md1~2절(1.2절 세부 질문, 1.3절 판정 사슬 가운데 해당 유형, 2.1절 A4 세부 진단, 2.2절 요구 층위, 2.3절 주장의 크기와 공통 점검 포함)과 해당 투고처 판- 원고별 기준 문서가 있으면 그 중심 질문과 기준 표
- 주장 목록(있으면)
- 보고 양식(4절)
- 지시: "기준 문장에 맞춰 점수를 매기고, 점수마다 원고의 위치(절, 쪽, 그림, 표)를 근거로 든다. 위치를 들 수 없는 지적은 쓰지 않는다. 원고에 없는 사실을 지어내지 않는다. 고칠 문장을 쓰지 않는다."
3. 지적의 크기
| 크기 | 뜻 | 예 |
|---|---|---|
| 큰 지적 | 고치지 않으면 결론이 서지 않는다 | 주장을 증거가 받치지 못함, 증명이나 계산이 틀림, 해석이 틀림, 숨은 전제로 결론이 달라짐, 비교군이 없음, 가장 가까운 선행 연구와의 차이가 불분명함, 재현에 필요한 정보가 없음 |
| 작은 지적 | 결론은 서지만 심사에서 감점되는 결함 | 범위 한정 누락, 중요한 실험 조건 누락, 그림과 표가 주장을 직접 받치지 못함, 서론의 약속을 본문이 갚지 않음 |
| 표현 지적 | 읽기와 형식 | 문장, 배치, 용어 불일치, 오탈자, 양식 |
- 큰 지적에는 "치명"이나 "고칠 수 있음"을 붙인다. 치명 지적이 있는 축은 3점을 넘을 수 없고, 고칠 수 있는 큰 지적만 있으면 4점까지 줄 수 있다(
rubric.md2절). - 큰 지적과 작은 지적은 지적마다 "무엇을 고치면 풀리는가"를 한 줄로 적는다.
- 지적마다 요구 층위(타당성, 효용 주장, 강화;
rubric.md2.2절)를 붙인다. 강화 층위는 원고가 그것을 주장할 때만 큰 지적이다. - 큰 지적의 정의는 paper-quality-loop 1절과 같다. 한쪽을 고치면 다른 쪽도 고친다.
4. 보고 양식 (심사자마다)
심사자: R1 | 원고 판: <해시> | 투고처 판: <이름> | 기준표 판: <n> | 확신도(1~5): n
판정 사슬 (rubric 1.3절, 유형: <유형>)
| 고리 | 판정(섬, 약함, 끊김) | 근거(위치와 한 줄) |
| 축 | 점수 | 근거(원고 위치와 한 줄) |
| A1 기여 | n | ... |
| ... A7 | n | ... |
지적
| 번호 | 크기(큰-치명, 큰-고칠 수 있음, 작은, 표현) | 층위(타당성, 효용, 강화) | 축 | 위치 | 지적 | 풀리는 조건 |
A4 세부 진단 (rubric 2.1절)
| 항목 | 판정(맞음, 가벼움, 고칠 곳, 해당 없음) | 잰 값(G2, E2, E3) | 위치 | 힌트 또는 본보기 |
권고: <투고처 판의 결정 이름>
요약: 세 문장 이하
5. 종합 (총괄)
- 판정 사슬을 고리마다 모으고, 어느 고리에서 끊기는지를 종합 맨 위에 적는다.
- 축마다 점수의 중앙값과 범위(최대 빼기 최소)를 낸다.
- 범위가 2 이상인 축은 "갈림"으로 표시하고, 두 심사자의 근거를 나란히 적는다. 총괄이 점수를 고쳐 주지 않는다.
- 큰 지적을 모두 모아 같은 것끼리 묶는다. 둘 이상의 심사자가 낸 큰 지적은 "합의된 큰 지적"이다. 묶은 지적의 치명 여부는 심사자 다수를 따르고, 갈리면 고칠 수 있음으로 두고 갈렸다고 적는다. 하나만 낸 큰 지적도 버리지 않고, 총괄이 원고와 원자료를 대조해 맞는지 적는다. 3a. A4 세부 진단을 항목마다 모은다. 순서는 셋 이상이 "고칠 곳"으로 본 항목, 둘이 "고칠 곳"으로 본 항목, 그 밖에 "가벼움"이 셋 이상인 항목이다. 같은 순위 안에서는 견본 표시가 "가름"인 항목을 앞에, "늘"인 항목을 뒤에 둔다. 힌트와 본보기를 함께 적는다. 이 표가 표현, 가독성, 논리 구조를 고칠 때의 할 일 목록이 된다(paper-readability 4절 2번으로 넘긴다).
- 권고는 투고처 판의 결정 규칙을 축 중앙값과 합의된 큰 지적에 그대로 적용해 낸다. 심사자 권고의 다수결과 다르면 둘 다 적는다. 견본 기준선(
rubric.md5절)이 있으면 원고의 축 중앙값을 기준선과 나란히 적는다. - 결과를
<심사 폴더>/종합.md에 쓴다. 심사자 보고는 같은 폴더에R1.md~R5.md(다른 계열을 더하면R6.md)로 둔다.
6. 기준표의 일치도 관리
- 같은 회차에서 어떤 축이 "갈림"이면 그 축의 기준 문장이 모호할 수 있다. 서로 다른 원고나 회차에서 같은 축이 두 번 갈리면
rubric.md의 기준 문장을 고칠 후보로 적는다. - 기준표를 고치면 판 번호를 올린다. 점수는 같은 판의 기준표끼리만 비교한다.
- 처음 쓸 때는 같은 원고를 새 심사자 둘에게 따로 매기게 해 축마다 일치를 본다(1점 이내 일치율이나 가중 kappa). 일치가 낮은 축은 기준 문장부터 고친다.
- 실제 심사평을 받으면(rebuttal) 모의 심사의 축 점수와 지적을 실제 심사와 나란히 적어 둔다. 결정 규칙이 실제 결정과 얼마나 맞는지는 이 기록으로만 알 수 있다.
7. 다른 기준과의 연결
- A4(명료성과 구성)는 paper-readability의 잣대와 english-academic-style 7절(출판 논문 견본의 범위)을 참고한다. 프로젝트에 문장 지표 측정 스크립트가 있으면 숫자를 근거에 붙인다.
- A3(주장과 증거)는 fact-check와 겹친다. 숫자의 맞고 틀림은 fact-check가 판정하고, 이 스킬은 주장의 크기가 근거에 맞는지를 본다. paper-framing 1절과 3절의 의도적 규칙(초록과 결론의 주장을 근거보다 넓게 쓰지 않는다)이 A3의 기준이다.
8. 하지 않을 것
- 원고를 고치지 않는다. 고치는 일은 paper-quality-loop의 실행 단계다.
- 점수로 투고 여부를 대신 정하지 않는다. 결정은 사용자가 한다.
- 모의 심사평을 실제 심사평처럼 꾸며 외부에 내지 않는다.
- 이전 회차 심사평을 심사자에게 넘기지 않는다(같은 지적의 되풀이와 점수 고착을 막는다).
- 개별 논문 심사에 여러 논문을 묶은 연구 전체를 보는 요구(논문 사이의 통합 정리, 여러 연구를 잇는 종단 간 실험, 논문 사이의 검증 수준 맞추기, 하나의 이론으로 재구성)를 넣지 않는다. 한 논문 안에서 정의, 정리, 구현, 평가를 잇는 일은 늘 요구한다.
9. 보고
틀은 research-session 8절의 마침 보고다. 결과 줄에 아래를 넣는다.
원고 : <판> | 투고처 판: <이름> | 기준표 판: <n>
점수 : A1 n | A2 n | A3 n | A4 n | A5 n | A6 n | A7 n (중앙값, 갈림 표시)
사슬 : <고리1 판정> → <고리2 판정> → <고리3 판정>
지적 : 큰 n(합의 n, 치명 n, 층위별 타당성 n / 효용 n / 강화 n) | 작은 n | 표현 n
A4 진단: 고칠 곳 n(셋 이상 합의 n, 둘 합의 n) | 가벼움 n. 앞의 세 항목과 힌트
기준선 : 견본 축 중앙값과의 차. 없으면 "기준선 없음"
권고 : <규칙 적용 결과> (심사자 권고: <R1>, <R2>, <R3>, <R4>, <R5>)
다음 : <큰 지적 풀기 / 문체 / 투고 준비>
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| add-product-e2e-evalpaperclipai/paperclipAdd or extend a Paperclip full-stack runner E2E workflow, fixture, matcher, or report evidence path for local or Daytona execution. | Stars: 115k | Updated | Claude CodeCodex | Verified | Install |
| add-runner-evalpaperclipai/paperclipAdd or extend a Paperclip Runner protocol evaluation definition, roster, assertion, or report fixture with provenance and narrow validation. | Stars: 115k | Updated | Claude CodeCodex | Verified | Install |
| diagnose-why-work-stoppedpaperclipai/paperclipCompatibility entry point for failed, stalled, looping, or over-recovered Paperclip work. Use fix-failed-paperclip-run for the full diagnosis, regression, repair, real verification, and green-PR workflow; honor an explicitly requested diagnosis-only scope. | Stars: 115k | Updated | Claude CodeCodex | Verified | Install |
| fix-failed-paperclip-runpaperclipai/paperclipDiagnose and fix failed, stuck, slow, or incorrectly blocked Paperclip tasks and runs. Use with a task/run URL or failure report to trace the root cause, prove a regression red then green, check second-order effects, verify the real workflow, and deliver a PR with passing checks. | Stars: 115k | Updated | Claude CodeCodex | Verified | Install |