방법론

har_eval의 7단계와 가드레일. 결정은 이 절차를 따르며, 벗어나면 기록한다.

7단계

1. Frame

질문을 한 줄로 진술한다. 제안하는 변경은 무엇이고, “현재로 충분”은 어떤 모습인가? 잘못된 yes 의 비용(태운 빌드 시간)을 명시한다.

2. Inventory (실측 — 가정 금지)

실제로 무엇이 있는지 지도화한다: active / dead / idle. 문서나 기억을 믿지 말고 확인한다. 출력은 각 구성요소의 실제 상태가 표시된 현재-상태 지도다.

3. Design

제안 변경을 브레인스토밍한다: 의도, 옵션 2~3개, 결정. 실제 필요에 범위를 맞추고 투기적 확장을 거부한다.

4. Adversarial audit (적대 감사)

• 자기감사: 도메인 공리를 전제로 두고(예: “모델은 X처럼 행동한다”) 여러 렌즈로 설계를 공격한다 — 문자적 강제의 해악, 범위·고도 오발, 내부 모순, 중복, 과소명세, 과교정. 증거 게이트를 적용한다.
• 교차모델 검증 (필수): 설계 + 자기감사를 다른 벤더 모델(Codex) 에 같은 증거 게이트로 넘긴다. 그 상(賞)은 내 단일모델 감사가 놓친 것. 단일모델 감사에는 구조적 맹점이 있다.
• 살아남은 발견을 반증가능 게이트를 가진 de-risked plan으로 접는다.

5. Buy-before-build

축별 best-in-class 기성 도구를 식별하고, 아무것도 만들기 전에 현재 스택에 붙여 테스트한다. best-in-class조차 현재를 못 이기면, 손으로 만든 도구도 못 이긴다. 가장 정직한 결과는 대개 “채택” 또는 “현재로 충분” — 빌드가 아니다.

6. Measure

• 골든셋: ground-truth를 가진 실 태스크, 편향 제거(verbatim 실 프롬프트 + 실제 결과).
• Arm: Control = 현재 스택, Treatment = 후보. arm 간 모델을 고정한다(싼 모델도 가능 — 상대 델타는 전이된다, 절대 비용용 비싼-모델 앵커 1개 유지).
• 태스크별 토큰·툴콜·지연·정답률을 기록하고, 사전 등록한 루브릭으로 ground-truth 대비 채점한다.

7. Decide (싼것부터) + Cleanup

결정 트리: Control 승 → “현재 충분, 아무것도 안 만듦”. 후보 승 + 예산 충족 → 채택, 여전히 빌드 없음. 기성도 못 메우는 진짜 갭 → 빌드. 그 다음 청소: 평가가 만든 모든 고아(설치물·인덱스·죽은 참조)를 제거한다. 쌓아두지 않는다.

가드레일 (하드 룰 H1–H10)

각 규칙은 seed 런이 그 규칙을 어겼기 때문에 존재한다.