B-08 · Replace the benchmark harness injector with the actual src/core/inject.ts

[MongLong0214]

Background

assembleContext in bench/context.ts is a harness reimplementation. Because bench/tsconfig.json has rootDir: ".", bench/ cannot import src/, so the benchmark does not measure the shipped injector (src/core/inject.ts, T-402).

The file header states this explicitly:

v0.1 placeholder for the real injector (T-402) … T-703 replaces the body of this function with a call into the shipped injector.

Why this was not done in v0.1

When T-703 started, the CTO decided to keep it:

1. The purpose of the rerun was the primary hypothesis test. Changing the intervention definition then would misalign the power analysis from the pilot and the comparison baseline
2. buildInjection rejects --path . (ADR-0006 excludes repository-wide dumps). The no-scope ablation needs exactly that, so replacing it would create an ablation-only exception path and mix that exception into the treatment-arm definition
3. The difference between the harness reimplementation and the actual injector was not itself the measurement target

Remaining risk

The benchmark numbers measure whether injection by the harness reimplementation reduces re-proposals, not whether CommitLore's injection does. If the two implementations diverge, the benchmark no longer represents the shipped product.

What this ticket must do

• Make it possible for bench/ to reference src/ (or dist/) — adjust rootDir, use a separate tsconfig, or reference build artifacts
• Decide how to produce the repository-wide projection required by the no-scope ablation (the injector already has an ablation flag, so using that path is natural)
• Measure and record how much the injection text differs on the same tasks and the same seed before and after replacement. That difference is the error bound on the v0.1 benchmark numbers
• Rerun the primary-hypothesis matrix after replacement

Evidence

• grep -rn "from '../src|/dist/" bench/ → 0 results
• bench/tsconfig.json: rootDir: "."
• Every task has kind: synthetic — repository files are not copied into the workspace

[MongLong0214]

보강 — 이 결함은 예상보다 넓다 (T-703 실측, 2026-07-26)

원 이슈는 "벤치가 하니스 재구현본을 측정한다"였다. T-703이 dry-run으로 injected_context를 직접 비교해 더 구체적인 사실을 확인했다:

1. commitlore-on 이 ADR-0006이 배제한 방식으로 동작한다

assembleContext의 두 분기가 모두 readRecords(dir) = 저장소 전 기록에서 시작한다. injection_scope는 경로 필터가 아니라 렌더링 형식만 고른다. 실측(reproposal-redis-cache):

조건	크기	내용
commitlore-on	733B	같은 기록을 Ruled-out/Limit/Warn 키별로 그룹
no-scope	789B	같은 기록을 커밋별 원시 트레일러 덤프

기록 수는 하나도 다르지 않다. 즉 벤치의 처치군은 경로 스코프되지 않은 전 저장소 주입이고, 이는 ADR-0006이 명시적으로 배제한 것이다.

2. 결과적으로 no-scope 어블레이션은 측정 불가다

commitlore-on이 이미 무스코프이므로 대비가 0이다. 시드를 고쳐도 해결되지 않는다 — 하니스의 처치 정의를 바꿔야 한다.

그리고 실제 buildInjection으로 교체하는 것만으로도 부족하다: 그 함수는 path가 필수이고 저장소 루트를 설계상 거부한다(ADR-0006). 벤치는 과제 시작 전 1회 주입이라 손에 경로가 없다. 과제별 경로 선정 정책이 필요하고, 그건 배선이 아니라 ADR 결정이다.

3. 이번 사이클에서 하지 않은 이유

처치 정의를 바꾸면 방금 동결한 주 가설 매트릭스(d653153)와 비교가 깨진다. no-scope 팔은 구현은 유지하되 실행하지 않고, T-704 리포트에 "현재 하니스로는 측정 불가"로 근거와 함께 서술한다.

이 티켓이 추가로 해야 할 것

• 경로 선정 정책 결정 (ADR) — 벤치가 과제 시작 전 1회 주입할 때 어떤 경로를 쓸 것인가. 과제 YAML이 선언? 프롬프트가 가리키는 파일? 첫 편집 대상?
• 그 정책 위에서 commitlore-on을 실제로 경로 스코프
• 교체 전후 같은 과제·같은 seed에서 주입 텍스트 차이 측정 — 그 차이가 v0.1 벤치 수치의 오차 범위다
• no-scope 어블레이션 재개

증거

no-grade      9/10 과제에서 commitlore-on과 바이트 동일
no-lifecycle  9/10 과제에서 commitlore-on과 바이트 동일
no-scope      10/10 다르지만 기록 수 동일 — 서식만 변경

[MongLong0214]

해결. 벤치가 이제 제품의 실제 주입 경로로 전달한다 (r-3d61a8).

이건 함수 교체가 아니었다

bench/context.ts는 세션 시작에 텍스트 한 덩어리를 만든다. 제품은 그러지 않는다 — src/core/inject.ts는 편집마다 발화하고 경로에 스코프되며 스코프 없는 경로를 거부하는 PreToolUse 훅이다. 전달 형태 자체가 다르고, 그래서 실제 주입기를 부르려 하면 path를 요구하는데 하니스엔 줄 게 없었다.

그게 no-scope 팔이 무력했던 진짜 이유이기도 하다. 기준선이 이미 무스코프라 제거할 게 없었다.

방법

--settings가 --setting-sources ""와 공존한다. 오퍼레이터 설정은 버리고 하니스가 통제하는 파일 하나만 되돌린다. 팔별 설정 파일을 쓰게 했고, 각 팔이 실제로 다른 페이로드를 낸다:

commitlore-on    3058자   "active records for src/core/guard.ts"
commitlore-off   훅 없음   대조군은 진짜로 비어 있다
no-grade         3099자
no-lifecycle     3080자   "records for" — active 가 사라짐
no-scope         3199자   "for the whole repository"

지킨 경계

어블레이션 팔은 CLI를 거치지 않는다. commands/inject.ts가 InjectOptions를 파싱된 플래그에서 필드별로 조립하는 건 커맨드라인·훅 페이로드·설정 파일에서 어블레이션에 도달하는 경로를 없애기 위해서다 — noGrade는 grading이 withhold 하는 프롬프트 주입 페이로드를 통과시키므로, 배송 바이너리에 그 플래그가 있으면 취약점이다. 어블레이션 팔만 bench 전용 얇은 심이 buildInjection을 직접 부른다.

이 변경으로 나온 측정

M2 (§13 사전등록, 80런): 제품 경로로 on 4/40, off 8/39, p = 0.2247.
M1-b (세션시작 일괄, 60런): on 0/30, off 5/30, p = 0.0522.

제품의 전달 경로가 더 나쁘게 나왔다. ADR-0006이 세션시작 덤프 대신 push-injection을 고른 근거가 "무스코프 컨텍스트는 잡음"이었는데 측정은 반대였다. 상세: bench/VERDICT-M2.md.