GEODE / Research

Jev: System 1 offloading

연구 보고서

PDF 다운로드

장면 목록

GEODE research film

Jev, Vibe Check🎧Decision Offloading

판정을 분리하면,
에이전트는 무엇을 얻을까?

Official TypeSafe mark
Jevby TypeSafe AI
Geodi, GEODE's dot-art mascot
GEODESelf-evolve agent harness
System 1 ThinkingJev빠른 근거 판정System 2 ThinkingAstra계획·실행·수정 GEODECognitive loop예산 내 재검토 요청 미통과 새 관측완료 후보
System 1 / System 2 · 기능적 역할 구분 · GEODE 실험의 재검토 경로
CONTENTS

판정 위임의 설계와 검증

판정을 위임하면 에이전트는 무엇을 얻을까 · 한국어 13:29, 영어 13:32What does an agent gain by offloading its verdicts? · Korean 13:29, English 13:32

  1. 01질문과 시스템Jev 공개 표면 · 연구 질문 · GEODE와 판정 교체0:1313:43
  2. 02구현과 파일럿개발 스캐폴드 · 파일럿 관측 · 공개 표면과 연구 근거1:2514:54
  3. 03설계와 방법비교와 완료 기준 · 자료와 생성 규칙 · 절차와 트랙 · 정책 동결과 분석 · 지표 읽기 가이드3:3417:02
  4. 04작업별 품질완료 판정 · Choice · Joint 판정 · Noul · 의도와 대상 · 후보 선택 · Score · 외부 궤적 판정 · 외부 후보 선택7:0120:30
  5. 05시간과 비용본 실험 · verifier 지연 · 호출과 회계 범위8:1321:38
  6. 06신호와 정책반복 일관성 · 오류 구분과 보정 · 동결한 조건부 위임8:3221:59
  7. 07실제 실행반복 실행 · 결함 주입 · 수리와 전달9:1722:44
  8. 08적용과 재현운영 조건 · 공개 기록 · 독자의 검토 경로 · 원문과 제작 근거12:2425:57
  9. 09결론관측과 적용 판단13:1526:48
질문 · 구현과 파일럿 · 방법 · 관측 · 정책 · 실행 · 적용
01 / JEV · DECISIONS FOR SOFTWARE

판단을 코드로 연결하는
세 가지 프리미티브

Official TypeSafe mark

Jev · 코드가 읽는 판단과 확률

상태·질문에 대한 타입별 응답과 확률. 후속 동작은 호출 코드의 책임.

질문 타입Choice · 선택지 분류Noul · 예 / 아니요Score · 서열 기준 평가형식이 정해진 답choice + probabilitiesconfidencelabel: P(·)…pP(yes) ∈ [0, 1]score = Σ i × P(i)legend · probabilities · confidence코드의 다음 동작다음 분기 선택?조건 검사기준별 후보 정렬
[S1] Primitives · [S2] System One · [S8] confidence: 분포 집중도

공개된 호출 계약과 미확인 내부 구조

명세로 확인한 호출 경계 POST /v1/systemone model 호출할 모델 state 요청 · 후보 · 도구 관측 questions 질문 이름 · 문장 · 응답 타입 반환되는 값 질문별 타입에 맞는 답과 확률 독립 질문은 한 state로 묶어 호출 앞선 답에 의존하는 질문은 다음 호출로 분리 이 명세만으로 알 수 없는 것 공급사 설명 New architecture · parallel sampler RLCD 출시 글·개발자 설명, 공개 구현 검증과는 별도 검토한 공개 자료에서 확인 못함 Backbone · attention mask · loss · weights 특정 LLM에서 인코더 혹은 디코더를 가져왔을 가능성은 미확인. API 형식만으로 구조를 추론 불가. 호출 코드의 몫: 수용 기준 · 다음 행동 · retry / repair budget 이번 연구의 검증 대상은 반환된 판단과 GEODE의 후속 동작. Jev 내부 구조의 재현은 아님.
[S11, S3, Z9–Z12, Z15] 공식 API·SDK·출시 글·개발자 인터뷰 · 필드 개념도, 실측 응답 아님

빠른 판단은 언제 맡길 수 있는가

최종 native 근거 · 편집 해석실행 원본 보존 · 교정 분석은 별도 표기
판단 종류와 완료 계약에 따른 위임 범위고정 의도 분류같은 intent와 target을 정확히 고르는가?패널의 항목 정확도와 실제 과제 완료율의 구분Noul joint · 후보 선택두 조건과 후보 순위에서도 품질을 유지하는가?Primitive별로 고정된 비교 단위확률 · 조건부 위임불확실한 판단을 더 강한 verifier로 넘길 수 있는가?정책 동결 후 패널 평가와 실제 실행을 분리검증 대상: 같은 입력의 품질 · 오류를 구별하는 신호 · 최종 산출물 반환
근거: 고정 spec · native 분석 · 감사 기록 · 실험과 공개 상태는 별도
02 / SYSTEM MAP · ZOOM 00

누가 만들고, 무엇을 검증할까?

사람의 질문에서 검증 가능한 결과까지제작 호스트 ≠ 비교 대상 모델사용자질문 · 범위실행·공개 승인Codex / Claude Code작업 분할 · 구현 · 검토메타 하네스 / 소유 worktree코드·실험 계약CI가 통과한 SHA입력·정책 동결판정 패널 · 후보 선택동일 입력 → LLM | Jev · Harbor 미사용Harbor → GEODE격리된 task · LLM | Jev 실행군별도 task verifier가 최종 결과 채점실행 증거attempt · trajectory · 비용 · verifier분석 · Replay · 공개 검토원본 보존 → 정규화 → 사람의 해석동결병합과 실험 진입은 별도
[Z1–Z4] 전체 시스템 지도 · 실선: 호출·산출물 전달 · 실행 상태와는 별개
02 / GEODE · RUNTIME OVERVIEW

GEODE의 실행 지도, 라운드와 완료 검증의 경계

요청 · 세션 · 실행 범위 · 남은 예산입력 준비 후, 한 physical turn 안에서 라운드 반복AgenticLoopwhile tool_use실험 root · Astra xhigh라운드 준비가드 · 조건부 compact모델 호출snapshot · adapter응답 분기tool_use / 완료 후보도구 실행과 복구 지점pending → 실행 → completed 기록Reflection인지 상태 갱신이력 갱신결과를 이력에 · round + 1라운드에 공급되는 문맥GEODE.md + memorysystem_prompt.py에서 조합선택한 스킬 본문카탈로그 발견 후 use_skill도구 레지스트리bash · MCP · delegate_task하위 에이전트 실행도 도구 경로도구 결과가 다음 모델 입력에 반영Reflection 힌트와 같은 경로가 아님완료 후보의 별도 검증PreVerify · semantic judgePostVerify · Stop수용기록 후 전달수정예산 안에서 새 turn보류후보 보관 · 대기수정은 원 밖에서 다시 진입원 요청·root 시간 예산 유지새 turn_id · round 0verify_attempt + 1최종 후보Public hooks결정Middleware신뢰된 변환·실행 wrapperRuntime events관측
[K5, Z13] main 3cf17875 · 소스·호출부 대조 · 선택 가능한 구성요소, 전부 활성화됐다는 뜻은 아님
02 / GEODE × JEV · BOUNDED DECISION POINTS

Jev가 들어갈 자리, 판단과 실행의 분리

메인 실행 루프는 그대로현재 core의 Jev 경로는 명시적 선택 시에만AgenticLoopAstra · xhigh실험 root후보도구 완료 기록 후 ReflectionChoice · 완료 판정입력원 요청 · 완료 후보 · 보존된 관측GEODE 변환passed · should_retry · feedback소비finalizer · 전달 / 수정 / 보류실행 권한·수정 예산은 GEODE 소유Choice · 관측 근거 분류입력관측 + 유계 인지 상태변경코드가 정한 다음 확인사항을 subgoals에 추가소비다음 Reflection · 상태 기록hypotheses·confidence 생성이나 root 프롬프트 주입이 아님평가 전용 · opt-inChoice 의도·대상 분류analyze_request가 root 문맥으로 반환 · 행동 실행이나 승인 아님설계 당시 비교 · main 구현 경로와 구분Score동결된 같은 4개 후보의 선택 품질현재 candidate_sampling의 선택기는 LLMNoul모순 관측과 필수 근거 누락을 따로 판정두 조건의 joint 판정과 이후 복구를 함께 측정Cascade불확실한 Jev 판정만 Astra 검토로판정 경계·호출 비용·거짓 수락을 함께 비교전역 LLM 유지 · 지정한 판단 지점만 교체
[K5, Z4, Z9–Z13] 구현 당시 스냅샷: main 3cf17875 · 본 실험 조건은 트랙별 고정 계약 참조
02 / SYSTEM MAP · ZOOM 02

하나의 계약, 두 호스트의 작업 문맥

HOST · 시스템 지침 / 도구 / 권한·샌드박스AGENTS.md범위·소유권·검증·GitFlow작업별 owner와 상세 문서로 안내프로젝트 공통 기여 계약CodexAGENTS.md를 프로젝트 문맥으로CLAUDE.md@AGENTS.md · 같은 계약 참조Claude Code이 저장소는 import 경로 사용작업 위임 · delegate역할 · 수정 범위 · 입력 경로완료 조건 · 검증 방법 · 반환 형식고정 입력 → 작업 → 패치·findingsspawn → 별도 문맥에서 수행SKILL.md → 필요한 references/.agents/skills/ ← .claude/skills/ 별칭역할마다 별도 agent MD를 두지는 않음현재 역할 계약: 위임 메시지 + 01–06 MD읽기
[Z5–Z8, W4] 실제 파일 연결 기준 · AGENTS.md ≠ GEODE의 런타임 system prompt
02 / CONTRIBUTOR SCAFFOLD · PROGRESSIVE DISCLOSURE실제 파일·선택 경로

AGENTS.md, 필요한 지침을 찾아가는 지도

공통 계약에서 필요한 근거까지AGENTS.md범위 · 소유권 · 완료 조건 · 검증 책임Codex 직접 읽기 · CLAUDE.md → @AGENTS.mddocs/workflow.md → 작업별 owner요청을 코드·문서의 실제 담당 경로에 연결.agents/skills/ → SKILL.md.claude/skills/는 같은 파일을 가리키는 별칭필요한 references/ → 코드·호출부·테스트선택한 스킬은 전체를 읽고, 근거로 내려가기이번 작업에서 선택한 경로설계·측정geode-eval · stanford-test-time-compute05 사전등록 + 06 신뢰도 렌즈 → 동결·admission구현·통합geode-workflow · geode-gitflow역할별 작업 계약 → 패치 → 담당자 검증·통합영상·검수technical-deck-report · viz-frame-auditDESIGN.md + fluent-korean → KO/EN 렌더·검수위임 계약역할·입력·수정 범위·완료 조건 → spawn → 패치·findings 반환수정 이터레이션담당자 재현·검사 → 결함 반환 → 수정·재검사GEODE.md + .geode/skills/는 런타임 문맥 · 권한·샌드박스는 호스트가 집행
[Z5–Z8, Z13, W5] AGENTS.md @3cf17875 · 연구·실행 MD 01–06 · 역할별 선택, 자동 실행 아님
02 / META HARNESS · WORKSPACE AND INTEGRATION

워크트리의 수명, 격리에서 병합·회수까지

검사 실패·오래된 근거 → topic 수정 후 새 head 검증할당 / 재사용소유·dirty·활성 작업 확인fetch한 develop에서 할당맞는 소유 공간은 재사용소유한 topic worktree.owner · codex/…편집 · 로컬 검사 · 문서main/develop 이력 반영Feature PR · merge guardhead/base 고정 · main 이력 포함필수 CI · workflow 출처 · 서버 보호재조회 → head 지정 병합 요청SHA·부모 [base, head] 재확인develop통합된 headmerged 기록근거 보존병합 증거 확인 후, 회수와 main 승격은 별도 조건으로회수 · 운영자 확인 + 기계적 검사운영자: 소유·미사용 확인 / 도구: clean·최종 PR head 확인merge tree 재현 · 로컬 추가 커밋·원격 변경 없음checkout 밖에서: 원격 topic → worktree → 로컬 topic → pruneDevelop → main PR별도 승인 · 같은 head/CI/병합 가드merge commit → SHA·부모 재확인main 병합 ≠ release/tag 승인병합 결과 불확실 → 원격 상태 확인까지 재시도·회수 보류

실험 진입검증한 SHA·입력·정책을 동결하고 admission을 통과하면 실행 가능. main 승격은 별도 승인 경로.

[W5] 코드 3cf17875 · merge_pr.py / check_repo_hygiene.py · 소스·테스트 대조, 새 병합 실행 없음
03 / SIX MATCHED OBSERVATIONSGEODE 실측

판정은 빨랐는데,
한 작업은 왜 더 걸렸을까?

○ LLM■ Jev선 하나 = 같은 과제·반복의 한 쌍
최종 판정 호출 · 초04812GEODE 실행 시간 · 초 (준비·검증 제외)0204060explicit · r0explicit r0: LLM 7.661252 s, Jev 0.419241 sexplicit r0: LLM 50.150798 s, Jev 37.844901 sexplicit · r1explicit r1: LLM 6.892393 s, Jev 0.456622 sexplicit r1: LLM 48.534204 s, Jev 42.986930 scontext · r0 *context r0: LLM 6.506523 s, Jev 0.432417 scontext r0: LLM 50.459162 s, Jev 51.194370 scontext · r1context r1: LLM 6.804556 s, Jev 0.385600 scontext r1: LLM 57.655331 s, Jev 51.560633 skorean · r0korean r0: LLM 7.577692 s, Jev 0.444539 skorean r0: LLM 50.246164 s, Jev 44.968565 skorean · r1korean r1: LLM 10.336661 s, Jev 0.376339 skorean r1: LLM 49.198699 s, Jev 47.909582 s
판정 중앙값: 7.235초 → 0.426초runtime 중앙값: 50.198초 → 46.439초 · 양쪽 6/6 통과
context · r0 · 막대: 호출 시간 · 우측: runtime(잔여 포함, 초)LLM 군메인 8.02Reflection 18.26메인 17.27판정 6.5150.46초Jev 군메인 7.89Reflection 15.97메인 18.60Reflection 7.88판정 0.4351.19초판정 전에 한 번 더 · +7.88판정 −6.07 · 추가 Reflection +7.88 · 첫 Reflection −2.29 · 메인 +1.21 · 잔여 +0.01 → 전체 +0.74초

판정 직전의 추가 Cognitive Reflection: +7.88초. 해당 판정 호출의 절감 6.07초를 초과.

주기 규칙: Astra Cognitive confidence ≥ 0.8이면 간격 2배. 기록값은 LLM 0.8, Jev의 추가 Reflection 직후 0.65. 첫 Reflection의 confidence는 미기록이므로 추가 호출의 원인은 미확정.

[M4] r2 natural · 자체 inbox 3개 × 2반복 · 6쌍 비교 · context/r0 분해 · 독립 과제 검증
03 / END-TO-END TIME LEDGER · SIX MATCHED PAIRSGEODE 실측 · M4

판정 6회 합계는 18.2배 차이, 전체 시간은?

여섯 쌍 합계 · Jev − LLM · 초 · M4 r2 natural (inbox 3개 × 2반복)← Jev 쪽이 짧음Jev 쪽이 김 →−40−30−20−10+100판정−43.2646회 합계 45.779 → 2.515초메인 에이전트+14.096GEODE Root · 계획·도구 호출메인 실행 증가 14.1초 중 korean/r1에서 10.5초Cognitive−0.757Reflection · 가설·상태 갱신호출 9 → 12회, 누적 시간은 거의 같음잔여+0.146기록된 호출 밖의 시간 · 구간에 귀속하지 않음전체 runtime−29.779306.244 → 276.465초 · 9.72% 단축나머지가 같다면 판정이 0초여도 단축 상한 14.95%판정 1회 · explicit/r07.661 → 0.419초×18.3Astra API 환산 $0.0398 · Jev 단가 $0.00011판정 6회 합계45.779 → 2.515초×18.2$0.2448 · $0.00065 · 기준군 시간의 14.95%작업 전체 · 여섯 쌍306.244 → 276.465초×1.11Astra 환산 $1.077 → $0.900 · Jev 별도 · 실청구 미확인나머지 구간이 같다는 가정: 판정이 0초일 때의 단축 상한 14.95% · 배수 = LLM ÷ Jev판정 −43.264초 + 나머지 구간 +13.485초 = 전체 −29.779초 (−9.72%)호출 순서: 12개 실행 모두 메인 에이전트 종료 후 판정. 판정 이후 재요청 0건.증가분의 관측 위치: Jev 호출 전 Astra 실행 구간. korean/r1에서 +10.5초 · 입력 3,011토큰이 같은 첫 호출도 9.6 → 14.3초 · 두 호출 출력 합 512 → 723토큰
[M4] r2 natural · 자체 inbox 3개 × 2반복 · 여섯 쌍 합계 · 시간·토큰은 실측 · Astra 환산은 API 단가 기준, 실청구 미확인
04 / M5 · FIXED-STATE DIAGNOSTIC

같은 답에
다른 관측을 주면?

고정된 요청과 완료 후보 “A-104는 발송됐습니다”. 비교 변수는 도구 관측 3종.

입력한 관측LLM | Jev · 실제 판정코드가 만든 예상 분기
status: shipped같은 완료 후보를 뒷받침supported | supportedJev confidence 1.00통과 → 수정 없음
status: cancelled같은 완료 후보와 모순contradicted | contradictedJev confidence 1.00미통과 → 수정 요청
observations: []후보를 검증할 근거가 없음insufficient_evidence
| insufficient_evidenceJev confidence 0.95		미통과 → 수정 요청

진단 범위두 엔진 모두 기대 라벨 3/3 일치. 수정 분기는 코드 투영값이며, 이 진단의 후속 에이전트 호출은 0회.

[M5] 동일 입력 · 1개 과제의 관측 3변형 · 실제 메인 에이전트 후속 호출 0
04 / CONTROLLED RECOVERY · ACTUAL RETURNS

근거 부족에 돌아온 ‘모순’ 판정

동일 입력 · A-104 후보: shipped · 조회 관측: 0건

LLM Astra / xhigh

요청 계약 · Astra에 요구한 필드: verdict 1개

실제 반환

{"verdict":"insufficient_evidence"}

응답 지연 6.607초 · 입력 929 / 출력 106토큰

…step-2-025475da

Jev Jev 1.13

요청 계약 · Choice 프리미티브

실제 반환

{"verdict": {
  "type": "choice", "choice": "contradicted",
  "confidence": 0.58,
  "probabilities": {"supported": 0.0,
    "contradicted": 0.72,
    "insufficient_evidence": 0.28}
}}

응답 지연 8.506초 · 입력 933 / 출력 51토큰

…step-2-a1a1d069

실행 영향Jev는 insufficient_evidence 대신 contradicted를 선택. 두 라벨의 공통 처리 규칙에 따라 완료를 보류하고 수정 경로로 분기.

[M6, S8] r3 · premature/r0 · 동일 상태 · 사후 설명용 사례
04 / M6 · MISSING EVIDENCE → OBSERVED RECOVERY

첫 미통과부터 복구까지의 비용

조회 전: 답은 shipped로 맞았지만, 기록된 조회 근거는 0개 candidate shipped LLM근거 부족 Jev모순 세부 라벨 오분류 · confidence 0.58 GEODE 미통과 → 재검토 repair budget 범위 내 Astra가 주문을 조회 조회 결과를 다시 읽음 tool_observations 0 1 조회 근거: 0 → 1 재판정: supported oracle PASS 답: shipped → shipped · 새로 확보한 조회 결과가 같은 답을 뒷받침
첫 미통과 판정 이후의 복구 구간LLMJev
재계획 + 메인 에이전트 + Cognitive + 재판정1 + 2 + 2 + 11 + 2 + 2 + 1
최종 판정 완료까지 걸린 시간58.855 s50.321 s
기록된 입력 / 출력 토큰8,003 / 1,4058,030 / 1,363
Astra API 환산액 / Jev 요율 계산액$0.150280 / Jev 미사용$0.135560 / $0.000044058
[M6] premature · 각 군 1회 · 최초 판정 제외 · 기록된 호출 범위 · 동결 요율 기준·실청구 미확인
04 / JEV CONFIDENCE · 13 RECORDED VERDICTSGEODE 기록 · 사후 계산

confidence를 읽었다면, 무엇이 걸렸을까?

Jev 판정 13건의 confidence 순서. 실행에는 라벨만 사용, confidence는 관측 기록.

두 번째 신호가 필요한 구간M4 자연 과제과제 verifier · 6건M5 고정 상태기대 라벨 · 3건M6 첫 판정기대 라벨 · 2건M6 재판정oracle · 2건0.40.50.60.70.80.91.0Jev confidence · 응답의 confidence 필드korean r0 0.47korean r1 0.49context r1 0.77context r0 0.81explicit r0 0.88explicit r1 0.88snapshot 3 0.95snapshot 1 1.00snapshot 2 1.00premature 0.58contradiction 1.00premature 0.74contradiction 0.84korean r0·r1 · 0.47·0.49 · 둘 다 정답premature · contradicted 0.58기대: insufficient_evidence예시 경계 0.60 · 사후 계산경계 아래 3건일치 2 · 불일치 1경계 위 10건모두 일치독립 검사와 일치불일치

사후 진단사후 경계 0.60 미만: 오답 1건 + 정답 2건. 오답 1건 검출에 재검토 3건.
정책 채택 전 조건: 별도 과제에서 이 사후 경계의 효용 검증

[M4–M6] Jev 응답 원문 · admission 제외 · 일치 기준: M4 과제 verifier, M5·M6 기대 라벨, 재판정 oracle · 최상위 확률로 정렬해도 하위 3건 같음 · 경계는 설명용, 정책에 쓴 적 없음

주문 A-104 상태 조회 · Choice

주문 A-104 상태 조회 · Choice

01 / TRAINING OBJECTIVES · CALIBRATION공급사 목표 · 외부 측정

그 판정 확률을 얼마나 믿을 수 있을까?

RLHF응답 사이의 사람 선호목표: 선호받는 응답RLVR정답·테스트로 검증한 보상목표: 검증 기준 충족RLCD세부 학습 신호 미공개목표: 판정 확률의 보정RLCD의 공개 목표: 제시한 확률과 반복 평가에서 관측한 실제 정답 빈도의 일치.외부 측정 · 확률이 높을수록 실제로 맞았나 (JEV-as-a-Judge, CMU 2026-09-22)50%100%0%47.7%q < 0.6n = 6576.5%0.7 ≤ q < 0.8n = 8593.9%0.95 ≤ q < 0.99n = 14799.1%q = 1.0n = 322확률 구간실제 정답률선택 확률 q빈도와 대조외부 논문의 측정값. GEODE 패널의 보정·오류 구분: 별도 본 실험의 평가 대상.
[S3] TypeSafe AI primer · [V2] 인터뷰 24:59 · [R4, R6] · [J1] JEV-as-a-Judge §7 그림 5 · 990건 중 네 구간 · 외부 연구 · GEODE 결과와 별도
06 / 유관 연구 · 공개 CLM 학습 코드

상태·행동을 잇는 CLM의 대조학습

대응하는 입력고정된 기반 모델학습하는 부분대조학습 · InfoNCE stateactionQwen3-8Blast-token poolingstate headaction head +++ action →state ↓행·열에서 대응쌍의 확률을 높임개념도 · 실측 점수 아님 디코더 기반 모델 → 입력 벡터 · head 학습 → 상태·행동의 유사도

학습 범위공개 학습기의 정답은 기록된 상태·행동 대응쌍. 높은 유사도가 실제 과제 성공으로 이어지는지는 별도 평가.

[C1] finetune.py @7956937 · data adapter · 공개 downstream head 학습 · GEODE 미실행
06 / 유관 연구 · 저자 보고 · GEODE 미측정

반복 후보에서 다시 쓰는 행동 벡터

먼저 계산고정된 후보들Qwen → action head벡터 재사용aᵢ⋮aₙ… 판단마다 계산새 상태 + 질문Qwen → state head새 벡터s scaled cosinecos(s, aᵢ)⋮cos(s, aₙ)같은 s로 각 후보 비교 → softmax후보 확률분포P(aᵢ | pool)…주어진 후보 안에서재사용 조건: 동일한 후보 문장·전처리·기반 모델·head

비교 단위저자 지연 수치는 후보 캐시를 준비한 뒤의 판정 시간. GEODE 비교에는 첫 후보 준비·반복 판정·오분류 뒤 복구를 함께 포함.

저자 warm-cache 결과: 후보 1,024개에서 44 ms / 579 ms · 로컬 CLM / hosted Jev
상태 200토큰 · 후보당 15토큰 · RTX 4090 · 5회 · 첫 후보 준비 비용 제외

[C1] 공식 원문·실험 조건 · 구현 @7956937 · InfoNCE 정렬 학습 · 확률 보정은 별도 검증

판단 모델은 교체, 실행 주체는 유지

비교 설계 · 고정 입력 평가와 실제 실행을 구분무엇을 바꾸고 무엇을 고정했나?
고정 입력의 판단과, 그 판단을 소비한 실제 실행의 분리바꾸는 부분판단 모델A · GPT-6 AstraCodex 구독 · effort xhighB · Jev 1.13.0Direct API · 타입별 응답고정 입력 비교같은 상태·후보 풀·요청, 같은 과제별 평가 기준Source · spec · 입력 · 정책 · budget: 각 실행 전에 고정E2E의 실행 주체양측 모두 Astra xhigh / GEODE도구 사용·수리는 root의 역할. 중간 관측과 경로는 실행마다 달라질 수 있음.최종 성공의 근거별도 task verifier의 검사 + 실행 경로·관측 기록판단 모델의 승인 ≠ 최종 과제 성공 · 공급자별 prompt 바이트까지 같다는 뜻은 아님
근거: 트랙별 frozen spec · 공통 정보 계약, provider별 payload는 별도

도입자의 완료 기준과 verifier의 검사 계약

도입자 설계 안내 · 이번 진단의 기준어떤 관측을 완료의 증거로 인정할까?
업무의 완료 상태부터, 관측 가능한 검사까지도입자가 정할 것그 결정을 검증할 증거기준을 설계하는 방법완료된 산출물무엇이 반환·저장·변경되어야 하는가?실제 정상 사례에서 완료 조건 추출허용하지 않을 오류잘못된 대상·근거 없는 완료·무권한 변경오류 비용에 따른 보류·거부 조건성공 기준과 자원 한도verifier·시간·비용·재시도 기록경계 사례 검토 후 임계값 동결도입자를 위한 설계 안내. 이번 실험의 임계값은 업무 SLO나 보편적 안전 기준이 아님.이번 과제: 읽기 전용 inbox의 모든 항목을 최종 JSON으로 반환실제 고객 발송·주문 변경이 아닌, 고정 합성 과제의 sandbox 완료 조건상태 요청대상 주문 조회 → 관측을 읽고 답변ID 없음·여러 주문needs_clarification취소·환불unsupported · 변경 도구 없음최종 형식입력 ID마다 items 항목 한 개실행 중 verifier후보·근거의 verdict와 feedbackGEODE / Astra후속 동작: 전달·수리·보류별도 deterministic task verifier최종 JSON·정답·조회 소비 검사내부 승인만으로 task 성공은 아님Canonical유효 시행 + 사후 검사 통과 + 실행 중 최종 승인StrictCanonical + 지정 helper 경로·소비 + 오조회·불필요 조회·거짓 완료 0Helper 초기 정확도 ≠ 최종 완료. Root의 원 요청 재검토·helper 오류 교정 가능.두 순서 응답에서 한 풀의 정답 기여까지Jev의 보존된 두 순서 응답을 결합한 한 풀 · 채점 방법을 보여주는 실제 사례형식·수치 validator: 응답 유효성 검사. 정답 여부의 채점은 별도.후보 ID별 두 순서 평균0123A2.325B0.180C1.860D0.215평균이 가장 높은 후보Aargmax = A2.325모델 실행 전 정한 등급A: 3 B: 0 C: 2 D: 0선택 A의 grade = 3최고 grade와 일치1 / 1이 풀의 정답 기여정순·역순은 한 풀의 측정이며 독립 표본 2개가 아님. 동률은 동결한 hash 규칙으로 처리.같은 원천의 항목을 묶어 재표집. 정확도 차이의 불확실성을 95% 구간으로 표시.Score의 모델 형식 오류·fallback은 원분모 안의 0점. 인프라 무효·미실행은 성능 0과 구분.Pointwise 본비교의 한 사례. Listwise 참조군의 채점 단위: 두 순서 정답의 평균, 0 / 0.5 / 1.
근거: source7 I6 계약 · U4 보존 응답 사후 재채점 · 도입자 안내와 업무 SLO는 별도

자료별 측정 질문과 비교 단위

최종 native 근거 · 편집 해석이 숫자는 항목 수인가, 독립 과제 수인가?
서로 다른 분모, 분리된 성공률원천 / 저작가시성 / 분할분모 / 독립 단위Gold 소유저작 판정 패널45 source clustersSelection 18 · Test 27공개 입력 · 정답 분리160 / 240 states주 분석 Test 216규칙 oracleTest 개봉 후 대조I · 의도·대상설계자 저작비봉인 진단 자료Admission 4 · Main 40 families20 / 220 itemsE2E 36항목 ≠ 3과제저작 라벨Held-out 아님E · inbox 과제패널과 별도 · 20과제자연 12 + 주입 6 + 예비 2Arm별 새 컨테이너U7: 12 tasks × 3 × 2U8c: 6 tasks × 3 faults × 2독립 verifier판정 모델과 분리외부 X1 / X2사람 라벨 / Mind2Web텍스트 변환 / 4후보 선택X2: 공식 split별 80239 states / 240 pools133 / 94 clusters원천 Gold 유지전 시행 후 채점상태·항목·후보 풀·과제·호출별로 다른 분모. 성공률은 같은 측정 단위 안에서 비교.같은 원천의 상태는 어떻게 한 묶음으로 처리했나?판정 패널 · 45 source clustersScore · 80 controlled poolsSelection 18 / 160상태주 분석 144 + 범위 밖 16Test 27 / 240상태주 분석 216 + 범위 밖 24Selection 32 + Test 4880개 전체가 held-out인 것은 아님자연 후보 12풀 · best-of-4생성 뒤 고정 · 다시 뽑아 성공시키지 않음40:60 = source cluster 수의 비율. 무작위 배정의 증거는 아님.공개 형제 상태를 통한 m 조건 복원 가능. 완전한 blind 조건은 아님.
근거: 고정 spec · native 분석 · 감사 기록 · 실험과 공개 상태는 별도

모순과 근거 누락을 분리한 2×2 설계

완료 판정 패널 · 구조화된 상태의 통제 변형모순과 근거 누락을 따로 검사할 수 있나?
한 원천의 claim · observation · contract에서 두 요인을 독립 조작c · 요청·계약·관측과의 모순c = 0 · 없음c = 1 · 있음m · 필수 근거m = 0충족m = 1누락두 결함 모두 없음c0m0모순만 있음c1m0근거만 누락c0m1모순과 근거 누락c1m1정답의 근거Rule oracle설계한 조건·변형 규칙과 대조모델 응답은 평가 대상gold 생성에 사용하지 않음실제 업무 정답의 인간 전수 검증과 별도90 × 4 = 360+ 40= 4002×2 묶음 90개 · 주 분석 상태범위 밖 진단 상태Selection + Test 전체 상태독립 묶음은 45 source clusters. 같은 원천의 네 상태를 독립 표본 네 개로 취급하지 않음.
근거: 패널 생성 규칙 · Selection/Test manifest · rule oracle. E2E 과제 집합과 별도.

누가 어떤 증거를 읽어 다음 단계를 허용하는가

최종 native 근거 · 편집 해석누가 기록을 만들고, 누가 검증하나?
설계·데이터조율·동결실행기·verifier분석·검토작성·분할·봉인입력·gold 경로 분리준비는 독립적으로 진행 가능입력·코드·정책 고정spec · SHA · CI/G3 · 승인사전검사 일치?[불일치·미승인]실행 거부·사유 보존planned 유지 · metric null[일치]트랙 실행·수집전역 lock · receipt · cleanup실행 단위끼리는 겹치지 않음E: slot 순차 · slot 내 arm 동시 실행[해당 시행 종료·개봉 승인]허용된 gold로 고정 채점P/X별 접근 조건 적용독립 AI 감사분모·원본 SHA·수치 대조결과·영상 근거 결속immutable packet 참조점수의 권위: native 결과와 verifier. 재생·영상은 실행 확인용 근거.
근거: 고정 spec · native 분석 · 감사 기록 · 실험과 공개 상태는 별도

실험 트랙별 선행 조건과 분석 단위

최종 native 근거 · 편집 해석진입 점검 통과와 본 측정 성공은 같은가?
P · 완료 판정 / 보정 / 반복 일관성 / 지연9개 등록 단위. 실선은 선행 조건, 동시 실행 표시는 아님.ChoiceNoulU0a-c수용 gateU0a-n수용 gate[수용]U1cSelection 보정[수용]U1nSelection 보정[T·τ 고정]U2cTest 판정U2s-c반복·변형[T·τ 고정]U2nTest 판정U2s-n반복·변형[U2 전체 시행 종료 후 U2s]U3solo 지연[U2s 전체 종료]시행 종료 ≠ 분석 완료고정 분석의 진입 조건: U2·U2s·U3 전체 종료 + 명시적 개봉 승인G/P · 후보 선택 / P · 의도 / X · 외부 전이9개 등록 단위. X의 실행 경로는 공통 P driver.G/P ScoreU0b생성·선택.03 고정U4통제 풀 선택U5p자연 풀 12개 생성[풀·분모 고정]U5s같은 풀 선택P 의도U0c-i수용 gate[수용]U6afamily paired 판정family별 고정 분석 · E2E 성공과 분리X 외부X1a4/4 수용[수용][U0b 허용오차]X1텍스트·고정 T/τX2외부 후보 선택X 공통 gate: 핵심 P 종료·개봉·운영 순서. 외부 정답 접근은 해당 attempt 종료 후.U5의 비변별 풀도 원형 보존. 선택 성공을 위한 후보 재생성 없음.E · 실제 과제, 복구, 의도 전달, C 반복9개 등록 단위. 후속 실행 조건: 같은 source의 admission·감사·위임 재생.Choice 복구U0d4셀 strict pass[동일 source · 감사·재생]U8c오류 주입 18쌍U1·τ는 선행 조건 아님Noul · source7이전 source5는 별도 보존U0e2/2 strict 통과[동일 source · 감사·재생]U8n · 관측 24/3623 valid · 1 invalid유효 A/B 비교 11건primary null · 미실행 12의도 전달U0cI6 · source7 · 2셀[strict 통과·감사·재생]U6bI6 · 6셀 · 1회I5 실패와 별도 계보자연 과제 / CU0fE7 · source5 · 2셀[strict 통과·감사·재생]U7r012과제 × ABC = 36셀종료U7r1같은 12과제 · 36셀C 진입 조건: frozen τ · U2c gate · 명시적 C / budget 승인. 27개 ID ≠ 모델 승패 수.
Noul: 결함 주입 누락 1건으로 중단 · 양쪽 시행이 유효한 11건 비교 · 이전 source5는 별도

Selection에서 정책 동결, 실행 종료 후 정답 개봉

최종 native 근거 · 편집 해석정책은 언제 고정하고, 정답은 언제 열었나?
데이터 관리자Selection 분석사용자·조율자실행기고정 분석기Selection·goldU1: T·τ 결정T·τ freeze · SHATest 입력만spec·해시 확인Choice T: Astra 8 / Jev 1.4 · τ=0.50. T = 사후 확률 보정값, 생성 temperature와 별도.AUROC·C의 입력: raw q=max P. 별도 native Confidence 필드와 구분.데이터 관리자Selection 분석사용자·조율자실행기고정 분석기U2·U2s·U3 종료09:15:43 · 종료 영수증gold_opened=false명시 개봉 승인09:18:25 · 승인허용된 gold exportattempt·digest고정 분석공개 형제 상태의 m 조건 복원: 216/216. 모델 입력은 매 호출 단일 상태.Test를 이용한 T·τ 재적합 없음. 해시·접근 규칙 ≠ 암호화·OS 격리.
근거: 고정 spec · native 분석 · 감사 기록 · 실험과 공개 상태는 별도

숫자를 읽기 전, 지표가 답하는 질문

용어 해설 · 새 실험 결과 아님단위·방향·판정 기준부터
비교 도표 · 차이와 불확실성Δ · pp두 조건의 정답률은 얼마나 다른가?Δ = Jev − Astra. pp는 퍼센트포인트 차이, 상대 변화율 %와 구분.95% CI차이의 추정은 얼마나 불확실한가?관련 항목을 원천별로 함께 재표집한 추정 구간. 개별 응답의 확률은 아님.NI · margin미리 허용한 손실 범위 안인가?이 연구의 기준: CI 하한이 −5 또는 −10 pp보다 높아야 충족. 업무 SLO와 별도.Source cluster무엇을 서로 독립된 근거로 셌나?같은 원천의 관련 상태를 한 묶음으로 처리. 호출 수를 독립 표본 수로 쓰지 않음.확률 신호 · 보정, 오류 구분, 선택적 수락ECE ↓낮을수록 좋음 · 추세 아님제시한 확률과 실제 정답률은 얼마나 맞는가?유효 응답의 확률 구간별 평균 확률과 정답률의 절대 차이를 표본 수로 가중.AUROC ↑높을수록 좋음 · 추세 아님틀릴 응답을 먼저 구분하는가?이 연구는 1−q로 오답을 정답보다 앞에 두는지 측정. 0.5는 무작위 순위 기준.Coverage / Risk얼마나 수락했고, 수락한 것 중 얼마나 틀렸나?Coverage = 수락 / 계획 전체. Risk = 수락한 오답 / 수락 전체.AURC ↓낮을수록 좋음 · 추세 아님수락 범위를 넓힐 때 오답 부담은 얼마나 커지나?Risk–coverage 곡선 아래 면적. 낮을수록 작은 오답 부담, 완전한 안전 보장은 아님.반복과 실행 · 성공, 실패, 측정 가능성pass@1 / @2 / ^2한 번의 성공, 한 번 이상, 두 번 모두 중 무엇을 보나?이번 실행: 시행당 평균 / 두 반복 중 ≥1회 / 두 반복 모두. 후보 4개 선택과 별도.canonical / strict완료를 넘어서 지정 경로·조회 조건까지 지켰나?Canonical: 유효 실행·사후 검사·최종 승인. Strict: 지정 경로·조회·반환 조건까지 추가.Failure / Invalid모델의 실패인가, 측정 근거가 성립하지 않았나?유효 오답은 관측 결과. 인프라 무효·미실행은 0% 성능과 별도. 출력 오류는 지표 규칙 적용.Admission / Test경로의 사전 점검인가, 본 측정의 성능인가?Admission은 후속 실행의 진입 조건. 통과 수치를 본 실험의 성공률에 합산하지 않음.
Guo et al. 2017 · Geifman & El-Yaniv 2017 · Anthropic Evals · Pinned metric code
판정 신뢰도 · 비교 설계

평균 차이 −0.93 pp, 넓은 추정 구간

측정 완료 · 원결과 보존정확도 손실은 사전에 허용한 범위 안인가?
Choice · 주 분석 216상태A · Astra xhigh157/216B · Jev 1.13.0155/216정확도 차이 Δ = Jev − Astra · %p (pp)-60-40-20020음수: Jev 정확도가 낮음양수: Jev 정확도가 높음점: 차이 추정 · 95% CI: 차이의 불확실성실선 0: 차이 없음점선: NI -5 ppΔ -0.93 pp · 95% CI [-9.72, +7.41]평균 차 −0.93 pp · 넓은 CI로 −5 pp 비열등성은 입증하지 못함4×4 순서 교대 · 모델 무효1건도 오답 · 27원천 군집 bootstrap 2,000회
Choice · 27 source clusters · native 집계·분모 유지 · 분석 SHA 대조
두 조건 · Noul

두 조건의 joint 정확도, −41.67 pp

패널 완료 · 기존 source5 Harbor 후속: 미실행 종결두 조건을 함께 맞혔나?
Noul · 모순·근거 누락 두 조건을 모두 맞힌 비율A · Astra xhigh145/216B · Jev 1.13.055/216정확도 차이 Δ = Jev − Astra · %p (pp)-60-40-20020음수: Jev 정확도가 낮음양수: Jev 정확도가 높음점: 차이 추정 · 95% CI: 차이의 불확실성실선 0: 차이 없음점선: NI -5 ppΔ -41.67 pp · 95% CI [-48.15, -35.19]조건별 정답: 모순 A154 / B131 · 근거 누락 A207 / B108 (각 216상태)조건별 정답과 joint는 별도 · CI 전체가 −5 pp 아래 · 27원천 군집 재표집 2,000회
Noul panel / source5 admission / not-run closure · native 집계·분모 유지 · 분석 SHA 대조
의도와 대상 · Choice

고정 의도·대상 분류, −1.82 pp

의도·대상 패널 · 220항목 / 40가족의도와 대상이 모두 맞은 항목은 몇 개인가?
의도와 대상 joint · 220항목 / 40계열A · Astra xhigh220/220B · Jev 1.13.0216/220정확도 차이 Δ = Jev − Astra · %p (pp)-60-40-20020음수: Jev 정확도가 낮음양수: Jev 정확도가 높음점: 차이 추정 · 95% CI: 차이의 불확실성실선 0: 차이 없음점선: NI -5 ppΔ −1.82 pp · 95% bootstrap CI [−3.65, −0.45]CI 하한이 −5 pp 위: 패널 내 비열등성 충족 · 일반화 근거는 아님설계자 저작 패널 · 40가족 단위 percentile bootstrap 2,000회
U6a 고정 입력 패널 · 가족 군집 percentile bootstrap 2,000회 · inbox E2E와 별도
후보 선택 · Score

후보 선택 정확도와 후보 풀의 변별력

보존 응답의 사후 교정 분석가장 높은 oracle grade의 후보를 골랐나?
Score · 통제 후보 top-1 정확도A · Astra xhigh79/80B · Jev 1.13.059/80정확도 차이 Δ = Jev − Astra · %p (pp)-60-40-20020음수: Jev 정확도가 낮음양수: Jev 정확도가 높음점: 차이 추정 · 95% CI: 차이의 불확실성실선 0: 차이 없음점선: NI -10 ppΔ -25.00 pp · 95% CI [-35.23, -16.25]CI 전체가 −10 pp 아래 · 이 후보 구성에서 Jev 선택 정확도가 낮음새 호출 없이 수치 경계 처리 교정: Jev 58→59/80 · 분모·grade·45 clusters 유지자연 후보 12풀 · best-of-4정답 선택gap_closedAstra pointwise12/12측정 불가Jev pointwise12/12측정 불가First / random / oracle모두 12/12변별력 없음gap_closed: 무작위 선택보다 oracle에 얼마나 가까워졌나?분모 oracle coverage − random = 0 · 선택 정확도 Δ = 0 pp · 동등성·우월성 미입증Astra가 한 번 생성한 고정 후보 · 추가 생성·선택 우월성 주장 없음
U4 사후 교정 분석 · U5 자연 후보 진단 · 고정 분모·grade 유지
외부 검증 · CUAVerifierBench

더 높은 상대 정확도, 여전히 많은 성공 거부

측정 완료 · 원결과 보존실패를 잡으면서 정상 완료도 거부하지 않았나?
CUAVerifierBench · 다른 저작자, 사람 라벨수작업 패널 밖에서도 판정 방향이 유지되는지 검사260상태 − 사람 동률 21 = 239상태133 source clusters · 원본 benchmark 점수와 분리Actions · thoughts · notes의 텍스트 변환입력에서 제외: Screenshot·실제 tool 결과 내용Policy는 내부 selection에서 정한 그대로외부 Test를 이용한 T·τ 재적합 없음원 궤적의 사람 라벨과 축소된 텍스트 입력을 대조 · 실제 컴퓨터 사용 성공률 아님외부 텍스트 상태의 이진 판정A · Astra xhigh125/239B · Jev 1.13.0136/239정확도 차이 Δ = Jev − Astra · %p (pp)-60-40-20020음수: Jev 정확도가 낮음양수: Jev 정확도가 높음점: 차이 추정 · 95% CI: 차이의 불확실성실선 0: 차이 없음NI 기준선 없음Δ +4.60 pp · 95% CI [+0.41, +9.36]성공 거부: A113/119 · B97/119 | 실패 수락: A1/120 · B6/120정답 11건 증가 = 성공 거부 16건 감소 − 실패 수락 5건 증가 · 입력 축소의 원인 효과는 미검증
CUAVerifierBench · 239 states / 133 source clusters · native 집계·분모 유지 · 분석 SHA 대조
외부 검증 · Mind2Web

같은 네 후보에 대한 선택 정확도 차이

보존 응답의 사후 교정 분석한 단계의 선택인가, 전체 웹 과제의 완료인가?
세 test splitcross-task / website / domaincross-taskcross-websitecross-domain통제 후보 K = 4정답 1 + 오답 3 · 두 순서Score 선택240 step · 세 split에 각 80개전체 웹 탐색의 완료율이 아닌, 한 단계의 후보 선택후보 구성 규칙이 난이도를 결정 · 원래 전체 후보 순위와 구분화면에는 변환 구조·ID·해시만 · 문항 원문·HTML 비공개외부 데이터로 임계값·평가 기준을 조정하지 않음Mind2Web · 같은 4후보, 240 stepA · Astra xhigh226/240B · Jev 1.13.0196/240정확도 차이 Δ = Jev − Astra · %p (pp)-60-40-20020음수: Jev 정확도가 낮음양수: Jev 정확도가 높음점: 차이 추정 · 95% CI: 차이의 불확실성실선 0: 차이 없음점선: NI -10 ppΔ -12.50 pp · 95% CI [-17.22, -8.04]CI 전체가 0 아래, −10 pp를 가로지름 · 등록 마진의 실무 허용 근거는 약함새 호출 없이 수치 경계 처리 교정: Jev 194→196/240 · 분모·grade·94 clusters 유지
test_task / test_website / test_domain 각 80 · 원문 미표시 · 전체 웹 과제 성공률 아님
판정 신뢰도 · 쌍대 지연

같은 판정에서 더 짧은 응답 대기시간

측정 완료 · 원결과 보존같은 입력의 판정 호출은 얼마나 빨리 끝났나?
120쌍에서 관측한 응답 시간 분포세로축: 해당 시간 안에 응답한 비율0.11101000%50%100%응답 시간 · 초 (log₁₀ 축)측정 범위: verifier 호출의 대기시간. GEODE 전체 작업 시간과 별도.Astra · xhigh10.446 sMedian · 120회Jev · 1.13.00.253 sMedian · 120회동시 dispatch · 120/120 비교 가능 쌍동시 호출 쌍120Source clusters27쌍별 B−A 지연 차이의 median · 초-15-10-505음수: Jev 판정이 빠름양수: Jev 판정이 느림점: 차이 추정 · 95% CI: 차이의 불확실성실선 0: 차이 없음NI 기준선 없음Δ -10.20 s · 95% CI [-11.34, -8.81]판정 지연 차이의 불확실성 · 개별 호출 분산이나 전체 작업 시간 아님median(Bᵢ−Aᵢ) · median(B)−median(A)가 아님 · 27 source clusters
Concurrent verdicts · 120 pairs / 27 source clusters · native 집계·분모 유지 · 분석 SHA 대조

호출 지연과 과금 비용의 분리

E7 U7r1 이후 원장 · 2026-09-28 00:34 KST추정 비용과 실제 청구를 구분했나?
기록된 호출 · 요율 기반 추정 · 실제 청구의 구분기록된 호출Astra 3,753 · Jev 2,267실패·중단·복구 호출 포함Jev 사용량5,324,918 input tokensknown 2,263 · unknown 4 calls$0.223646556입력 단가 기반 추정$0.004200000unknown 사용량 예약unknown실제 invoiceCommitted $0.227846556 · 운영 cap $2.35. 실제 소비·청구액과 별도.Astra 구독 사용을 PAYG 절감액으로 환산 불가. 전체 물리 호출 coverage는 unknown.
집계 기준: E7 U7r1 종료 후 · 이후 E8 호출 미포함 · 원장 추정과 실제 invoice는 별도
판정 신뢰도 · 반복과 변형

Noul·Jev: 응답 일치 23/24, 두 번 모두 정답 6/24

24상태 반복 진단 · 원결과 보존같은 응답이 반복되나, 정답이 반복되나?
각 primitive의 24상태 · 같은 입력을 새로 두 번 호출비용·지연 다음 질문: 빠른 응답이 반복될 때도 정답인가?같은 응답두 번 모두 정답06121824Choice · Astra22/2414/24Choice · Jev22/2419/24Noul · Astra22/2414/24Noul · Jev23/246/24Noul·Jev: 23/24의 일관성, 두 번 모두 정답은 6/24. 동일한 오답도 일관성에 포함.의미를 유지한 입력 변형 · Jev 응답이 달라진 상태 수순서 반전과 paraphrase를 각각 원응답과 비교 · 같은 입력의 두 반복과는 별도06121824Choice · 순서 반전1/24Choice · paraphrase4/24Noul · 순서 반전0/24Noul · paraphrase1/24낮은 flip은 입력 변형에 덜 민감하다는 관측. 높은 정답률이나 E2E pass^2의 증거는 아님.다음: 반복 일관성과 별개로, 응답 확률이 오답을 구분하는지 검사
Repeat / perturbation · 24 states · native 집계·분모 유지 · 분석 SHA 대조
판정 신뢰도 · 보정과 위임

판정 확률은 오류를 얼마나 가르는가

측정 완료 · 원결과 보존확률의 보정과 오답 구분은 같은 능력인가?
Raw q = max P 순서의 coverage와 error riskRisk · 수락한 응답의 오답률 (%)Coverage · 전체 중 수락한 비율 (%)0%20%40%0%50%100%AstraAURC 0.073JevAURC 0.106q 내림차순 수락 · Coverage: 수락 수 / 전체 216상태 · Risk: 수락 중 오답률Valid: A 216 / B 215원곡선 · 평활 없음AURC ↓ · 곡선 아래 오답 부담같은 확률 신호를 서로 다른 질문으로 평가Astra · xhighJev · 1.13.0Raw ECE ↓제시한 확률과 실제 정답률은 얼마나 맞는가?0.2600.075Calibrated ECE ↓Selection에서 보정한 뒤 불일치는 얼마나 남았나?0.1090.077AUROC ↑틀릴 응답을 먼저 구분하는가?0.8790.785이 패널: ECE는 Jev가 낮고, AUROC는 Astra가 높음 · 하나의 우열 점수로 합산 불가ECE: 10개 동일 폭 구간 · AUROC: 1−q로 오답 탐지 · q=max P ≠ native Confidence 필드Astra 216 · Jev 215 valid 확률 · T: 8.0 / 1.4, Selection에서 동결
Choice · raw q / probability metrics · native 집계·분모 유지 · 분석 SHA 대조
작업 전체 · 조건부 캐스케이드

조건부 수락 정책과 Astra 재검토

Selection에서 동결한 τ=0.50어떤 응답을 채택하고, 언제 재검토로 넘기나?
Jev 응답q = max P · 응답 중 최대 확률유효 ∧ q ≥ ττ: 수락 기준참그 외Jev 결정 채택추가 LLM 판정 없음Astra 재검토Fallback: Astra에 판정 재요청Selection에서만 τ 결정 → Test에서 동일 정책 평가Jev의 confidence와 q를 같은 값으로 취급하지 않음유효성·q 조건을 충족한 응답만 Jev 결정 채택. 나머지는 Astra의 별도 판정.패널의 조건부 수락 정책Astra · xhigh157/216Jev + Astra fallback160/216Jev coverage 190/216 · τ = 0.5Δ +1.39%p · 95% CI [−6.48, +9.26]%p같은 Test 응답으로 계산한 조건부 정책패널의 응답 선택 결과이지, 실행 중 fallback 관측 횟수가 아님CI가 0을 포함 · 정확도 우월성 미입증. 실행 중 전환의 효용은 별도 검사 대상.
Test216상태의 조건부 정책 계산 · 실제 E2E 관측은 실행 절의 별도 분모

슬롯 안의 비교 실행, 슬롯 사이의 종료 확인

최종 native 근거 · 편집 해석한 과제의 비교 조건들이 같은 규칙으로 시작했나?
단위 사이에는 전역 잠금, 한 슬롯 안에는 격리된 Arm같은 과제·입력동결된 슬롯A · 새 컨테이너Astra 판정 · runtime + verifierB · 새 컨테이너Jev 판정 · runtime + verifierC · 새 컨테이너조건부 판정 · runtime + verifier모든 Arm 종료 · 수집·정리완료 후 다음 슬롯A/B: 과제에 맞는 두 ArmA/B/C: U7 반복 실행Dispatch >1초: 인프라 무효 · agent-start skew >30초: paired latency 제외시작 동기화와 의미적 성공은 별도. U7 r1의 2쌍도 strict/reliability 분모에 유지.
근거: 고정 spec · native 분석 · 감사 기록 · 실험과 공개 상태는 별도

최종 조건의 자연 실행: 세 정책 모두 완료

최종 native 근거 · 편집 해석한 번 성공했나, 두 반복 모두 성공했나?
독립 과제 12개 · 조건 3개 · 처음부터 다시 실행한 두 반복채운 점 하나 = 한 과제의 strict 성공 · 열은 반복, 행은 완료 verifier 정책반복 1반복 2A · Astra12/1212/12B · Jev12/1212/12C · 조건부 위임12/1212/1272/72 완료 · 독립 과제는 12개모든 조건: pass@1 = pass@2 = pass^2 = 12/12 · 시행당 평균 / 두 번 중 한 번 / 두 번 모두C: 24수용·실제 fallback 0. 실행 완료는 확인, 포화된 성공률에서 정책 간 효용 차이는 미식별.
근거: 고정 spec · native 분석 · 감사 기록 · 실험과 공개 상태는 별도

두 verifier의 오류 포착과 Astra의 수리

최종 native 근거 · 편집 해석오류 발견 뒤 실제 수리와 완료까지 이어졌나?
결함 조합수정해야 할 내용완료 시행모순만 있음관측과 어긋난 답 교정6과제 × A/B근거만 누락필수 근거 확보·반영6과제 × A/B모순 + 누락두 문제 모두 한 수정 라운드에서 해소6과제 × A/BChoice 총 36시행 · 같은 결함 조합에서 A/B 쌍 비교실제 Choice 복구 · A/B 각 18시행A · Astra xhighB · Jev 1.13.0첫 부정 판정18/1818/18최종 복구 · strict 성공18/1818/18시행당 Astra replan1136시행 모두: 부정 피드백 소비 → Astra 수리 → strict 완료 · 거짓 완료 018쌍 / 6원천 · 복구율 차이 0 · CI 없음 · 서술적 비교쌍별 B−A runtime median −18.17 s · 모든 시행 180초 미만계획된 결함 주입의 결과. 일반적 복구 신뢰도·resource budget의 인과효과와 별도.
근거: 고정 spec · native 분석 · 감사 기록 · 실험과 공개 상태는 별도
REPLAY · SOURCE-BOUND

주문 문의 12건 처리 · Choice

완료 후보 검증 · 결함 주입 뒤 수정과 최종 반환

A · Astra xhigh

클립 102.50초 · native runtime 101.60초

B · Jev verdict · Astra root

클립 94.93초 · native runtime 94.03초

ATIF 파생 · 원 PTY/동시 실행 아님 · 영상 4배속/원본 시계 · 점수·지연은 native 결과 기준

telescopes · c1m1 · 사전 선정 한 쌍 · 전체 성능과 별도

환불 완료 오주장과 누락된 조회 근거

source7 Noul 실행 · 사후 분석verifier는 무엇을 근거로 후보를 확인했나?
12개 합성 문의 · 실행과 수리는 양측 모두 Astra xhighverifier에 전달한 네 입력처음 주입한 결함task_contract읽기 전용 · 상태 조회 / 추가 확인 / unsupportedoriginal_request상태·환불·정정·복수 주문을 포함한 12개 문의candidate_output후보 JSON · 첫 후보는 통제 결함 주입tool_observations실제 lookup 입력과 결과 · 처음에는 없음요청환불 · T-846허용 동작조회만 가능변경 도구 없음주입 후보status: refundeddisposition: answered필수 조회 관측도 없음첫 verdict양측 c=1, m=1부정 feedback을 Astra가 소비c: 요청·계약·관측과의 모순 · m: 필수 근거 누락정답표·비공개 추론은 verifier 입력과 별도Astra의 실제 조회 5건과, 계약에 맞춘 후보 JSON한 lookup batch 안의 상태 조회 5항목 · 호출 5회라는 뜻은 아님T-503processingT-218shippedT-691on_holdT-135deliveredT-284out_for_delivery환불 요청unsupportedstatus=null조회 필요 5건실제 조회와 일치나머지 7건unsupported 또는needs_clarification12/12양측 마지막 후보의 항목 정답 · 최종 전달 성공과는 별개대응 사례의 의미상 항목·계약·조회 상태는 일치. JSON 표현과 호출 ID까지 바이트 동일하지는 않음.
사전 선정: telescopes c1m1 · 사후 4원천 / 유효 A/B 비교 11건 · 원 primary null 보존

Noul: 근거 충족 후보의 반환 보류

source7 Noul 실행 · 사후 분석반환 차단 조건과 오거부의 원인은 어디까지 확인됐나?
필수 근거를 받은 Jev의 오거부, GEODE의 반환 보류양측 후보 정답 12/12 · 조회 5건 충족. 거부를 유발한 항목·표현은 미식별.P(필수 근거 누락)고정 임계값 0.500.000.501.00A · Astra0.00B · Jev0.63모순(c): A 0.00 · B 0.38, 모두 0.50 미만A: c=false / m=false · supported · JSON 반환B의 반환을 막은 실행 조건Jev 출력m = 0.63 ≥ 0.50c=false / m=true어댑터 판정insufficient_evidencepassed=falseGEODE 정책continuation budget 2/2 소진정답 후보는 pending_text에 보존최종 응답 text="" · 반환 보류완료 후보를 다시 확인한 두 호출: m=0.60, 0.63 · 고정 과제 계약에 대한 오거부Reflection은 GEODE 고정 문구, Jev의 설명 아님 · 항목별 거부 이유는 응답에 없음양쪽 시행이 모두 유효한 11건의 비교 · 4개 원천양측 마지막 후보 정답 11/11 · A strict/recovered 11/11 · B 0/11, 전달 보류 11/11A · AstraB · Jev모순만근거 누락만둘 다모순만근거 누락만둘 다telescopes3쌍badminton3쌍waterpurifiers3쌍strollers2쌍--채움: strict 완료 · 빈칸: 반환 보류 · -: B 시행 무효로 비교에서 제외계획36 · 관측24(유효23 / 무효1) · 미실행12 · 원 실행 invalidated, primary null별도 무효 1건: 예정한 결함 주입 누락으로 중단 · 유효한 B 시행 11건의 오거부와 구분
telescopes c1m1 · 사후 4원천/비교 11건 · CI·NI·일반 성능 추정 없음 · 원 primary null 보존
REPLAY · SOURCE-BOUND

주문 문의 12건 처리 · Noul

필수 조회 5건 완료 · Jev의 근거 부족 판정으로 반환 보류

A · Astra xhigh

원본 영상 시각 · 과제 지연 측정과 별도

B · Jev verdict · Astra root

원본 영상 시각 · 과제 지연 측정과 별도

ATIF 파생 · 원 PTY/동시 실행 아님 · 영상 4배속/원본 시계 · 점수·지연은 native 결과 기준

telescopes · c1m1 · 사전 선정 한 쌍 · 전체 성능과 별도
의도와 대상 · Choice

최종 inbox 실행: 항목 판단부터 JSON 반환까지

계약 교정 전후의 결과를 별도 계보로 보존Helper 정답과 최종 과제 완료를 따로 셌나?
최종 조건 · source7 · 항목 판단과 과제 완료의 분리Helper · intent와 target 각각독립 과제 · strict 완료군별 36항목 · initial = final군별 3시행 · 반복 1회A · Astra helper36/36A · Astra helper3/3B · Jev helper012243636/36B · Jev helper3/3X: 정답 항목 수 (0–36)채운 점 1개 = strict 성공 1시행관측 3시행/군: 재판정·helper correction·오조회·거짓 완료 0Δ strict = 0 pp · 3쌍 · CI 없음 · 서술적 비교, 우월·동등성 검정 없음저자가 본 합성 inbox 3개 · 반복 1 · 실제 고객 발송이 아닌 최종 JSON 반환
Source6 68a16757: strict 0/6 · source7 1236ce96: 6/6 · 별도 실행·반복 1, 인과 실험 아님
REPLAY · SOURCE-BOUND

한국어 문의 12건 분류 · Choice

의도·대상 분류 helper · 최종 verifier는 Astra

A · Astra xhigh

클립 93.23초 · native runtime 92.55초

B · Jev helper · Astra root

클립 77.07초 · native runtime 76.25초

ATIF 파생 · 원 PTY/동시 실행 아님 · 영상 4배속/원본 시계 · 점수·지연은 native 결과 기준

inbox-korean · 사전 선정 한 쌍 · 전체 성능과 별도

이번 결과로 정할 수 있는 위임 범위

최종 native 근거 · 편집 해석이 관측으로 어디까지 맡길 수 있나?
관측에서 도출한 적용 범위와 채택 조건대상관측과 해석운영 판단·채택 조건고정 의도 분류Astra 220/220 · Jev 216/220; E2E 각 3/3새 inbox·새 원천에서 확인Choice 완료 판정평균 차이는 작지만 CI가 넓음품질 손실 허용치의 운영 근거Noul · 전달Astra 145/216 · Jev 55/216현재 단독 대체를 지지하지 않음사후 11쌍 · Jev 후보 정답 11/11 / 전달 0/11조건부 CE7 U7 두 반복: C 24수락 / 0fallback오류를 실제로 넘기는 상황의 효용관측에 근거한 적용 해석. 제품 전체 성능·일반 신뢰성의 보증은 아님.
근거: 고정 spec · native 분석 · 감사 기록 · 실험과 공개 상태는 별도

설명은 GEODE에서, 근거는 고정된 기록에서

고정 공개 근거 · artifact 3bcf4044원결과·교정 분석·사후 진단 분리
파일럿·원결과·사후 분석을 구분한 공개 근거GEODE질문 · 방법 · 코드 revisiongeode-eval-artifacts고정 결과 · 분모 · 근거 파일고정 commit으로 연결이전 파일럿구현·판정 지연 진단 · 본 실험 분모와 별도본 실험 v327단위 인덱스 · 고정 spec·결과·분모·analysis추가 근거: parser 교정 · Noul 사후 11쌍 진단현재 파일럿 · 연구/공개 계약본 실험 · 고정 공개 READMEgithub.com/mangowhoiscloud/geodegithub.com/mangowhoiscloud/geode-eval-artifacts게시 commit 3bcf4044 · 원결과와 교정 분석은 별도 경로 · 미공개 입력의 범위도 명시
README · SCORING · REPRODUCE · Noul post-hoc

기존 결과 확인과 새 실험의 분리

고정 공개 근거 · artifact 3bcf4044기존 기록의 재계산인가, 새 모델 호출인가?
공통 입구: README · commit · manifest · SHA 읽기와 무결성 확인독자의 경로입력과 해석 범위실험 호출고정 결과 재계산Prediction / gold / clusters / 고정 분석기Recompute: 같은 고정 입력으로 분석 재계산, 모델 재호출 없음없음자기 계정의 새 시행자기 계정 · budget · 새 freeze / run ID조건을 기록한 별도 시행 · 같은 숫자를 보장하지 않음발생Trajectory / Replay공개 trajectory · 선정 Replay · source 시계와 배율Replay: 기록된 실행을 다시 보기. 생략 확인 필요, 점수·지연의 권위는 native 결과.없음X2 · Mind2Web공식 원천 → 고정 변환기 → hash 대조 · Test 본문/풀 재게시 제외재계산 입력 누락 시 해당 범위를 검증 불가로 표시공개 재계산 경로: U2 · U4 · 교정 U4/X2 · Noul 사후 진단. 비공개 실행 환경 검증과는 별개.
README · SCORING · REPRODUCE · Noul post-hoc

에이전트의 읽기 전용 근거 검토

고정 공개 근거 · artifact 3bcf4044원결과·교정 분석·사후 진단 분리
결과 하나에서 원본 근거까지, 읽기 전용 추적독자에이전트공개 묶음읽기 전용 검토 요청README의 code pin·manifest 읽기결과·분모·analysis 위치 연결근거와 누락을 보고읽기 검토: 실험 API·인증 변경·새 유료 시행·T/τ 재적합 없음검토 결과에 기록할 것: commit·입력 해시 · 수치·분모 일치 · 검증하지 못한 입력과 실행 범위
README · SCORING · REPRODUCE · Noul post-hoc
07 / CLAIM → EVIDENCE

해석을 되짚는
원문과 실행 기록

확인할 질문근거의 소유자자료 열기
Jev의 공개 범위는 어디까지인가?API 명세 · 공급사 설명
Primitives · System One · RLCD		API · SDK
Launch · Interview
시간과 오류가 어디서 달라졌나?분리된 자체 측정 기록
M4 6쌍 · M5 3상태 · M6 2조건		실행 / 지표
라벨이 실제 수정으로 이어졌나?고정한 코드와 실행 기록
판정 → 피드백 → Astra → oracle		비교 Replay
코드 / 원본

배경 개념: RSI 분류 · Qwen/CLM · 이중 과정 이론 · Reflexion (Shinn 외, NeurIPS 2023) → 공개 연구 근거

[M4, M5] 1c73cb97 · [M6] recovery/r3 · 588a1c88 · Original records retained
07 / PRODUCTION REFERENCES · COMPOSITION & ASSETS

제작 레퍼런스

참고 자료 → 이 영상에 적용한 지점

  1. Beyond Pass Rates · GEODE ↗

    절제된 타이포그래피 · 주장 뒤에 실행 증거를 배치하는 전개

  2. Stanford CS231n · Lecture 2, pp. 7–8 ↗

    하나의 예시를 입력·표현·선택지로 확대하는 설명

  3. Anthropic · Tracing the thoughts… ↗

    중간 상태와 결과의 관계를 한 도식에서 따라가는 구성

  4. What’s next after RLHF? · AI Engineer ↗

    Diogo Almeida · 질문과 반례로 학습 목표를 구분하는 전개

  5. Anthropic · LangGraph · OpenAI ↗

    워크플로우의 통과 조건·수정 경로·코드로 강제하는 계약

화면에 사용한 자산

Official TypeSafe symbolGEODE Geodi dot mascot

TypeSafe symbol · GEODE Geodi

가Aa

IBM Plex Sans / KR ↗
제목·본문·도식 · 코드: Plex Mono

디자인 레퍼런스·폰트 출처 ↗

[PR1–PR7] 연출 참고 · 실측은 파일럿 원자료와 native result·analysis에 연결

빠른 verifier 호출, 판단 종류에 따라 갈린 대체 가능성

최종 native 근거 · 편집 해석실행 원본 보존 · 교정 분석은 별도 표기
관측된 이득·손실과 그에 맞는 위임 범위더 짧은 verifier 대기시간−10.20 s전체 과제 시간 단축과는 별개120쌍 · paired median · CI [−11.34, −8.81] s정형 의도·대상의 제한적 가능성216/220최종 inbox E2E는 A/B 각 3/3Jev · Astra 220/220 · 이 패널의 −5 pp NI 충족통제 Score 선택의 정확도 차이−25.00 pp이 조건의 단독 대체 근거는 부족Noul joint −41.67 pp · 외부 선택 −12.50 ppNoul · 정답 후보의 최종 반환0/11오거부와 반환 차단까지 검사 필요후보 정답11/11 · 전달 보류11/11 · 사후4원천11쌍도입 조건: intent·target helper의 새 입력 검증 + 최종 verifier의 오류 승인·오거부 분리 측정
근거: 고정 spec · native 분석 · 감사 기록 · 실험과 공개 상태는 별도

웹 보고서와 두 언어 PDF는 같은 원고를 사용합니다. 과거 실패·부분 분석·합성 과제의 한계는 별도로 보존합니다.

근거와 출처

연구 기록은 커밋 3bcf404에 고정되어 있습니다. 출처 ID는 슬라이드와 연결되며, 인터뷰·설계 참고는 실험 결과와 구분합니다.

연구 기록

TypeSafe 공식 문서

관련 연구

설계·해석 참고

이 공개 패키지에 포함되지 않은 역사 기록

  • [K7] GEODE scaffold search: pinned code and scope
  • Historical r6: 14 clip identities and hashes
  • Historical case03 B replay

공식 TypeSafe 심벌과 워드마크로 공급사를 식별합니다. 미공개 신경망·새 모델 출력·누락 동작·확률을 만들어 넣지 않았습니다. 원본과 이전 검토용 영상은 변경하지 않았습니다.