GEODE의 본체는 자율 수행 에이전트 하네스입니다. 모델이 도구 관측을 읽고 다음 행동을 선택하며, 실행 예산과 승인 정책, 종료 경로가 작업을 통제합니다. self-hosted는 이 하네스를 운영하는 방식입니다.
그 바깥의 Experimental Loop에서는 실행 정책 후보와 평가 시나리오, 판정 방법을 연구합니다. 일반 작업마다 자동으로 자기개선이 실행된다는 뜻은 아닙니다. 아래에서는 구현된 경로, 실험에서 관측된 결과, 아직 입증하지 못한 효과를 구분합니다.
Autonomous Agent Harness
지금 맡긴 작업을 수행합니다
- 판단
- 도구 실행
- 관측
↶ 관측을 읽고 다음 행동을 선택
실행 기록을 측정과 탐색의 근거로
Experimental Loop
다음 실행에 쓸 후보를 검증합니다
- 후보 생성
- 평가
- 채택·복원
탐색 채택, 독립 검증, 릴리즈를 각각 판정
구현 + 제한된 판정 기록
Scaffold Search
모델 가중치를 바꾸지 않고, 작업을 수행하는 정책을 바꿀 수 있을까?
설계
프롬프트·행동 정책 후보를 변형하고 Petri 감사와 게이트를 통해 로컬 baseline의 채택 또는 복원을 결정합니다. 별도 Crucible 경로는 동결된 계약, paired 평가, private 탐색 ref, 독립된 sealed 평가를 분리합니다. 평가 신호와 채택 규칙은 각 경로의 계약에 따릅니다.
관측: 채택과 검증은 다른 판정
- Train: KEEP탐색 후보 채택
- Sealed: REJECT독립 검증에서 거절
- Release: none배포 권한 없음
r14에는 train KEEP 1건과 sealed REJECT가 보존되어 있습니다. r35는 coverage·인프라 결함으로 INVALID이며 평균은 null, paired rows는 0이고 탐색 head는 유지됩니다. 무효 측정을 성능 0으로 바꾸지 않습니다.
근거의 한계. r14는 6 tasks × 1 trial, 88.5% bootstrap 및 이전 입력·후보 재사용 조건의 기록입니다. 공개 config의 재계산 해시와 prereg train_config 해시가 일치하지 않으며 원인은 미확정입니다. 보존된 판정의 사례로 제시하며, 전체 증거 사슬의 무결성 재인증이나 재현된 성능 개선을 뜻하지 않습니다.
구현 + 생성 산출물
Seed Scenario Generation
기존 평가가 놓치는 행동을 어떻게 시험할까?
설계
후보 생성 → 비평 → pilot → 순위·생존자 선택 → 다음 세대의 흐름으로 평가 입력을 탐색합니다. seed는 에이전트를 시험하는 시나리오이며, scaffold 변경과는 다른 산출물입니다.
관측과 한계
공개 Seed 생성 런에서 후보, 생존자, 토큰, meta-review와 다음 세대 prior를 확인할 수 있습니다. 대시보드의 정상·부분 상태는 산출물의 존재를 설명합니다. seed 생성이 에이전트 성능을 높였다는 실험 판정은 아닙니다.
연결 경로 구현 / 개선 효과 미검증
SIL · Self-Improving Loop
실행에서 발견한 실패를 다음 scaffold 후보에 연결할 수 있을까?
설계
SIL은 Scaffold Search를 연결하는 구현 흐름입니다. SelfImprovingLoopRunner는 제안과 적용을 분리하고, 허용된 변경 표면과 검증·복원 경로를 갖습니다. 재측정은 명시적 opt-in이므로 일반 실행이 곧 자동 탐색은 아닙니다. SIL의 선택적 held-out 측정은 실패해도 주기 판정을 중단하지 않는 관측 경로이며, Crucible의 sealed 검증과 다릅니다.
관측과 한계
현재 공개 results.jsonl은 session_id만 있는 3행입니다. 이 기록으로 변이 수, 승격 수, 지속적 개선을 재계산할 수 없습니다. 코드로 확인한 연결 경로와 실행으로 입증한 개선 효과를 구분합니다.
실험 결과 공개 / 과제별 한계
Jev Decision Offloading
작은 판정기에 어떤 결정을 맡길 수 있을까?
설계
Jev 연구는 유한 선택지의 판단을 분리해 판정 정확도, 오류 선별, 호출 지연, 실제 과제 완료를 측정했습니다. 생성 모델의 결과, 내부 완료 판정, 외부 과제 verifier는 서로 다른 권한입니다.
관측: 맞는 후보를 보류한 경우
E8 사후 분석의 4개 원천·완성된 11쌍에서, Jev Noul 판정 arm의 최종 후보는 과제 oracle을 11/11 통과했지만 근거 부족으로 모두 보류되어 native strict 전달은 0/11이었습니다. 두 arm의 생성·수리는 Astra가 수행했습니다. 판정의 속도나 후보의 정답만으로 실제 전달 성공을 대신할 수 없습니다.
해석의 한계. 중단 뒤 선택한 표본에 대한 관측입니다. 일반화, 신뢰구간, 인과적 우열 주장을 붙이지 않습니다. v3 본실험과 이전 M4–M6 파일럿의 분모도 합치지 않습니다.