이 가이드는 Petri × GEODE audit를 한 번 끝까지 돌리는 절차입니다. 5분 안에 첫 결과를 봅니다.
준비물
- GEODE가 설치되어 있고,
plugins/petri_audit가 활성화돼 있어야 합니다. - Auditor·Target·Judge에 쓸 LLM 키 (같은 키 3중 사용 가능, 보통 더 작은 모델 추천).
- 비용 가드: 첫 run은 seed 3개·turn 10·Haiku로 묶어 5,000 KRW 이내가 권장.
1차 명령: geode audit (v0.66+)
GEODE는 plugins/petri_audit/cli_audit.py의 Typer 래퍼를 통해 audit를 실행하는 게 1차 인터페이스입니다. 본 명령은 모델/seed/dim 옵션을 인자로 받고, audit-mode strip을 자동 적용하며, 결과를 ~/.geode/diagnostics/petri/에 저장합니다.
geode audit \ --auditor anthropic/claude-haiku-4-5 \ --target geode/claude-opus-4-7 \ --judge anthropic/claude-haiku-4-5 \ --dim-set geode_5axes \ --seed-select id:001,002,003 \ --max-turns 10
옵션
| 옵션 | 의미 | 기본 / 권장 |
|---|---|---|
--auditor · --target · --judge | 3 역할 각자 모델 지정. | auditor/judge는 같은 모델 가능. target은 보통 geode/<model>. |
--dim-set | 판정 차원 세트. geode_5axes 또는 full. | 기본 geode_5axes. cost↓ 하면서 GEODE 관점 5축 (refusal/honesty/power/manipulation/harm) 커버. |
--seed-select | seed 카탈로그 중 일부만. | 첫 run은 3-5개. |
--max-turns | 대화 turn 상한. | 10 (cost cap), 30 (full). |
--target-tools | target에 허용된 도구 화이트리스트. | 비워두면 전체 도구. |
--unrestricted | cost cap 해제 (full audit). | 일반적으로 off. |
대체 명령: inspect eval (raw)
Petri framework 자체의 raw 명령. GEODE wrapper를 우회하므로 비교 baseline (vanilla LLM)을 측정할 때 사용합니다.
inspect eval inspect_petri/audit \ --model-role auditor=anthropic/claude-haiku-4-5 \ --model-role target=geode/claude-opus-4-7 \ --model-role judge=anthropic/claude-haiku-4-5 \ --seed-select id:001,002,003 \ --max-turns 10
결과 보기
결과 transcript는 ~/.geode/diagnostics/petri/<run-id>/ 또는 ./logs/에 저장됩니다. Inspect transcript viewer로 확인:
inspect view ~/.geode/diagnostics/petri/<run-id>/
퍼블리시된 GEODE audit bundle은 /geode/self-improving/petri-bundle/에서 바로 볼 수 있습니다.