← /geode/portfolioGEODE . 문서
GitHub
레퍼런스
레퍼런스

컴퓨터 사용

프로바이더 독립 데스크탑 자동화. PyAutoGUI 백엔드, screenshot + click + type 기본 동작, 도구 레지스트리를 통한 opt-in 활성화.

두 백엔드, 하나의 인터페이스

Anthropic의 computer-use API와 OpenAI의 computer-use 베타는 비슷한 기본 동작을 가진 서로 다른 프로토콜입니다. GEODE는 둘 모두를 단일 도구 정의 (computer) 뒤로 감싸고, 활성 모델에 따라 적절한 프로바이더 백엔드로 라우팅합니다.

기본 동작

  • screenshot. 활성 디스플레이 캡처
  • click. (x, y) 좌표에서 마우스 클릭
  • type. 키보드 입력
  • key. 수정자 + 키 (Cmd+Tab 등)
  • scroll. 방향 + 양
  • cursor_position. 현재 위치 읽기

활성화

computer-use 도구는 is_computer_use_enabled()를 통한 opt-in 방식입니다. config 플래그와 활성 프로바이더의 지원 여부로 게이트됩니다. 활성화되면 Anthropic agentic 어댑터가 core/llm/providers/anthropic.py에서 _COMPUTER_USE_TOOL을 도구 목록에 주입합니다.

안전성

모든 clicktype 동작은 기본적으로 TOOL_APPROVAL_REQUEST를 발생시킵니다. HITL 게이트는 세션 단위 (--no-approve) 또는 도구 단위로 완화할 수 있지만, 기본값은 데스크탑에 부수 효과를 일으키는 모든 동작에 대해 human-in-the-loop 입니다.

파일

  • core/tools/computer_use.py. 기본 동작 구현
  • core/llm/providers/anthropic.py. _COMPUTER_USE_TOOL 정의 + 주입
  • core/llm/providers/openai.py. OpenAI 베타 경로