AI가 내 컴퓨터에서 뭘 했는지, 기록으로 남긴다

AI 에이전트가 내 컴퓨터에서 실제로 무엇을 실행했는지 되짚어 볼 수 있게 하는 감사 도구 '툴로그(Toolog)'가 공개됐다. 클로드 코드(Claude Code)가 호출한 모든 도구 실행을 기기 안의 데이터베이스에 쌓고, 시간순 타임라인·위험도 검토·수집 상태 세 가지 화면으로 보여 준다.

무슨 일인가 / 배경

에이전트에게 코딩을 맡긴다는 것은 곧 셸 명령 실행, 파일 수정, 네트워크 요청 권한을 넘긴다는 뜻이다. 그런데 "그 에이전트가 언제, 어느 저장소에서, 무엇을 했고, 누가 그것을 승인했는가"를 나중에 확인할 방법이 사실상 없었다. 터미널을 스크롤해 올려 보는 것이 전부였고, 창을 닫으면 그마저 사라졌다.

작업이 하루 한두 건일 때는 문제가 되지 않는다. 하지만 에이전트를 여러 개 붙여 하루 종일 돌리는 방식으로 넘어가면 이야기가 달라진다. 무언가 잘못됐을 때 원인을 짚을 근거가 없다는 것은, 같은 사고를 막을 방법도 없다는 뜻이다.

핵심 짚어보기

툴로그는 두 갈래로 기록을 모은다. 하나는 로컬 주소로 들어오는 표준 원격 측정 신호이고, 다른 하나는 클로드 코드가 디스크에 남기는 전사본 파일을 실시간으로 따라 읽는 경로다. 굳이 둘을 쓰는 이유가 흥미롭다. 표준 원격 측정은 도구 입력값을 512자에서 잘라 버려 증거로 쓸 수 없고, 전사본에는 누가 승인했고 어느 규칙이 적용됐으며 얼마나 걸렸는지가 없다. 둘을 도구 호출 식별자로 정확히 맞물려 합치고, 두 기록이 서로 어긋나면 그 자체를 하나의 발견 항목으로 취급한다.

위험도 판정은 두 열로 나뉜다. 한쪽은 규칙이 매기는 심각도로 언제나 같은 결과가 나오는 결정적 값이고, 다른 쪽은 기기 안에서 도는 소형 모델이 매기는 점수로 매번 같지 않은 값이다. 제작자는 이 둘을 절대 한 열에 섞지 않는다는 원칙을 명시했다. 검색은 @risk:high나 @model-risk:>=4 같은 질의어로 한다.

가장 공을 들인 부분은 '아무것도 기기를 떠나지 않는다'는 약속을 검증 가능하게 만든 방식이다. 분석 도구도, 오류 보고도, 원격 설정도, 계정도, 업데이트 확인조차 없다. 여기에 지속적 통합 시험이 전체 데이터 적재와 모든 질의를 실행한 뒤 운영체제에 이 프로세스가 어떤 소켓을 쥐고 있는지 직접 묻고, 루프백이 아닌 주소가 하나라도 잡히면 빌드를 실패시킨다. 그 검사가 정말로 실패할 수 있음을 증명하는 두 번째 시험도 함께 돌린다. 내장 모델도 마찬가지여서, 모델 파일은 사용자가 직접 내려받아 지정해야 하고 배포본에 네트워크 라이브러리가 링크되지 않았음을 바이너리 수준에서 확인한다.

현재 맥오에스 전용 서명 앱 하나로 배포되며, 업데이트 경로는 홈브루 명령뿐이다.

1인기업 실전 적용 포인트

• 에이전트를 하루 여러 시간 돌리는 사람이라면 사고 후 원인 추적보다 사고 전 패턴 파악에 쓸 값이 크다. 일주일치 기록에서 위험 등급이 높게 잡힌 명령의 종류를 뽑아, 그 유형을 아예 승인 규칙에서 막아 두는 식이다.
• 클라이언트 코드를 다루는 외주 작업이라면 감사 기록 자체가 납품물이 된다. "에이전트가 어떤 파일에 접근했는가"에 답할 수 있는 것과 없는 것은 계약 협상에서 다른 위치다.
• 규칙 열과 모델 점수 열을 분리해 보는 습관을 그대로 자기 자동화에도 옮길 만하다. 결정적 판정과 확률적 판정을 한 지표로 합치면 어느 쪽이 틀렸는지 영원히 알 수 없다.
• 기록이 전부 로컬 데이터베이스에 쌓이므로 용량 관리를 미리 정해 둔다. 전사본 원문을 자르지 않고 담는 구조라 장기간 방치하면 무겁게 자란다.

전망 / 주의점

에이전트 감사 기록은 개인 취미 영역에서 곧 규정 영역으로 넘어갈 가능성이 크다. 외부 인력이나 자동화가 회사 자산에 접근했을 때 기록을 남기라는 요구는 이미 다른 분야에서 표준에 가깝고, 에이전트만 예외로 남을 이유가 없다. 다만 이 도구는 별 2개 수준의 초기 프로젝트이며 맥오에스에서만 동작한다. 지금은 "이런 기록이 없으면 무엇을 못 하는지"를 체감해 보는 용도로 먼저 써 보는 편이 현실적이다.

출처: Hacker News (https://github.com/zaghaghi/toolog)