에이전트가 헛도는지 점수로 알려주는 로컬 대시보드

클로드 코드(Claude Code)와 두 시간을 보낸 뒤 이런 의문이 든 적이 있을 것이다. 정말 목표를 향해 갔나, 아니면 같은 파일을 고치고 같은 테스트를 돌리며 40분을 허비했나. 대화록을 거슬러 올라가 확인할 수도 있지만, 개발자 모하메드 니할(Mohammed Nihal)이 공개한 오픈소스 AI 에이전트 옵저버토리(AI Agent Observatory)는 명령 하나로 그 답을 점수와 근거로 보여준다.

무슨 일인가

이 도구는 에이전트가 이미 디스크에 남긴 세션 기록을 읽는다. 별도 계정도, API 키도, 외부 업로드도 없다. 노드 20.11 이상만 있으면 npm으로 설치하고, observatory start로 로컬 서버를 띄운 뒤 다른 터미널에서 observatory import를 치면 대시보드가 채워진다. 브라우저 대신 터미널에서 같은 요약을 볼 수도 있고, 아직 세션이 없으면 모의 시나리오로 화면이 채워지는 데모 모드도 있다.

대시보드가 답하려는 질문은 하나다. "내 에이전트가 잘 행동하고 있나, 아니라면 왜인가." 이를 위해 에이전트 건강도, 행동 학습, 퇴화 세 가지 점수를 100점 만점으로 매기고, 각 점수 옆에 반드시 이유를 붙인다.

핵심 짚어보기

공개된 예시는 이 도구 자체를 만든 실제 세션이다. 건강도 65점에 "안정", 행동 학습 34점에 "퇴화 중", 퇴화 지수 27점. 토큰 1억 4,800만 개, 행동 396회, 오류 3건, 회복률 33%, 반복률 23%라는 집계와 함께 세션을 초반·중반·최근 세 구간으로 잘라 비교한다. 초반에는 오류 회복률이 100%였다가 중반 이후 0%로 떨어졌고 반복률은 늘었다. 그리고 결정적 신호로 특정 컴포넌트 파일이 열 번, 서버 진입 파일이 여덟 번 반복 실행됐다는 사실을 짚어 "이 세션은 퇴화 중"이라 판정했다. 저자가 렌더링 버그와 씨름하며 같은 파일을 계속 고치던 순간을 도구가 스스로 잡아낸 셈이다.

중요한 설계 철학은 "이유 없는 점수는 없다"는 것이다. 회복률이 얼마나 떨어졌는지, 반복이 몇 퍼센트 늘었는지, 사이에 아무 변화 없이 재시도한 횟수가 몇 번인지를 점수의 근거로 함께 보여준다. 점수만 던지는 도구는 신뢰를 못 얻는다는 판단이 깔려 있다.

1인기업 실전 적용 포인트

• 밤새 돌린 자동화 세션을 아침에 30초 점검하라. 크론으로 에이전트 작업을 돌리는 구조라면, 아침 보고 스크립트에 observatory import를 붙여 어젯밤 세션의 반복률과 회복률만 텔레그램으로 받아도 헛도는 잡을 조기에 발견할 수 있다.
• "같은 파일 N회 이상" 신호를 중단 조건으로 써라. 한 파일이 대여섯 번 이상 반복 수정되면 에이전트가 문제를 잘못 잡았을 가능성이 높다. 그 시점에 세션을 끊고 문제를 다시 정의해 주는 편이 토큰과 시간을 아낀다.
• 프롬프트 개선 전후를 점수로 비교하라. 시스템 프롬프트나 CLAUDE.md를 고친 뒤 같은 유형의 작업 세션을 몇 개 돌려 건강도와 반복률이 실제로 좋아졌는지 확인하면, 감이 아니라 데이터로 프롬프트를 다듬을 수 있다.
• 데이터는 내 PC 밖으로 안 나간다. 세션 기록에는 코드와 파일 경로가 들어 있으므로, 외부 서비스형 관측 도구와 달리 전부 로컬에서 처리된다는 점이 고객 코드를 다루는 1인 외주 개발자에게 특히 중요하다.

전망과 주의점

공개 시점 깃허브 별은 1개, 커밋은 30여 건으로 매우 초기 단계다. 점수를 매기는 다섯 구성 요소 중 예시에서는 셋만 측정됐다고 표시돼 있어 지표 체계가 아직 완성 중임을 알 수 있다. 세션 기록 형식이 바뀌면 파서가 깨질 위험도 상존한다.

그러나 문제의식은 정확하다. 에이전트를 쓰는 시간이 길어질수록 "무엇을 했나"보다 "잘하고 있었나"를 측정하는 계기판이 필요해진다. 사람 팀원에게 주간 회고가 있듯 에이전트에게도 회고 지표가 붙기 시작했고, 이 도구는 그 초기 형태 중 하나다.

출처: Hacker News / GitHub (https://github.com/MohammedNihal03/AI-observibility)