같은 모델, 하네스 따라 토큰 몇 배 차이 실측

"어느 모델이 좋으냐"만큼 중요한데 잘 다뤄지지 않는 질문이 있다. 같은 모델을 어느 하네스, 즉 어떤 에이전트 실행 도구로 돌리느냐다. 뮌헨의 독립 개발자 카를로 카포카사(Carlo Capocasa)가 9월 7일 공개한 실험은 이 질문에 숫자로 답한다. 지푸(Zhipu)의 GLM 5.3 모델 하나를 여섯 가지 하네스에 물려 똑같은 열 개 과제를 풀게 했더니, 해결 수와 토큰 소비가 하네스에 따라 몇 배씩 벌어졌다.

무슨 일인가

실험 대상은 클로드 코드(Claude Code)·오픈코드(opencode)·파이(pi)·지코드(zcode)·헤르메스(Hermes)·쓰리코드(3code) 여섯 가지다. 과제는 실제 깃허브 이슈로 구성된 SWE-bench 검증 세트에서 난이도를 고르게 고른 열 개이고, 각 하네스는 글 작성 시점의 최신 버전을 썼다.

결과를 보면 쓰리코드가 약 500만 토큰으로 열 과제 중 아홉 개를 풀어 해결 수와 비용 양쪽에서 앞섰다. 오픈코드도 아홉 개를 풀었지만 토큰은 두 배가량 들었다. 파이는 토큰 소비가 두 번째로 적었지만 제한 시간 안에 여섯 개만 해결했다. 지코드는 푸는 과제에서는 매우 효율적이었으나 못 푸는 과제에 매달려 시간 초과까지 토큰을 태웠다. 헤르메스는 비용이 컸고 성과는 무난했는데, 코딩 전용이 아닌 범용 에이전트 모델임을 감안하면 나쁘지 않다는 평가다. 클로드 코드는 토큰을 가장 헤프게 썼고 가장 어려운 과제 하나를 놓쳤다.

핵심 짚어보기

주목할 부분은 캐시다. 오픈코드는 캐시 적중률 99.2%라는 뛰어난 수치를 냈지만, 총 토큰이 두 배라 결국 더 비싼 선택이었다. 캐시 적중률을 올리는 것보다 애초에 토큰을 덜 쓰는 편이 비용에 더 크게 작용한다는 것이 실험자의 결론이다. 캐시된 토큰도 공짜는 아니기 때문이다.

두 번째는 모델 맞춤 조정의 효과다. 쓰리코드는 모델 계열별 시스템 프롬프트와 미세조정을 갖췄고, 실험자는 이번 성과가 지코드의 GLM 특화 조정을 가져오되 과도한 과제 완료 압박은 뺀 덕분으로 본다. 반면 파이는 모델별 조정 없이도 상당히 버텼다.

다만 반드시 짚어야 할 점이 있다. 실험자 본인이 쓰리코드의 개발자이고, 토큰은 지푸의 스타트업 프로그램에서 지원받았다. 그는 지원사가 결과에 개입하지 않았고 벤치마크는 대략적 참고용이며 독자 스스로 확인하라고 명시했다. 이해관계를 숨기지 않은 것은 평가할 만하지만, 순위 자체보다 "하네스가 비용을 가른다"는 큰 그림을 가져가는 것이 맞다.

1인기업 실전 적용 포인트

• 내 과제 다섯 개로 미니 벤치를 만들어라. 실제로 자주 시키는 작업(기사 초안 생성, 크론 스크립트 수정, 테스트 추가 등)을 다섯 개 골라 두 하네스에 같은 프롬프트로 돌리고 토큰과 결과를 적어 두면, 남의 벤치마크보다 훨씬 정확한 선택 근거가 된다.
• 시간 초과 상한을 반드시 걸어라. 지코드 사례처럼 못 푸는 과제에 매달리다 토큰을 태우는 패턴이 가장 비싸다. 자동화 잡에는 최대 턴 수나 시간 제한을 두고, 넘으면 사람에게 넘기게 하라.
• 구독제라면 토큰 절약은 곧 세션 수명이다. 정액 구독으로 쓰는 경우 비용은 안 보이지만, 토큰을 아끼는 하네스일수록 한도 안에서 더 많은 작업을 처리한다.
• 가벼운 하네스와 무거운 하네스를 역할별로 섞어라. 정형화된 반복 작업은 토큰 효율이 높은 터미널 에이전트에, 복잡한 설계 판단은 기능이 풍부한 하네스에 맡기는 이원화가 비용 대비 효과가 좋다.

전망과 주의점

열 과제짜리 실험은 통계적으로 얇고, 모델 제공사의 비공개 업데이트로 결과가 흔들린다는 점을 실험자 스스로 인정한다. 그럼에도 이런 실측이 하네스 설계의 실수를 잡아내는 데 유용하다는 주장은 설득력이 있다. 앞으로 에이전트 비용 경쟁은 모델 가격표가 아니라 하네스가 토큰을 얼마나 아끼느냐에서 갈릴 가능성이 높다. 실험자는 다른 모델 제공사와도 같은 실험을 이어갈 계획이라고 밝혔다.

출처: Carlo Capocasa Tech Blog (https://capocasa.dev/10-task-glm-5-3-harness-bench-claude-opencode-pi-zcode-hermes-and-3code)