클로드 코드는 좋은 하네스인가, 벤치마크 논쟁

같은 모델을 써도 어떤 껍데기에 담느냐에 따라 성능과 비용이 달라진다. 그 껍데기를 하네스라 부른다. 8월 20일 개발자 윌리엄 선이 자신의 뉴스레터에 공개한 글은 "클로드 코드(Claude Code)가 정말 좋은 하네스인가"라는 질문을 외부 벤치마크 세 건을 근거로 파고들었다. 글쓴이는 이 글을 작성하고 다듬는 데 거대언어모델을 쓰지 않았다고 서두에 밝혔다.

무슨 일인가 / 배경

통념은 이랬다. 앤트로픽(Anthropic)이 모델과 하네스를 함께 만드니 둘의 궁합을 최적으로 맞출 수 있고, 따라서 자사 모델을 쓸 때는 자사 하네스가 가장 좋을 것이라는 기대다. 글쓴이가 든 첫 반례는 데이터브릭스(Databricks)가 지난달 공개한 내부 측정이다. 같은 오푸스(Opus) 4.8 모델을 놓고 비교했을 때 클로드 코드 쪽이 파이(pi)라는 훨씬 단순한 하네스보다 성능은 약간 앞섰지만 비용은 두 배가 넘었다.

두 번째는 터미널벤치 2.0 논문이다. 여기서는 하이쿠 계열을 제외한 모델에서 클로드 코드가 대체로 성능은 조금 낮고 비용은 더 든다는 결과가 나왔다. 세 번째로 인용한 인공지능 분석 업체의 에이전틱 코딩 벤치마크에서는 결과가 또 달라진다. 클로드 코드가 성능은 가장 낮지만 비용도 가장 낮게 찍혔다. 세 자료의 방향이 제각각이라는 점 자체가 이 논쟁의 성격을 보여 준다.

핵심 짚어보기

글쓴이는 먼저 벤치마크 자체의 신뢰도를 문제 삼는다. 근거로 든 사례가 구체적이다. 오픈AI(OpenAI)는 스위벤치(SWE-Bench)를 비판하며 그 문제를 고친 검증판을 직접 만들었고, 그다음엔 그 검증판마저 버리고 프로 버전을 내놨으며, 이후 프로 버전에도 문제가 있다고 주장했다. 평가 기준을 만든 쪽이 스스로 세 번 갈아엎는 동안, 하네스들도 계속 업데이트되며 움직이는 표적이 되고 있다는 것이 그의 진단이다. 하네스끼리 맞붙는 비교 자체가 드물고, 대부분의 벤치마크는 중립 기준 도구를 쓰거나 각 회사의 모델을 각자 하네스에서만 돌린다는 지적도 덧붙였다.

두 번째 논점은 목적에 관한 것이다. 그는 클로드 코드의 목표가 애초에 한 번에 긴 작업을 끝내는 성능 극대화가 아니라, 애플리케이션 계층에서의 차별화라고 본다. 모델을 바꾸는 데 클릭 두 번이면 되는 세상에서는 사용자를 붙잡아 둘 무언가가 필요하고, 최근의 기능 추가가 설정 항목 확대나 통합 대상 늘리기처럼 벤치마크 점수와 무관한 사용성 개선에 쏠려 있다는 것이 그 근거다. 오푸스 4.7 출시 때 기본 추론 강도가 한 단계 올라간 사실을 두고는 매출과 연결지어 냉소적으로 해석할 여지도 있다고 적었다.

결론은 제목의 물음에 그렇다고 답하는 쪽이다. 다만 마지막에 붙인 단서가 실질적으로 더 중요하다. 정액 구독으로 쓰는 사용자에게는 API 정가보다 훨씬 저렴하기 때문에, 앤트로픽 모델을 쓰려는 개인에게는 여전히 가장 나은 선택지라는 것이다.

1인기업 실전 적용 포인트

• 자동화를 구독 요금제 위에서 돌리고 있다면 이 논쟁의 결론은 "바꾸지 마라"에 가깝다. 토큰 단가로 환산했을 때 정액제의 실효 비용을 이길 조합을 찾기 어렵다.
• 반대로 API 종량제로 대량 배치를 돌린다면 하네스 교체가 곧 원가 절감이다. 같은 프롬프트를 두 하네스에 각각 던져 성공률과 토큰 소모를 표로 남겨 두면 판단 근거가 된다.
• 하네스를 고를 때는 벤치마크 점수보다 실패했을 때의 비용을 먼저 보는 편이 낫다. 야간 배치가 조용히 멈추는 쪽이 정답률 몇 퍼센트보다 손해가 크다.
• 남이 발표한 벤치마크 수치는 자기 작업에 그대로 옮겨 붙지 않는다. 자주 시키는 작업 다섯 개를 골라 자체 측정 세트로 만들어 두면 기사 하나에 흔들리지 않는다.

전망 / 주의점

이 글이 인용한 자료는 모두 특정 시점의 특정 버전을 잰 것이다. 하네스는 주 단위로 바뀌고 모델도 마찬가지라, 오늘의 순위가 다음 달까지 유지된다고 볼 근거는 없다. 글쓴이 본인도 앤트로픽이 외부에 공개되지 않은 내부 기준으로 다른 성과를 내고 있을 가능성을 열어 뒀다. 정작 흥미로운 대목은 결론이 아니라 질문이 생겼다는 사실 자체다. 모델 성능이 상향 평준화될수록, 승부는 모델이 아니라 그 모델을 어떻게 감싸 쓰느냐로 옮겨 간다.

출처: 제너레이 뉴스레터 (https://generray.substack.com/p/is-claude-code-a-bad-harness)