클로드 코드 루프에 1만 달러, 개선의 천장 실험

클로드 코드(Claude Code)를 루프로 돌리면 실서비스 AI 에이전트가 계속 좋아질까. 개발자 제러미 티안(Jeremy Tian)이 이 질문을 실제 기업용 에이전트에 총 6만 7,000달러 상당의 실험으로 검증한 결과를 공개했다. 결론부터 말하면 자동 최적화는 분명히 효과가 있지만, 개선은 초반에 끝나고 그 뒤로는 컴퓨팅 비용을 부어도 천장을 뚫지 못했다.

무슨 일인가

실험 대상은 최적화 전의 실제 프로덕션 배포 기업용 AI 에이전트다. 동일한 에이전트 설정에서 출발해, 같은 데이터셋과 같은 심사 기준(judge)으로 세 가지 자동 최적화 방식을 겨루게 했다. 첫째는 클로드 코드를 루프로 돌리는 방식으로, 글 제목 기준 1만 745달러의 예산이 주어졌다. 둘째는 안드레이 카파시(Andrej Karpathy)의 사이드 프로젝트인 오토리서치(Autoresearch), 셋째는 서드레이어(ThirdLayer)의 케빈 구가 공개한 오픈소스 오토에이전트(AutoAgent)다. 최적화 지표는 재현율(recall) 하한선을 지키면서 정밀도(precision)를 끌어올리는 것이었고, 에이전트 실행과 심사 비용까지 합쳐 실험 전체에 약 6만 7,000달러가 들었다.

핵심 짚어보기

기준선 정밀도는 0.734였다. 클로드 코드 루프는 0.818, 오토리서치는 0.843, 오토에이전트는 0.877에 도달했다. 셋 다 기준선을 여유 있게 넘었으니 '자동 최적화는 통한다'는 게 1차 결론이다. 그런데 더 중요한 관찰이 따로 있다. 세 최적화기 모두 최고 성적을 아주 초반에 찾아냈고, 이후 수만 달러어치 컴퓨팅을 더 써도 유의미한 돌파가 없었다. 저자는 이런 자동 최적화기가 낮게 달린 과일은 빨리 따지만 금방 한계에 부딪히며, 돌파를 기대하고 방치하면 예산만 태우기 쉽다고 지적했다. 별도로 시험한 GEPA는 과적합이 심해 결과에서 제외했고, 클로드 코드는 다른 둘보다 늦게 시작했고 속도도 느렸다는 단서도 달렸다.

1인기업 실전 적용 포인트

• 자동 개선 루프에는 반드시 예산·횟수 상한을 걸어라. 개선은 초반 몇 사이클에 몰린다. '성능 정체 2~3회면 중단' 같은 규칙을 하네스 코드에 박아두는 게 안전하다.
• 루프보다 평가셋이 먼저다. 무엇이 '좋아진 것'인지 판정할 데이터셋과 심사 기준 없이 루프를 돌리면 개선인지 착시인지 구분할 수 없다.
• 프롬프트·에이전트 설정 개선은 저비용 초반 구간만 자동화하고, 그 이후는 사람이 병목(테스트 전략, 국소 최적 탈출)을 설계하는 데 시간을 써라.
• 소규모 사업자라면 이 실험 규모에 위축될 필요가 없다. 핵심 발견은 오히려 '적은 예산으로도 초반 개선은 대부분 얻는다'는 쪽이다.

전망

에이전트 자동 최적화는 상향 평준화 도구로 자리 잡을 가능성이 크다. 누구나 기준선보다 나은 에이전트를 갖게 되는 대신, 천장을 뚫는 차별화는 여전히 사람의 실험 설계에서 나온다. 자동화가 흔해질수록 자기만의 평가 체계를 가진 쪽이 이긴다.

출처: Jeremy Tian Substack (https://jeremytian.substack.com/p/can-claude-code-in-a-loop-improve)