'모델이 멍청해졌다'를 통계로 재는 추적기

"요즘 모델이 멍청해진 것 같다"는 말은 개발자 커뮤니티의 오랜 단골 소재다. 근거는 대개 체감이다. 평가 서비스 마진 랩(Margin Lab)이 운영하는 코덱스(Codex) 성능 추적기는 그 체감을 통계 검정으로 바꾼다. 매일 같은 벤치마크를 돌려 통과율을 기록하고, 기준선에서 유의미하게 떨어졌는지를 p값으로 판정하는 방식이다.

무슨 일인가 / 배경

이 추적기의 목표는 명확하다. 코덱스에 탑재된 모델의 소프트웨어 엔지니어링 작업 성능이 통계적으로 유의미하게 떨어졌는지를 탐지하는 것이다. 측정 대상은 실제 저장소의 이슈를 해결하게 하는 벤치마크 SWE-Bench-Pro의 선별 부분집합이며, 매일 자동으로 돌아간다.

주목할 점은 측정 환경이다. 별도의 에이전트 하네스를 만들지 않고 코덱스 명령줄 도구에서 모델을 그대로 돌린다. 연구용으로 최적화한 실험 환경이 아니라 사용자가 실제로 쓰는 경로에서 재는 것이라, 결과가 체감과 붙어 있다. 같은 곳에서 클로드 코드(Claude Code)용 추적기도 함께 운영된다.

핵심 짚어보기

9월 8일 갱신 기준 수치는 이렇다. 기준 통과율은 83%, 당일 통과율은 50건 기준 88%, 최근 7일은 350건 기준 85%, 최근 30일은 1,500건 기준 85%다. 성능 저하 여부 판정은 '정상'이다.

여기서 진짜 배울 점은 통과율 숫자가 아니라 표본 수에 따라 '의미 있는 차이'의 문턱이 달라진다는 사실이다. 이 추적기는 하루치 50건에서는 ±11.2%, 350건에서는 ±3.6%, 1,500건에서는 ±1.7%를 유의성 문턱으로 잡는다. 실제 변동폭은 전일 대비 +4.4%, 전주 대비 +1.8%, 전월 대비 +1.4%였는데 세 구간 모두 '통계적으로 유의하지 않음'으로 분류됐다. 하루짜리 4.4% 상승은 좋아진 것이 아니라 노이즈라는 뜻이다. 통과율 외에 일별 입력·출력 토큰 총량과 인스턴스당 평균 실행 시간도 함께 기록돼, 정확도는 그대로인데 비용이나 시간이 늘어나는 변화까지 잡아낼 수 있게 돼 있다.

1인기업 실전 적용 포인트

• 내 파이프라인에도 고정 테스트 세트를 만들어라. 매일 도는 자동화가 있다면 결과를 판정할 표본 20~50건을 고정해 두고 통과율을 기록하라. 비교 대상이 없으면 품질 저하는 사고가 난 뒤에야 보인다.
• 표본이 적을 때는 하루치 등락을 믿지 마라. 50건에서 10%대 변동은 우연으로 설명된다. 조치는 주간 단위 수치가 문턱을 넘을 때 취하는 것이 맞다.
• 정확도와 함께 토큰·소요 시간을 같이 남겨라. 결과물 품질은 그대로인데 비용이 오르는 형태의 퇴보가 실제로 존재한다. 로그에 세 열을 나란히 두는 것만으로 충분하다.
• 모델 교체 판단의 근거로 써라. 공급사 발표나 체감이 아니라 이런 공개 추적기의 30일 통과율을 기준선으로 삼으면, 버전 교체 시점을 감이 아니라 데이터로 정할 수 있다.

전망 / 주의점

선별된 부분집합으로 재는 만큼, 여기서 나온 통과율이 내 코드베이스의 성공률과 같을 수는 없다. 벤치마크 문항이 학습 데이터에 섞여 들어가는 오염 문제도 이런 종류의 지표가 상시로 안고 있는 한계다. 그럼에도 성능 논쟁을 공개된 방법론과 표본 수 위에서 하게 만든다는 점이 이런 추적기의 가장 큰 쓸모다. 모델 성능이 계약이 아니라 서비스 상태로 제공되는 시대에는, 사용자 쪽에도 측정 장치가 하나쯤 있어야 한다.

출처: Hacker News / Margin Lab (https://marginlab.ai/trackers/codex/)