AI 에이전트, 과학 실무 30%만 풀었다

AI 에이전트가 연구자의 실제 작업을 대신할 수 있는지를 재는 새 벤치마크가 공개됐다. 결과는 겸손하다. 70개 과제 가운데 가장 성적이 좋은 조합이 풀어낸 것은 30%에 그쳤다. 시험 문제가 아니라 연구자들이 실제로 하는 일을 그대로 옮겨 왔다는 점이 이 숫자의 의미를 결정한다.

무슨 일인가 / 배경

터미널벤치 사이언스(Terminal-Bench-Science) 0.1은 스탠퍼드대 연구진이 주도하고, 기존 터미널벤치를 만든 팀이 여러 연구기관의 도메인 전문가들과 함께 구축했다. 기존 터미널벤치가 소프트웨어 엔지니어링 영역을 겨냥했다면, 이번에는 같은 방식을 과학 연구로 옮긴 셈이다.

첫 공개판에는 70개 과제가 담겼다. 생명과학 19개, 물리과학 17개, 수리과학 17개, 공학 9개, 지구과학 8개로 나뉘며, 세부적으로는 과학 데이터 분석과 통계적 추론, 시뮬레이션, 최적화, 정리 증명, 영상 복원, 신호 처리, 센서 보정 같은 작업이 포함된다. 평가 방식은 답을 고르는 것이 아니라 분석 결과·시뮬레이션·증명·코드 같은 산출물을 만들어 내고, 과제별 검증 테스트로 그 결과를 채점하는 형태다.

핵심 짚어보기

리더보드 상위는 이렇게 정리된다. 클로드 오푸스 5(Claude Opus 5)를 클로드 코드에서 돌린 조합이 30.0%로 1위, 오픈AI 계열 코덱스 조합이 22.4%, 클로드 페이블 5가 21.4%로 뒤를 이었다. 그 아래로는 10.5%, 8.6%, 8.1% 순으로 급격히 떨어지고 하위권은 3%대까지 내려간다.

주목할 지점은 절대 점수보다 격차다. 같은 과제를 두고 1위와 4위 사이에 세 배 가까운 차이가 벌어졌다. 일상적인 코딩 작업에서는 여러 모델이 비슷해 보여도, 검증 가능한 산출물을 끝까지 만들어 내는 긴 작업에서는 차이가 그대로 드러난다는 뜻으로 읽힌다.

과제를 만든 과정도 이 숫자를 해석하는 데 필요하다. 제안은 920건이 들어왔고 그중 464건이 구현 승인을 받아 386건이 실제 작업으로 이어졌지만, 최종 수록은 70개뿐이었다. 과학적으로 의미 있으면서, 현재 모델이 이미 쉽게 푸는 수준은 아니고, 채점이 객관적으로 가능한 과제를 만드는 일이 그만큼 까다롭다는 뜻이다. 이 벤치마크는 한 번 내고 끝내는 논문형이 아니라 계속 갱신하는 형태로 운영된다.

1인기업 실전 적용 포인트

• 모델을 고를 때 홍보용 종합 점수 대신 내 일과 형태가 닮은 벤치마크를 보자. 여러 단계를 거쳐 결과물을 만들어야 하는 업무라면, 짧은 문답 성능은 참고치가 되지 못한다.
• 30%라는 숫자는 자동화 설계의 기준선이 된다. 자동으로 돌리되 결과는 사람이 검수하는 구조가 현실적이며, 검수 없는 완전 자동은 아직 이르다.
• 반복 업무를 맡기기 전에 내 손으로 채점 가능한 과제 5~10개를 만들어 두자. 검증 테스트가 있는 과제만이 자동화 성패를 숫자로 말해준다. 벤치마크가 쓰는 방법을 그대로 축소한 것이다.
• 상위권과 하위권 격차가 큰 만큼, 비용 절감을 이유로 저가 모델을 붙일 때는 짧은 작업과 긴 작업을 나눠서 배치하는 편이 안전하다.

전망 / 주의점

제작진은 이 벤치마크가 과학계의 필요와 AI 개발 사이에 되먹임 고리를 만들기를 기대한다고 밝혔다. 연구자가 과제를 기여하고, 그 과제가 다음 모델의 목표가 되는 구조다.

다만 70개 과제로 과학 전체를 대표할 수는 없다. 점수가 오른다고 해서 곧바로 연구 현장이 대체되는 것도 아니다. 연구 질문을 정하고 결과를 해석하는 부분은 여전히 사람의 몫으로 남겨 두고, 시간이 오래 걸리는 실행 단계만 위임하자는 것이 제작진이 밝힌 목표에 가깝다.

출처: 터미널벤치 사이언스 공식 발표 (https://www.terminal-bench-science.ai/announcement)