앤트로픽, AI 코딩에 CI 작업 25배 폭증

앤트로픽(Anthropic)이 사내 개발 환경에서 벌어진 변화를 공개했다. 에이전트 코딩이 본격화한 뒤 6개월 동안 지속적 통합(CI) 작업량이 25배로 불어났고, 이를 감당하던 테스트 선별 서비스가 여러 차례 한계에 부딪혔다는 내용이다. 코드를 쓰는 속도가 더는 제약이 아니게 되자, 병목이 테스트와 검증 단계로 옮겨갔다는 것이 핵심 메시지다.

무슨 일인가 / 배경

9월 14일 클로드 공식 블로그에 실린 글에 따르면, 앤트로픽 엔지니어들은 2021~2025년 대비 분기당 평균 8배 많은 코드를 내보내고 있다. 그 코드의 80%를 클로드가 작성하며, 코드 리뷰와 승인에도 클로드가 큰 역할을 한다. 같은 기간 코드베이스의 테스트 수는 10배로 늘었지만 엔지니어 증원은 소폭에 그쳤다.

앤트로픽은 모든 변경에 모든 테스트를 돌리지 않고, 과거 결과와 패키지 연관성을 바탕으로 변경마다 필요한 테스트만 골라 돌리는 '테스트 영향 분석' 서비스를 운영한다. 이 서비스는 모든 CI 실행 결과를 기록하는 '리스너'와, 그 기록을 읽어 풀 리퀘스트별 실행 테스트를 정하는 '셀렉터' 두 부분이 맞물려 돌아간다.

핵심 짚어보기

문제는 초당 여러 건의 CI가 돌면서 리스너가 기록을 제때 따라가지 못한 데서 시작됐다. 글에 따르면 리스너가 20분만 밀려도 수만 건의 테스트 결과가 셀렉터에 반영되지 않는다. 그러면 잘못된 변경이 병합된 뒤 엉뚱한 사람들의 작업에서 테스트가 줄줄이 실패하는 일이 생긴다.

팀은 처음에 더 큰 서버, 병렬 처리, 서비스 재시작 같은 익숙한 처방을 썼다. 그런데 세 번의 임시방편은 각각 70일, 29일, 그리고 하루도 못 버텼다. 같은 처방이 벌어주는 시간이 1년 전보다 급격히 짧아진 것이다. 결국 서비스를 통째로 뜯어고쳐 수평 확장 구조로 재설계했다. 필자는 코드 작성이 병목이 아닌 지금은 전면 재설계에 드는 시간도 크게 줄었으니, 땜질보다 구조 변경이 오히려 경제적이라고 강조한다.

또 하나 눈여겨볼 대목은 에이전트와 테스트의 관계다. 사람은 자기 변경과 무관한 실패를 알아서 걸러내지만, 에이전트는 더 많은 맥락이 필요하다. 딱 맞는 테스트 묶음을 받아야 스스로 검증하고 반복 수정을 잘한다는 설명이다.

1인기업 실전 적용 포인트

• 에이전트에게 돌릴 테스트 명령을 고정하라: 클로드 코드(Claude Code) 설정 문서에 '이 폴더 수정 시 이 테스트만 실행' 같은 규칙을 적어두면, 에이전트가 무관한 실패에 헤매는 시간을 줄일 수 있다.
• 전체 테스트는 야간 1회로 분리하라: 작업 중에는 변경 관련 테스트만, 전체 테스트는 cron으로 하루 한 번 돌려 결과만 텔레그램 등으로 받는 2단 구조가 개인 규모에서 현실적이다.
• CI 사용량 청구서를 월 단위로 확인하라: 깃허브 액션(GitHub Actions) 같은 유료 CI는 에이전트가 커밋을 늘리는 만큼 비용이 비례해 오른다. 에이전트 도입 전후 실행 분(分)을 비교해 두자.
• 같은 장애가 두 번 나면 재설계를 검토하라: 재시작으로 버티는 기간이 짧아지고 있다면 신호다. 에이전트에게 재설계 초안을 맡기는 비용이 생각보다 낮다.

전망 / 주의점

필자는 에이전트가 풀 리퀘스트와 테스트를 동시에 늘리는 만큼, 수평 확장형 테스트 선별 구조가 업계 표준이 될 것으로 내다봤다. 교훈은 한 줄로 요약된다. 기하급수적 증가를 전제로 설계하라. 다만 이는 대규모 조직의 사례이므로, 1인 개발자는 인프라를 흉내 내기보다 '검증 단계가 다음 병목'이라는 원리만 가져가는 편이 낫다. 코드를 빨리 만들수록 무엇을 확인할지 정하는 능력이 경쟁력이 된다.

출처: Claude Blog (https://claude.com/blog/agentic-coding-is-straining-ci-heres-how-we-scaled-test-impact-analysis-at-anthropic)