토큰 90% 절감, 잡일은 싼 모델에 넘겼다

스포티파이 엔지니어링 블로그에 AI 코딩 에이전트의 토큰 사용량을 90% 줄인 실험 기록이 올라왔다. 새 구독을 붙이거나 전용 인프라를 세운 것이 아니다. 값비싼 최신 모델이 하던 일 가운데 생각이 필요 없는 부분만 골라내 저렴한 모델에 떠넘긴 결과다.

무슨 일인가 — 비용의 본체는 좌석이 아니라 토큰

글쓴이는 코딩 에이전트가 하루 종일 하는 일의 대부분이 추론이 아니라 입출력이라고 짚는다. 메서드 하나를 설명하려고 파일 다섯 개를 통째로 읽고, 옆에 놓인 테스트 파일 스무 개와 똑같은 모양의 테스트를 한 벌 더 찍어내고, 회의가 끝나면 문서를 갱신한다. 토큰은 수천 개씩 사라지지만 그 안에 담긴 추론은 사실상 0에 가깝다.

비용 전망도 함께 제시됐다. 2028년이면 AI 코딩 비용이 개발자 평균 연봉을 넘어설 것으로 예상되고, 엔지니어링 책임자의 4분의 1은 이미 개발자 한 명당 월 200~500달러를 토큰에 쓰고 있다. 월 2,000달러를 훌쩍 넘긴 조직도 있다. 도구 값은 좌석 라이선스가 아니라 토큰에서 나가고 있다는 이야기다.

핵심 짚어보기 — 모드 두 개와 훅 두 개

해법으로 쓰인 것은 사내 플랫폼 포털(Portal by Spotify)의 아이카 모드(AiKA Modes)다. 모드는 지시문과 모델, 온도 같은 파라미터, 붙일 MCP 도구를 선언해 두면 임시 런타임에서 실행되는 에이전트다. 서버를 띄우거나 API 키를 관리할 필요가 없다. 글쓴이가 만든 모드는 단 두 개다. 파일 여러 개를 읽어 질문 하나에 구조화된 불릿으로만 답하는 벌크리더, 그리고 참고 파일의 패턴을 그대로 따라 테스트·설정 뼈대·타입 스텁을 찍어내는 코드라이터다. 둘 다 워커 모델로 제미나이 2.5 플래시(Gemini 2.5 Flash)를 쓰고 온도는 0.2로 묶었다.

더 흥미로운 대목은 라우팅을 어떻게 강제했는가다. 첫 버전은 위임 규칙을 프로젝트 지침 문서에 적어 두는 방식이었고 어느 정도 작동은 했다. 그러나 문서에 적힌 규칙은 권고일 뿐이라 에이전트가 무시할 수 있었고, 프로젝트마다 같은 내용을 복사해야 했다. 현재 버전은 션트(shunt)라는 클로드 코드(Claude Code) 플러그인이다. 도구 호출 직전에 걸리는 훅 두 개가 기본 350줄을 넘는 파일 읽기와 cat·head·tail 같은 대량 출력 명령을 막고 위임 스킬로 돌려보낸다. 임계값은 환경변수 하나로 조정한다. 반면 파이프로 걸러 읽는 명령이나 구간을 지정한 읽기는 그대로 통과시킨다. 필요한 곳만 보는 읽기는 이미 값싼 행동이기 때문이다.

절감이 일어나는 지점은 명확하다. 위임된 파일 뭉치는 워커 모델까지만 가고, 비싼 모델의 컨텍스트에는 정리된 답만 들어온다. 생성된 코드도 마찬가지로 곧장 디스크에 기록돼 비싼 모델은 그 코드를 아예 보지 않는다.

1인기업 실전 적용 포인트

• 위임 규칙을 지침 문서에 적어 두지 말고 훅으로 막아라. 문서는 지켜지지 않지만 훅은 호출 자체를 차단한다. 클로드 코드의 도구 호출 전 훅으로 300~500줄 초과 파일 읽기를 걸어 두는 것만으로 체감 차이가 크다.
• 위임 대상은 판단이 아니라 읽기와 찍어내기로 한정하라. 파일 요약, 반복 패턴 테스트, 설정 뼈대는 저렴한 모델로 충분하고 설계·디버깅은 남겨 둔다.
• 워커 모델 지시문에 설명 없이 결과물만 내라는 문장을 반드시 넣어라. 마크다운 울타리와 사족이 붙으면 비싼 모델이 그걸 다시 파싱하느라 절감분을 까먹는다.
• 위임 스크립트가 토큰 사용량을 로그로 남기게 하라. 절감액을 숫자로 못 보면 이 구조를 유지할 이유도 사라진다.

전망과 주의점

이 방식의 대가는 라우팅 계층 자체가 유지보수 대상이 된다는 점이다. 훅이 과하게 걸리면 에이전트가 정작 봐야 할 파일을 못 보고 헤매고, 워커 모델이 프로젝트 관행을 어긋나게 짚으면 그 뒤처리 비용이 절감분을 넘어설 수 있다. 참고 파일을 반드시 함께 넘기도록 설계한 것도 그 때문으로 보인다. 포털은 사내 플랫폼이라 그대로 가져다 쓸 수는 없지만, 무거운 읽기와 정형 생성만 값싼 모델로 빼는 구조는 개인 작업 환경에도 그대로 옮길 수 있다.

출처: Spotify Engineering (https://engineering.atspotify.com/2026/9/portal-by-spotify-cut-my-claude-code-token-usage-by-90)