AI 코딩 비용, 예산으로 잠그는 도구 나왔다

AI 코딩 도구를 쓰면서 가장 답답한 순간은 이번 달에 얼마를 썼는지 모른 채 계속 쓰고 있을 때다. 새로 공개된 그렘로드(gremlord)는 이 문제를 정면으로 겨냥했다. 클로드 코드(Claude Code)를 얇은 로컬 라우터로 감싸 화면과 도구는 그대로 두면서, 모든 요청을 가격으로 환산해 기록하고 사용자가 정한 예산에 걸리면 다음 요청을 실제로 거부한다.

무슨 일인가

그렘로드가 지적하는 기존 도구의 한계는 두 가지다. 하나는 한 곳의 모델만 부른다는 점, 다른 하나는 세션 하나에 얼마가 들었는지 알려주지 않는다는 점이다. 그렇다고 도구 자체를 갈아엎으면 계속 좋아지고 있는 본체의 개선을 포기해야 한다. 그래서 택한 방식이 감싸기다. 본체는 손대지 않고 자동 업데이트도 그대로 받으며, 앞단에 라우터만 끼운다.

연결 방식은 두 갈래다. 앤트로픽(Anthropic) 쪽은 요청을 바이트 그대로 흘려보내고, 오픈AI(OpenAI)·xAI를 비롯해 올라마(Ollama)·vLLM·오픈라우터(OpenRouter) 같은 호환 엔드포인트는 요청과 응답 스트림을 변환해 붙인다. 모델 이름은 설정 파일에서 사용자가 정하는 별칭이다.

핵심 짚어보기

비용 통제가 이 도구의 중심이다. 요청이 발생하는 즉시 로컬 데이터베이스에 가격이 기록되고, 모델별·프로필별·세션별로 지출을 쪼개 볼 수 있다. 한도는 일·주·월 단위로 걸며, 한도에 닿으면 다음 요청이 명확한 안내와 함께 거절되지만 이미 진행 중인 응답은 중간에 끊기지 않는다. 경고만 띄우고 마는 대시보드와는 다른 지점이다.

모델 선택도 자동화돼 있다. 값싼 분류기가 매 차례를 보고 기획성 작업은 큰 모델로, 기계적인 편집은 저렴한 모델로 보낸다. 판단은 한 차례 동안 유지된다. 여기에 독립적으로 도는 두 번째 판정이 하나 더 있는데, 불안정한 테스트나 오래 걸리는 빌드처럼 한 번 답하고 끝낼 게 아니라 주기적으로 다시 확인해야 하는 작업을 골라내 반복 실행 쪽으로 유도한다. 요청 크기를 후보 모델의 문맥 창과 미리 대조해, 담을 수 없는 모델은 넘겨버리고 들어가는 가장 작은 모델을 고르는 방식도 눈에 띈다. 어느 모델에도 안 들어가는 요청은 제공자에 닿기 전에 거절된다.

로컬 모델을 섞어 쓸 때 중요한 설정도 있다. 본체는 문맥이 20만 토큰 규모라는 전제로 자동 압축 시점을 잡는데, 그렘로드는 모델별 실제 문맥 창과 신뢰할 수 있는 유효 범위를 따로 선언하게 해 토큰 계산을 그에 맞춰 조정한다. 3만 2천 토큰짜리 로컬 모델과 40만 토큰짜리 모델이 각자 제 시점에 압축된다는 뜻이다. 서브에이전트도 설정된 모델 별칭마다 정의를 만들어주기 때문에 이름으로 지정해 부를 수 있고, 그 트래픽 역시 동일하게 과금·집계된다.

1인기업 실전 적용 포인트

• 자동화를 무인으로 돌린다면 경보가 아니라 한도가 필요하다. 새벽에 폭주한 루프를 아침에 발견하는 것과, 애초에 거절되는 것은 결과가 전혀 다르다.
• 작업 성격에 따라 모델을 나누는 것만으로 지출 구조가 바뀐다. 설계·기획은 상위 모델, 단순 치환과 반복 편집은 저가 모델로 보내는 규칙을 먼저 세운다.
• 지출 내역을 모델별·세션별로 쪼갤 수 있으면 어떤 자동화가 돈을 먹는지 보인다. 월말 총액 하나로는 손댈 곳을 못 찾는다.
• 저렴한 프로필과 고성능 프로필을 미리 만들어두고 작업마다 골라 쓰는 방식이 실전에서는 가장 단순하다.

전망과 주의점

감싸는 구조인 만큼 본체가 크게 바뀌면 따라가야 하는 부담이 있고, 다른 제공자 경로는 변환을 거치므로 동작이 완전히 같다고 보기는 어렵다. 그럼에도 흐름은 분명하다. AI 도구 지출이 고정비가 되는 단계에 들어서면 관심사는 성능에서 단위 비용과 한도 관리로 옮겨간다. 회계 담당이 따로 없는 1인 운영자일수록 이 통제 장치를 먼저 갖춰야 한다.

출처: gremlord (https://gremlord.com/)