코딩 에이전트의 도구 선택, 1.7만 세션 실험

개발자 도구 마케팅 회사 아마추어(Armature)가 9월 3일 흥미로운 실험 결과를 공개했다. 클로드 코드(Claude Code)·코덱스(Codex)·커서(Cursor) 세 코딩 에이전트에게 「데이터베이스가 필요해」 「청구서를 이메일로 보내 줘」 같은 과제를 주고, 어떤 외부 서비스를 골라 실제로 설치하는지 16,893개 세션에 걸쳐 관찰한 것이다. 세션 전체의 프롬프트·사고 과정·코드 변경분까지 모두 공개했다.

무슨 일인가 — 왜 「선택」을 측정했나

실험의 출발점은 작은 관찰이었다. 초보 바이브 코더가 「앱을 다시 열어도 입력한 게 남아 있게 해 줘」라고 요청했을 때도, 시니어 엔지니어가 「비용이 예측 가능한 완전관리형 DB를 골라 줘」라고 요청했을 때도 에이전트는 같은 서비스(네온, Neon)를 추천했다. 무료 티어가 있고 설치가 간단하며 방치해도 멈추지 않는다는 이유였다. 사람·코드베이스·표현이 전부 달랐는데 결론이 같았던 것이다.

이 현상이 중요한 이유는 두 가지다. 개발자에게는 「에이전트의 판단을 얼마나 믿어도 되는가」의 문제이고, 서비스 회사에게는 생존의 문제다. 버셀(Vercel)은 지난 4월 전체 배포의 30% 이상이 코딩 에이전트에서 시작됐고 6개월 만에 10배 늘었다고 밝혔다. 이제 고객이 아니라 에이전트가 제품을 고르는 시대가 열리고 있다는 뜻이다.

핵심 짚어보기 — 실험 설계가 말해 주는 것

아마추어는 공개 깃허브 저장소 수천 개를 분석해 언어·프레임워크·배포 플랫폼·팀 규모 분포를 뽑고, 기업 코드가 비공개라는 편향을 보정한 뒤 75개 저장소를 10개 언어로 새로 만들었다. 가짜 회사명·가짜 커밋 이력·가짜 API 키를 쓰되 lockfile은 실제 패키지 레지스트리와 대조해 현실성을 확보했다.

요청자 페르소나는 넷이다. 증상만 말하는 바이브 코더, 카테고리명을 언급하는 주니어, 요구사항과 회피 조건을 명시하는 시니어, 규정·구매 절차까지 따지는 대기업 엔지니어. 여기에 비용이나 사용량 조건을 덧붙인 변형을 20~25% 섞어 1,163개 프롬프트를 만들었다. 실행은 세 종류의 샌드박스를 돌려가며 했고, 제미나이 3.7 플래시(Gemini 3.7 Flash)가 「가상의 사람」 역할로 에이전트와 대화를 주고받았다.

설계 과정에서 나온 발견 하나가 눈에 띈다. 처음부터 「질문 없이 바로 구현해」라고 시키면 에이전트는 외부 서비스를 고르지 못하고 모든 걸 직접 만드는 쪽으로 기울었다. 승인을 구할 기회가 없으니 안전한 선택으로 자체 구현을 택한 것이다. 그래서 「먼저 분석하고 추천하라 → 사람이 승인 → 구현」의 2단계로 바꿨다.

1인기업 실전 적용 포인트

• 외부 서비스 결정은 반드시 2단계로 시킨다. 「추천 3개와 이유를 먼저 보여 주고, 내가 고르면 구현해」라고 프롬프트를 나누면 에이전트가 무리하게 직접 구현하는 낭비를 막을 수 있다.
• 비용 조건을 프롬프트에 명시한다. 실험은 비용·사용량 언급이 결과를 바꾸는지 따로 측정했다. 1인기업이라면 「월 1만 원 이하」 「무료 티어 필수」 같은 조건을 한 줄 넣는 것만으로 선택지가 달라진다.
• 에이전트 추천을 그대로 믿지 말고 공개 트레이스를 참고한다. 아마추어가 공개한 세션 기록에서 내 스택과 비슷한 저장소를 찾아, 에이전트가 어떤 근거로 어떤 서비스를 골랐는지 확인하면 결정 시간이 줄어든다.
• 내 제품이 SaaS라면 「에이전트에게 읽히는 문서」를 준비한다. 무료 티어·설치 절차·중단 정책처럼 에이전트가 추천 근거로 삼는 정보를 README와 문서 첫 화면에 명확히 적어 두는 것이 새로운 마케팅이다.

전망 / 주의점

이 실험은 아마추어 스스로 밝혔듯 「코딩 에이전트의 선택에 영향을 주는 방법」을 파는 회사의 연구다. 결과 해석에는 그 이해관계를 감안해야 한다. 그럼에도 에이전트가 서비스를 고르는 기준이 사람마다가 아니라 놀랄 만큼 일관된다는 관찰은 시사하는 바가 크다. 선택의 주체가 바뀌면 마케팅의 대상도 바뀐다. 카테고리별 순위와 상세 결과는 공개 대시보드에서 직접 탐색할 수 있다.

출처: HN / Armature (https://armature.tech/blog/which-tools-coding-agents-install)