1500번 제출로 232배, 에이전트 자동연구 실험

한 개발자가 코딩 에이전트에 반복 루프를 물려 GPU 커널 대회에서 베이스라인 대비 232배 빠른 결과를 만들었다. 참가자 183명 중 12위다. 그는 14일 동안 1,500회가 넘는 제출을 돌렸고, 그 대부분을 사람이 아니라 에이전트가 수행했다. 블로그 필명 산칼프(sankalp)가 7월 8일 공개한 참가기다.

무슨 일인가

대회는 GPU 모드(GPU Mode)가 코어 오토메이션(Core Automation)과 함께 연 '자동 연구(auto-research)' 주제 행사였다. 과제는 배치 정사각 행렬의 컴팩트 하우스홀더 QR 분해(QR decomposition) 커널을 구현하는 것으로, 파이토치의 torch.geqrf와 같은 형태를 돌려줘야 했다. 채점기는 복원한 행렬이 원본과 일치하는지, 직교성이 유지되는지를 검사한 뒤 512·1024·2048·4096 등 여러 크기에 걸친 실행 시간의 기하평균으로 순위를 매겼다.

다만 이 기사에서 중요한 건 문제 자체가 아니라 환경이다. 주최 측은 popcorn CLI라는 명령줄 도구를 제공했고, 에이전트는 이걸로 직접 코드를 시험하고 벤치마크를 돌리고 리더보드에 제출까지 할 수 있었다. 채점 결과도 총점만 오는 게 아니라 행렬 크기별로 쪼개져 돌아왔다. 사람 손이 한 번도 끼지 않는 '제출 → 점수 → 수정' 고리가 완성되자, 반복 횟수는 사실상 시간과 크레딧 문제로만 남았다. 참가자들이 제출을 몰아치는 바람에 대기열이 길어지고 작업 공간의 컴퓨트 크레딧이 바닥나는 일까지 벌어졌다.

핵심 짚어보기

저자는 이 방식을 누군가 '루프 엔지니어링(loop engineering)'이라 불러도 상관없다고 적었다. 흥미로운 건 그의 위치다. 그는 GPU 커널을 업으로 삼은 적이 없고 트라이톤(Triton) 기초에 쿠다(CUDA)를 조금 아는 정도였다. 리더보드에서 바로 위 순위는 엔비디아의 수석 엔지니어였다.

그럼에도 그가 남긴 결론은 두 갈래다. 하나, 도메인 지식이 얕아도 하네스와 에이전트 루프만 제대로 갖추면 베이스라인 대비 준수한 속도 향상은 나온다. 둘, 상위권은 거기서 갈린다. 저자는 그람-슈미트와 하우스홀더 반사를 직접 공부하고 클로드(Claude)와 주고받으며 직관을 쌓은 뒤에야 '블록 하우스홀더 알고리즘에 트레일링 WY 업데이트'라는 아키텍처를 확정했다. 그가 정리한 문장은 자동화를 다루는 사람 모두에게 해당한다. 아는 게 많을수록 더 나은 질문을 던질 수 있고, 그건 '모르는 줄도 몰랐던 것'을 '아는 모름'으로 바꾸는 작업이다.

또 하나의 고비는 정체였다. 같은 방향으로만 깎으면 루프는 지역 최적점에 갇힌다. 저자는 서로 다른 접근을 일부러 섞어 넣는 '아이디어 다양성'으로 탈출구를 만들었다고 밝혔다.

1인기업 실전 적용 포인트

• 자동 채점기부터 만들고 루프를 붙여라. 이 사례가 굴러간 이유는 성능이 숫자 하나로 줄어들었기 때문이다. 랜딩 전환율, 영상 렌더 시간, 응답 토큰 수, 발행까지 걸린 분 단위 시간처럼 사람 판단 없이 측정되는 지표를 먼저 정하고 그다음에 에이전트를 붙인다.
• 제출 한 번을 명령 한 줄로 줄여라. 1,500회 반복이 가능했던 건 테스트·벤치·제출이 CLI 한 줄이었기 때문이다. 중간에 사람이 클릭해야 하는 단계가 하나라도 있으면 반복 횟수는 두 자릿수에서 멈춘다.
• 에이전트를 돌리기 전 30분은 본인이 공부하라. 프롬프트 품질은 도메인 이해에 비례한다. 유튜브 영상 몇 개와 LLM과의 문답만으로도 '무엇을 물어야 하는지'가 바뀐다.
• 같은 프롬프트로만 돌리지 말고 갈래를 나눠라. 접근이 다른 프롬프트 2~3개를 병렬로 두면 한 갈래가 막혀도 다른 갈래가 벽을 넘는다.

전망 / 주의점

이 실험은 무제한에 가까운 제출이 허용된 대회 환경이었다는 점을 감안해야 한다. 실제 업무에서는 반복 한 번마다 토큰과 컴퓨트 비용이 그대로 청구된다. 즉 자동 연구 루프의 진짜 제약은 모델 성능이 아니라 '측정 가능한 문제를 골랐는가'와 '반복 단가를 얼마까지 낮췄는가'다. 브랜드 카피나 디자인처럼 점수를 기계가 매길 수 없는 일에는 같은 구조를 그대로 옮길 수 없다. 반대로 속도·비용·오류율처럼 숫자가 나오는 영역이라면, 전문가가 아니어도 루프 설계만으로 상위권 근처까지 갈 수 있다는 사례가 하나 더 쌓인 셈이다.

출처: sankalp's blog (https://sankalp.bearblog.dev/autoresearch/)