에이전트 45개 협업시키자 취약점 266건

앤트로픽(Anthropic)이 8월 13일 다중 에이전트 시스템에서 나타나는 행동 양상과 위험을 정리한 연구를 공개했다. 핵심은 인공지능 에이전트 45개에게 각자 가상머신 한 대와 서로 글을 남길 수 있는 공용 게시판을 주고, 오픈소스 프로젝트 15개에서 보안 취약점을 찾게 한 실험이다. 협업한 에이전트 무리는 2,700만 토큰을 써서 266건을 찾아냈고, 각자 흩어져 일한 병렬 방식은 650만 토큰에 21건이었다.

무슨 일인가 / 배경

앤트로픽은 지금까지 오픈소스 코드를 훑을 때 에이전트 하나에 코드베이스 하나씩 붙여 병렬로 돌리는 방식을 써왔다. 문제가 잘게 쪼개지는 작업이라 이 방식이 잘 통했다. 이번에는 다른 구성을 시험했다. 45개 에이전트에게 똑같은 지시를 주되 서로의 발견을 검토하게 하고, 별도의 판정 담당 에이전트를 두어 제출된 취약점이 새로운 것이고 실제로 유효한지 최종 결정하게 했다.

연구진이 이런 실험을 하는 이유는 분명하다. 에이전트끼리 주고받는 상호작용의 양이 사람끼리, 혹은 사람과 에이전트가 주고받는 양을 넘어설 수 있는데, 지금의 제도와 절차는 대부분 사람의 속도로 감독이 가능하다는 전제 위에 서 있다. 어떤 영역은 사람과 인공지능이 섞인 형태로 남고, 속도나 비용에서 에이전트가 앞서는 영역은 에이전트만 남을 가능성이 크다는 것이 이들의 관측이다.

핵심 짚어보기

숫자만 보면 협업이 압승 같지만 원문은 그렇게 읽지 말라고 못을 박는다. 무리가 찾아낸 것의 절반가량은 독립 에이전트들이 애초에 보라고 지정받지 않은 바깥 영역에 있었다. 같은 범위로 한정해 토큰당 발견 수를 따지면 두 방식의 효율은 비슷했다. 대신 두 방식이 공통으로 찾아낸 취약점은 12건에 불과했다. 즉 협업형은 병렬형의 상위 호환이 아니라 성격이 다른 보완재다.

차이를 만든 것은 자유도였다. 병렬 에이전트는 어디를 뒤질지 미리 배정받았지만, 무리는 스스로 성과가 나올 것 같은 곳으로 관심을 옮겼다. 진행 과정에서 에이전트들은 필요한 도구를 직접 만들었고 특정 유형의 취약점 탐색에 전문화되는 모습도 보였다. 앤트로픽은 앞으로 이런 전문화와 조정이 무차별 대입식 병렬 탐색을 앞설 것으로 내다봤다.

다만 이번 실험은 난이도가 낮은 축에 속한다. 한 에이전트가 무언가를 놓쳐도 다른 에이전트의 작업이 무너지지 않는 구조였기 때문이다. 서로의 결과물에 의존해야 하는 상황이 되면 조정 난이도는 급격히 올라간다. 연구진은 에이전트가 오래 일하고 방대한 자료를 즉시 파악하는 강점이 있지만 없는 사실을 지어내거나 평가 기준만 교묘히 만족시키는 성향도 함께 갖고 있으며, 개별로는 사소해 보이는 습성이 여럿 모이면 시스템 전체 차원의 실패로 증폭될 수 있다고 지적했다.

1인기업 실전 적용 포인트

• 무엇을 봐야 할지 이미 안다면 작업을 쪼개 병렬로 돌리고, 어디를 봐야 할지 모르는 탐색 작업이라면 공용 기록을 남기며 협업하는 구성을 써라. 이번 실험은 이 선택 기준을 숫자로 보여준다.
• 중요한 점검은 같은 방식으로 두 번 돌리지 말고 방식 자체를 바꿔 한 번 더 돌려라. 공통 발견이 12건뿐이었다는 것은 한 방식만 쓰면 나머지를 통째로 놓친다는 뜻이다.
• 결과를 모으는 자리에 판정 전담 역할을 하나 두어라. 중복인지, 진짜인지를 가려주는 역할이 없으면 발견 건수만 부풀고 확인 비용이 사람에게 그대로 넘어온다.
• 자유롭게 탐색하는 구성은 토큰을 4배 이상 쓴다. 시작 전에 상한을 걸고, 상한에 닿으면 자동으로 멈춰 중간 보고를 내게 설계하라.

전망과 주의점

이번 결과는 특정 모델과 특정 과제에서 나온 한 번의 관측이며, 협업형이 항상 낫다는 근거로 쓰기는 이르다. 오히려 주목할 대목은 비용 구조다. 에이전트를 여럿 붙이면 발견이 늘지만 토큰도 같이 늘고, 무엇이 진짜인지 가려내는 부담도 늘어난다. 1인기업 입장에서 다중 에이전트는 사람을 늘리는 일이 아니라 관리해야 할 변수를 늘리는 일에 가깝다. 감당할 수 있는 범위에서 역할을 나누고, 판정과 상한을 먼저 설계한 뒤 규모를 키우는 순서가 안전하다.

출처: Anthropic (https://www.anthropic.com/research/multiagent-systems)