슬랙 속 AI 에이전트, 작업 전 과정 기록하기

슬랙(Slack)에서 @클로드를 부르면 앤트로픽(Anthropic)이 호스팅하는 격리 환경에서 클로드 코드(Claude Code)가 돌아간다. 편리하지만, 그 에이전트가 실제로 무엇을 읽고 어떤 명령을 실행했는지는 스레드 밖에서 보이지 않는다. AI 평가·관측 도구를 만드는 스코어카드(Scorecard)가 이 세션을 통째로 기록하는 설정 절차를 문서로 공개했다.

무슨 일인가 / 배경

클로드 태그(Claude Tag)는 팀 슬랙 워크스페이스 안에서 일하는 클로드다. 누군가 멘션하는 순간 세션이 시작되고, 앤트로픽이 호스팅하는 격리 환경에서 클로드 코드가 실행되며, 스레드가 조용해지면 끝난다. 스레드 하나가 곧 세션 하나다. 이 기능은 클로드 팀 또는 엔터프라이즈 플랜에서만 쓸 수 있고 설정은 조직 관리자만 할 수 있다.

세션이 클로드 코드로 돌아가기 때문에, 클로드 에이전트 SDK에 쓰이는 오픈텔레메트리(OpenTelemetry) 추적 방식이 그대로 통한다. 세션 하나가 기록 하나가 되고, 그 안에 사용자 발화·에이전트의 판단 과정·도구 호출이 시간순으로 남는다. 에이전트를 실무에 넣어본 팀이라면 이 그림이 왜 필요한지 바로 안다. 결과만 보이고 과정이 안 보이면 잘못된 결과를 고칠 방법이 없기 때문이다.

핵심 짚어보기

설정은 크게 세 단계다. 먼저 클로드 관리자 설정의 클라우드 환경 메뉴에서 앤트로픽 호스팅 환경을 새로 만들고, 네트워크 접근을 추적 서버에 닿을 수 있게 연다. 다음으로 환경변수 칸에 추적 엔드포인트와 인증 헤더, 상세 추적 스위치를 한 줄씩 넣는다. 문서가 안내하는 값에는 사용자 프롬프트 기록, 도구 상세 기록, 도구 내용 기록을 켜는 스위치가 모두 들어 있다. 마지막으로 클로드 태그 접근 설정의 슬랙 탭에서 이 환경을 지정하면 그때부터 추적이 켜진다.

함정도 문서에 명시돼 있다. 워크스페이스 단위로 환경을 걸면 클로드가 들어가 있는 모든 채널이 추적된다. 일부만 원하면 워크스페이스 설정은 건드리지 말고 채널별로 지정해야 한다. 이미 돌고 있는 스레드는 설정 변경을 보지 못하므로, 켠 뒤에는 새 스레드를 시작해야 한다. 프로젝트 ID를 잘못 넣으면 데이터가 조직에서 가장 오래된 프로젝트로 흘러 들어간다.

기록의 무게는 세션 종류마다 다르다. 채널 세션은 클로드가 들어가 있는 채널에 새 메시지가 올라올 때마다 생기며, LLM 호출 몇 번 뒤 '답할 필요 없음'에 해당하는 도구 호출로 끝나는 경우가 많다. 클로드에게 말을 걸지 않은 메시지에도 기록이 생긴다는 뜻이다. 스레드 세션은 수십에서 수백 번의 LLM 호출과 하위 에이전트 작업, 슬랙 답글·깃허브·셸 명령 호출을 포함하며 몇 시간씩 이어질 수 있다. 예약 트리거로 도는 루틴 세션은 슬랙 메시지 없이 지시문 자체가 프롬프트가 된다.

1인기업 실전 적용 포인트

• 켜기 전에 무엇이 밖으로 나가는지부터 계산하라. 기록에는 메시지 원문, 작성자 표시 이름, 핸들, 사용자·채널 식별자, 첨부 파일명, 셸 명령과 파일 경로, 깃허브 호출 내용까지 들어간다. 고객사 채널이 섞여 있다면 워크스페이스 전체가 아니라 내부 채널 한 곳만 지정하는 편이 안전하다.
• 비용 추적용으로 먼저 써보자. LLM 요청 기록에 모델명과 토큰 수가 남으므로 '이 업무 한 건을 자동화하면 토큰이 얼마 드는가'를 추정이 아니라 숫자로 답할 수 있다.
• 예약 루틴을 쓰는 경우 값이 가장 크다. 사람이 안 보는 시간에 도는 작업일수록 실패가 늦게 발견되는데, 도구 호출 입출력이 다 남으면 로그를 뒤지지 않고도 어디서 어긋났는지 짚어낼 수 있다.
• 이 구조는 슬랙 전용이 아니다. 같은 오픈텔레메트리 환경변수는 클로드 에이전트 SDK로 만든 자체 자동화에도 붙는다. 슬랙 봇을 안 쓰더라도 관측 배선 자체를 익혀둘 값어치가 있다.

전망과 주의점

관측성은 에이전트를 업무에 넣는 순간 선택이 아니라 전제가 된다. 다만 이번 문서가 안내하는 상세 추적은 아직 베타 플래그로 켜는 기능이고, 프롬프트와 도구 내용을 통째로 외부 서비스로 보내는 설정이다. 한국 개인정보보호법 적용 대상 데이터가 오가는 채널이라면 그대로 켜서는 안 된다. 문서는 신원 정보가 해시된 사용자 식별자로 제한된다고 밝히지만, 메시지 본문과 파일 경로 자체가 이미 민감정보일 수 있다는 점은 해시로 가려지지 않는다.

팀·엔터프라이즈 플랜과 관리자 권한이 필요하다는 문턱도 있다. 1인기업이라면 슬랙 봇을 붙이기보다, 자기 자동화 스크립트에 같은 방식의 기록 배선을 먼저 얹어보는 쪽이 현실적이다.

출처: 스코어카드 문서 (https://docs.scorecard.io/intro/claude-tag-tracing)