제미나이, 영상 분석 토큰 최대 88% 절감

구글(Google)이 9월 1일 제미나이(Gemini) 모델군에 '에이전트형 영상 이해(agentic video understanding)' 기능을 추가했다. 대상은 제미나이 3.7 플래시, 3.6 플래시, 3.5 플래시 라이트 세 종이다. 구글 딥마인드(Google DeepMind)의 발표에 따르면 표준 영상 분석 벤치마크에서 토큰 소비는 최대 88%, 비용은 최대 66% 줄었고 품질은 최대 7% 올랐다.

무슨 일인가

지금까지 제미나이의 영상 처리는 '정적' 방식이었다. 영상을 기본 초당 1프레임으로 잘라 전부 모델에 밀어 넣는 식이라, 10분짜리 영상이면 600장 가까운 이미지를 매번 읽어야 했다. 영상이 길어질수록 토큰과 비용이 비례해 늘어나는 구조다.

새 기능은 이 흐름을 뒤집는다. 모델이 추론 능력과 자체 영상 도구를 결합해 필요한 구간만 골라 탐색·스캔·정밀 확인한다. 시각 프레임뿐 아니라 오디오와 자막 텍스트까지 함께 뒤진다. 구글은 이 접근을 앞서 내놓은 '에이전트형 비전'(코드 실행과 이미지 이해를 결합한 기능)의 영상판이라고 설명한다.

핵심 짚어보기

기능적으로 새로 열린 가능성은 세 가지다. 첫째, 1초 미만 단위로 특정 순간을 찾아내는 정밀 검색. 둘째, 이상 징후 탐지 정확도 향상. 셋째, 화면 속 개체를 정확히 세는 작업이다. 이전에는 프레임을 뭉텅이로 읽어 "대략 이쯤"이라고 답했다면, 이제는 의심 구간으로 되돌아가 다시 들여다보는 식이다.

사용 방법도 간단하다. 구글 AI 스튜디오(Google AI Studio) 또는 제미나이 엔터프라이즈 에이전트 플랫폼에서 API 설정을 'agentic'으로 바꾸면 끝이다. 업로드한 영상 파일과 유튜브 영상 모두 지원한다. 별도 모델을 갈아타는 것이 아니라 기존 플래시 계열에 스위치 하나가 추가된 셈이라, 이미 제미나이 API를 쓰는 개발자라면 오늘부터 바로 시험할 수 있다.

1인기업 실전 적용 포인트

• 유튜브 채널을 운영한다면 경쟁 채널 영상 URL을 넘겨 "훅이 나오는 시점, 자막 전환 타이밍, 화면 구성이 바뀌는 지점"을 초 단위로 뽑게 하자. 비용이 이전의 3분의 1 수준으로 내려가 매일 돌려도 부담이 적다.
• 본인 촬영 원본에서 "말이 끊긴 구간, 재녹음한 부분, 침묵"을 찾아 편집 컷 목록을 자동 생성하는 용도로 쓸 수 있다. 오디오와 자막을 함께 보는 특성 덕에 '다시'라고 말한 뒤 재촬영한 구간을 잡아내는 데 유리하다.
• 온라인 강의를 판다면 수강생이 올린 화면 녹화에서 오류 발생 순간만 찍어 주는 지원 봇을 만들 수 있다. 영상 전체를 읽지 않으니 문의 1건당 비용을 계산해 유료 지원 상품에 붙이기 쉽다.
• 처음엔 3.5 플래시 라이트로 시작해 결과 품질을 확인한 뒤 상위 모델로 올리는 순서가 좋다. 절감 폭은 영상 길이와 질문 유형에 따라 달라지므로 자기 데이터로 실측하는 게 우선이다.

전망

영상은 텍스트·이미지보다 훨씬 비싼 입력이라 1인 개발자가 다루기 어려운 영역이었다. 이번 변화는 '전부 읽는' 방식에서 '필요한 곳만 읽는' 방식으로 비용 곡선을 꺾었다는 점에서 의미가 크다. 다만 구글이 밝힌 수치는 벤치마크 기준 최대치이며, 에이전트가 구간을 탐색하는 만큼 응답 지연은 늘어날 수 있다. 실시간성이 필요한 서비스보다는 배치로 돌리는 분석 자동화에 먼저 붙이는 것이 현실적이다.

출처: 구글 공식 블로그 (https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-agentic-video-in-gemini/)