제미나이 4 아르곤 벤치마크 1위인데 왜 아직 못 쓰나—구글 AI 반격의 민낯

솔직히 처음 소식을 들었을 때 반응이 "또?" 였다. 구글이 AI 모델 발표할 때마다 "이번엔 진짜"를 외쳐왔기 때문이다. 제미나이 1.5, 2.0, 3.0… 숫자가 올라갈 때마다 "GPT를 잡았다"는 말이 따라붙었고, 실제로 써보면 뭔가 아쉬운 구석이 있었다.

그런데 이번 제미나이 4 아르곤(Gemini 4 Argon)은 좀 다르게 보인다. 숫자 자체보다 어떤 방향을 선택했는가가 눈에 걸린다.

100만 토큰 출력, 숫자로만 보면 안 된다

제미나이 4 아르곤의 가장 큰 스펙 변화는 출력 토큰이 64,000개에서 100만 개로 늘었다는 것이다. 약 15배다.

일반 사용자 입장에서 이게 무슨 말인지 와닿지 않을 수 있다. 쉽게 말하면, 기존 모델은 소설 한 편 분량을 출력하다가 중간에 "여기까지요"라고 잘라버렸다. 100만 토큰이면 소설 10권 이상을 한 번에 뽑을 수 있다는 얘기다.

이게 코딩에서 의미하는 바는 더 크다. 기존 AI 코딩 도구들의 한계는 컨텍스트 창 끝에 다다르면 앞에서 한 작업을 잊어버린다는 것이었다. 100만 토큰 출력이 가능하면 대형 소프트웨어 프로젝트 전체를 한 세션에서 수정하는 게 가능해진다.

구글이 이 기능을 처음부터 내세운 건 분명한 이유가 있다. 오픈AI의 GPT-6 아스트라(Astra)도, 앤트로픽의 클로드 오퍼스 5.5도 아직 이 수준의 출력을 공식 지원하지 않는다. 기술적 차별점을 확보한 셈이다.

다만 "100만 토큰 출력"이 실제 작업에서 항상 이점을 준다는 보장은 없다. 토큰이 많아질수록 모델이 "집중력을 잃는" 현상, 즉 긴 컨텍스트에서 정확도가 떨어지는 문제는 여전히 연구 중인 과제다. 아직 실사용 데이터가 제한적이라 이 점은 두고봐야 한다.

벤치마크 성적표, 어디까지 믿을 수 있나

구글이 공개한 성적표는 화려하다. 19개 벤치마크 중 14개에서 GPT-6 아스트라를 앞섰고, 4개는 아스트라가 우세, 1개는 동점이라고 했다. 특히 실제 소프트웨어 엔지니어링 작업을 평가하는 DeepSWE v1.1에서는 77.9%로 GPT-6 아스트라(74.1%)와 클로드 오퍼스 5.5(74.2%)를 모두 제쳤다.

그런데 이 벤치마크를 얼마나 신뢰해야 할까?

한 가지 분명한 단서가 있다. 독립 평가 기관인 Artificial Analysis의 Intelligence Index에서 아르곤은 53점으로, GPT-6 아스트라, 클로드 페이블 5.1과 동점이다. 그리고 클로드 오퍼스 5.5, 클로드 소넷 5.5, 메타의 뮤즈 원더 풀(Muse Wonder Full)보다는 낮다.

"19개 중 14개 1위"는 구글이 선택하고 정렬한 지표다. 독립 기관 평가에서는 공동 2위권 수준이다. 이걸 어떻게 읽어야 하냐면—제미나이 4 아르곤이 확실히 GPT 진영과 대등한 수준에 올라왔다는 건 맞고, GPT를 압도했다는 건 과장이다. 10년 블로그 하면서 기업이 자체 발표 벤치마크를 내놓을 때 무조건 의심부터 해야 한다는 걸 배웠다.

소프트웨어 엔지니어링 분야에서만큼은 수치가 실제 의미 있어 보인다. DeepSWE는 독립적인 코딩 평가 벤치마크로 업계 신뢰도가 높은 편이다. 거기서 77.9%를 찍은 건 주목할 만하다.

왜 사이버보안 전문가들에게만 먼저 열어줬나

이게 가장 흥미로운 부분이다.

구글은 제미나이 4 아르곤을 "페어윈드(Fairwind) 프로그램"을 통해 사이버 방어 파트너에게만 먼저 공개했다. 정부 기관, 의료 기관, 통신사, 핵심 인프라 운영 기관들이 우선 대상이다. 클라우드 보안 기업인 Wiz는 이미 아르곤으로 공공 인프라 취약점 감사를 하고 있다.

일반 사용자는 2단계(유료 API + 구글 AI 울트라 구독자)를 기다리고 있는데, 정확한 일정조차 공개되지 않았다.

이 결정의 배경은 이렇다. 아르곤은 소프트웨어 취약점을 자율적으로 발견하고, 검증하고, 패치까지 한다. 방어 입장에서는 굉장히 강력한 도구인데, 뒤집으면 공격 도구로도 쓸 수 있다는 뜻이다. 구글 스스로도 이 점을 인정하고 있고, 프롬프트 인젝션 공격, 데이터 보안, 모델 오용 가능성을 이유로 신중한 접근을 택했다.

이걸 두고 두 가지 해석이 가능하다. 하나는 "구글이 진짜 강력한 모델을 만들었고, 그 책임을 인식하고 있다"는 해석. 다른 하나는 "아직 완성도가 부족해서 제한 공개로 리스크를 줄이는 것"이라는 해석이다.

개인적으로는 두 번째 쪽에 좀 더 무게를 둔다. 오픈AI가 GPT-4를 출시할 때도, 앤트로픽이 클로드 3을 낼 때도 비슷한 논리로 단계적 공개를 했는데, 결국 빠르게 전면 개방됐다. "너무 강력하니까 천천히"라는 말이 실제로는 마케팅 효과와 혼재되어 있다는 걸 이 바닥에서 몇 번 봐왔다.

그래서 구글의 반격은 성공인가

결론부터 말하면: 아직 모른다.

제미나이 4 아르곤이 기술적으로 GPT-6, 클로드 수준에 왔다는 건 인정할 수 있다. 100만 토큰 출력은 차별점이다. DeepSWE 77.9%는 소프트웨어 엔지니어링 영역에서 실질적 의미가 있다.

그런데 AI 경쟁의 승패는 모델 스펙보다 생태계에서 결정된다는 걸 지난 몇 년이 증명해줬다. GPT가 강력한 건 오픈AI 플레이그라운드, 코파일럿, 챗GPT 앱이라는 플랫폼 때문이다. 클로드가 개발자 사이에 파고든 건 API 품질과 컨텍스트 처리 안정성 때문이다.

구글은 제미나이 모델을 내놓을 때마다 생태계 통합이 느렸다. 구글 워크스페이스 안에서의 통합은 빠른데, 외부 개발자 생태계는 상대적으로 뒤처졌다. 이번 아르곤이 단순히 "벤치마크가 높은 모델"이 아니라 개발자들이 실제로 쓰는 도구가 될 수 있느냐는 별개의 문제다.

지켜볼 만한 시점은 유료 API와 AI 울트라 구독자 공개 이후다. 그때 실사용 피드백이 쌓이면 그게 진짜 성적표가 된다. 지금 당장은 구글이 숫자는 만들어냈지만, 판도를 뒤집었다고 부르기엔 이르다.