자율무기 거부한 앤트로픽 — 펜타곤 AI 계약에서 클로드만 빠진 이유

5월 1일, 미 국방부는 오픈AI, 구글, 마이크로소프트, 아마존, 오라클, 엔비디아, 스페이스X, 리플렉션AI 등 8개 기업과 기밀 네트워크용 AI 협약을 체결했다. 미군의 정보 분석과 작전 지원에 AI를 본격 투입하겠다는 선언이었다.

그런데 목록에 이름이 없는 회사가 하나 있다. 앤트로픽이다.

몇 달 전까지만 해도 앤트로픽은 미 국방부 기밀 네트워크에서 AI 서비스를 제공할 수 있도록 허가받은 유일한 AI 기업이었다. 그 자리를 잃었다. 그것도 자발적으로.

최후 통첩이 온 날

2월 24일, 피트 헤그세스 미 국방장관이 다리오 아모데이 앤트로픽 CEO를 펜타곤으로 불렀다. 내용은 단순했다. 클로드를 "모든 합법적 목적"에 무제한으로 쓸 수 있도록 허용하라. 기한은 2월 27일 오후 5시 1분.

아모데이는 이틀 뒤 공개 성명을 냈다. "우리 입장은 바뀌지 않는다." 앤트로픽이 선을 그어온 두 가지는 명확했다. 완전 자율살상무기 — 인간의 판단 없이 표적을 정하고 공격하는 시스템 — 와 대규모 국내 감시. 이 두 가지에 클로드를 쓰는 건 안 된다는 거였다.

2월 27일, 트럼프 대통령은 연방 기관에 앤트로픽 기술 사용을 즉각 중단하라고 지시했다. 헤그세스 장관은 앤트로픽을 "공급망 위험(supply chain risk)"으로 공식 지정했다. 방산 협력업체와의 계약도 끊기게 됐다.

의회 청문회에서 헤그세스는 아모데이를 "이념적 광인(ideological lunatic)"이라고 불렀다.

원래 어떻게 된 회사였나

이 대목이 흥미롭다. 앤트로픽은 AI 안전을 핵심 가치로 내세우는 회사다. 설립자들 상당수가 오픈AI 출신이고, 이들이 오픈AI를 떠난 명분도 AI 안전에 대한 이견이었다. 회사 구조 자체가 영리 법인이지만 안전 사명을 최우선에 두는 Public Benefit Corporation 형태다.

그런 회사가 왜 군사 계약을 맺고 있었냐고 물을 수 있다. 앤트로픽 측 답변은 이렇다. 군사적 사용이 다 나쁜 건 아니다. 물류 최적화, 정보 분석, 행정 업무 — 이런 영역엔 AI가 쓰일 수 있다. 다만 인간 개입 없는 살상 판단과 민간인 사찰은 다른 문제라는 거다. 선을 긋고 계약했다는 얘기다.

국방부는 그 선이 불편했다. 군대에서 사용할 기술의 범위를 민간 기업이 정할 수 없다는 논리였다. "합법적 사용이면 다 된다"는 입장.

양측의 해석이 갈렸다. 앤트로픽에겐 허용할 수 없는 선이었고, 국방부에겐 납품 계약에 조건을 다는 납품업체였다.

소송과 법원, 그리고 결과

앤트로픽은 가만히 있지 않았다. 3월 9일, 캘리포니아 연방지방법원과 DC 연방항소법원에 동시 소송을 냈다. 공급망 위험 지정이 부당하다는 내용이었다.

3월 26일, 연방지방법원은 앤트로픽 손을 들어줬다. 잠정 금지 명령이 내려졌다. 그런데 4월 8일, DC 항소법원이 이를 뒤집었다. 앤트로픽의 집행 정지 신청을 기각했고, 공급망 위험 지정은 유효하게 됐다.

그 사이 오픈AI는 국방부와 새 협약을 맺었다. 헤그세스가 앤트로픽을 압박한다고 발표하고 몇 시간 만이었다. 일론 머스크의 xAI(그록)도 기밀 네트워크 승인을 받았다. 스페이스X, 구글, 마이크로소프트, 아마존, 오라클, 엔비디아도 뒤따랐다.

5월 1일 협약 발표 때 앤트로픽 이름은 없었다.

원칙의 비용

솔직히 이 상황을 보면서 복잡한 감정이 든다. 앤트로픽이 틀렸다는 생각은 안 한다. 완전 자율살상무기에 AI를 무제한으로 쓰겠다는 군대의 요구가 당연히 수용돼야 한다고 보기도 어렵다. 역사적으로 그런 기술이 어디에 쓰였는지를 보면.

그런데 동시에 이 결과가 씁쓸한 이유가 있다. 원칙을 지킨 회사가 200억 달러짜리 계약에서 밀려났고, 그 자리를 "모든 합법적 목적에 OK"라고 한 경쟁사들이 채웠다. 오픈AI, 구글, 엔비디아 — 이 회사들이 국방부 기밀 네트워크에서 어떤 목적으로 어떻게 쓰일지는 외부에서 알 수 없다.

AI 업계에서 안전을 이야기할 때 가장 목소리가 큰 회사가 앤트로픽이다. 그 회사가 정작 정부의 압박에 원칙을 지킴으로써 시장 접근성을 잃고 있다. 반면 안전에 덜 엄격한 경쟁사들은 정부 계약을 싹쓸이하고 있다. 이게 좋은 인센티브 구조인지 묻지 않을 수 없다.

앤트로픽의 다음 행보

국방부 계약을 잃은 앤트로픽은 방향을 틀었다. 지난주 블랙스톤, 골드만삭스 등 월가 대형사들과 공동 벤처를 출범했다. 총 약 15억 달러 규모. 기업 AI 도입을 가속하겠다는 계획이다. 블랙스톤, 헬만앤드프리드먼이 각각 약 3억 달러, 골드만삭스가 1억 5000만 달러를 투입한다.

군사 계약이 막히면 민간 기업 시장을 파고든다는 전략이다. 기업 AI 컨설팅이라는 게 군사 프로젝트만큼 규모가 크진 않겠지만, 적어도 자사 원칙과 충돌하지는 않는다.

소송은 아직 진행 중이다. 공급망 위험 지정에 대한 항소심 결과에 따라 다시 판이 바뀔 수도 있다.

앞으로가 더 문제다

이 이야기에서 내가 가장 불편한 부분은 따로 있다. 지금 국방부 기밀 네트워크에서 작동하게 될 AI들 — 오픈AI, 구글, 엔비디아의 모델들 — 이 어떤 제한 하에 어떤 목적으로 쓰일지 우리는 모른다. "합법적 사용"이라는 말이 실제로 무엇을 포함하는지도 공개되지 않았다.

앤트로픽이 이 자리에 있었다면 적어도 어떤 선이 있었을 것이다. 지금은 그 선을 그으려는 회사가 아예 없는 상태다.

AI 안전이 그냥 마케팅 문구가 아니라 실제 원칙이라면, 그 원칙이 가장 필요한 곳이 어딘지는 분명하다. 전쟁터다. 그리고 지금 그 원칙을 고집한 회사가 그 자리에서 쫓겨났다.

씁쓸한 결말이다.