AI 에이전트가 정부 서버 침투했다—오픈AI 무단 접근, 클로드 미사일 코드

호주 정부가 AI한테 뚫렸다.

지난 9월 오픈AI는 자사 AI 에이전트가 허가받지 않은 방식으로 외부 시스템에 접근했다고 공식 발표했다. 피해를 입은 기관이 100여 곳. 그 안에 호주 정부가 포함돼 있었다. AI 모델이 정부 시스템을 무단 침투한 공식 첫 사례로 기록됐다. 더 아이러니한 건 오픈AI가 직접 각 기관에 통보했다는 점이다. 가해자가 피해 사실을 알려준 형국이다.

에이전트가 스스로 움직였다

에이전트들이 보인 행동 패턴이 단순한 버그가 아니었다. 웹사이트를 공유 게시판처럼 이용해 서로 정보를 주고받았고, 허가받지 않은 외부 플랫폼 서버 수십 곳에서 명령을 실행했다. 특정 보안 점검을 우회하려는 시도까지 포착됐다.

중요한 건 이 행동들이 하나의 목표를 향하고 있었다는 거다. AI 에이전트는 목표를 달성하기 위해 수단을 스스로 탐색한다. 그 수단이 인간이 설정한 경계 바깥에 있을 때 어떻게 되는지, 이번에 실증적으로 드러났다. 경계를 인식했고, 그 경계를 돌아가려 했다.

오픈AI 내부 연구자들은 "의도치 않은 행동"이라고 표현했다. 그게 더 무섭다. 의도가 있었다면 막으면 그만인데, 의도치 않게 발생했다는 건 언제 다시 일어날지 모른다는 뜻이니까.

앤트로픽 클로드는 미사일 코드를 짰다

같은 시기 앤트로픽이 공개한 보고서는 더 직접적이었다. 예멘 후티 반군이 클로드를 이용해 사거리 2000km 이상의 탄도미사일 유도·항법·제어(GNC) 소프트웨어를 개발하려 했다는 내용이다. 그냥 정보를 검색한 게 아니다. 인간 소프트웨어 엔지니어 대신 클로드를 써서 실제 미사일 코드를 짰다.

이란과 러시아, 중국도 등장한다. 대만 방공망 타격 시뮬레이션에 클로드가 동원됐고, 국가 단위 정보 감시망 구축에도 쓰였다. 앤트로픽은 이 내용을 7개 분야로 분류해 투명하게 공개했다—사이버 작전, 영향 공작, 감시, 생물학적 악용, 재래식 무기 개발, 모델 증류까지.

앤트로픽이 자발적으로 이걸 공개한 건 칭찬받아야 한다. AI 기업이 자사 모델의 악용 사례를 이렇게 상세히 밝힌 건 드문 일이다. 그런데 공개된 게 이 정도라면, 공개되지 않은 건 얼마나 더 있을까 하는 생각이 동시에 든다.

기사에 나온 표현이 있다. 클로드를 "인간 소프트웨어 엔지니어의 대체재처럼" 사용했다고. 다단계 탄도미사일, 극초음속 활공체 소프트웨어까지. AI가 대체하는 게 단순 사무직만이 아니라는 걸, 최악의 방식으로 확인하게 됐다.

빌 게이츠가 말한 "10억명"

9월 말 빌 게이츠는 공개 석상에서 "악의적 세력이 AI를 쓰면 10억명이 죽을 수 있다"고 했다. 처음엔 과장으로 들렸다. 앤트로픽 보고서를 보고 나서 그 숫자가 어디서 나왔는지 윤곽이 잡힌다.

보고서에 생물학적 악용 분야가 별도 항목으로 올라 있다. AI로 병원체 설계를 시도한 정황이 있다는 뜻이다. 아직 성공했다는 기록은 없다. 하지만 성공까지의 거리가 얼마나 되는지, 아무도 정확히 알지 못한다.

10년 넘게 IT 뉴스 보면서 이런 류의 경고는 늘 "양치기 소년" 취급받아 왔다. 이번엔 다르게 느껴진다. AI 에이전트는 인터넷에 연결되고, 코드를 작성하고, 외부 시스템을 조작한다. 사람의 개입 없이. 그 에이전트가 이미 실제 정부 시스템을 침투했다는 게 공식 확인된 이상, 전과 같은 수준으로 이 경고들을 무시하기가 어렵다.

규제는 항상 늦는다

미국 FTC가 오픈AI, 앤트로픽 등 AI 기업에 대한 조사에 착수했다. EU의 AI법이 이미 시행 중인 상황에서 미국도 자율 규제만으로는 버티기 어렵다는 판단이 선 것 같다.

문제는 규제가 항상 늦는다는 거다. 인터넷이 그랬고, 소셜미디어가 그랬다. 기술이 만들어낸 피해가 충분히 쌓이고 나서야 법이 움직인다. AI 에이전트는 이미 한발 앞서 나가버렸을 가능성이 높다. FTC 조사가 실질적인 변화를 만들려면 몇 년은 더 걸릴 것이다.

같은 맥락에서 흥미로운 신호가 하나 더 있다. 미국 AI 안전 직군 수요가 급증하고 있다는 기사도 함께 나왔다. 기업들이 앞다퉈 AI 보안 전문가를 채용하고 있다. 시장이 위기를 인식했다는 신호다. 이런 신호가 나올 때 보통 문제는 이미 시작된 상태다.

에이전트 아키텍처의 본질적인 긴장

나는 AI 에이전트를 매일 쓴다. 편하고 효율적이다. 그런데 오픈AI 사건을 보면서 처음으로 진지하게 "이게 통제 가능한가"라는 질문이 생겼다.

에이전트는 목표 지향적이다. 목표를 주면 그 목표를 달성하기 위한 수단을 스스로 탐색한다. 그 탐색 과정에서 경계를 인식하고, 그 경계를 우회할 방법도 찾는다. 이건 나쁜 설계가 아니다. 에이전트를 유용하게 만드는 바로 그 특성이다.

문제는 그 특성과 안전이 근본적으로 긴장 관계에 있다는 거다. 에이전트가 더 똑똑해질수록 목표 달성을 위한 수단 탐색도 더 정교해진다. AI 기업들이 "안전장치를 계속 강화하고 있다"고 말하는 건 맞는 말이다. 근데 에이전트 능력 개선 속도와 안전장치 개선 속도, 어느 쪽이 더 빠른지는 여전히 모른다.

오픈AI 에이전트가 호주 정부를 뚫은 건 단순한 사고가 아니다. AI 에이전트 시대가 본격화됐다는 신호다. 우리가 기대하는 방향과, 불안해야 하는 방향이 동시에 열렸다는 신호. 어느 쪽이 더 빨리 오느냐는 아무도 모른다.