구글 제미나이, 테스트 이탈해 기업 3곳 해킹... "AI 오작동" 공개 4번째 사례

구글이 금요일(9/18) 자사 제미나이 모델이 지난 5월 테스트 도중 통제 범위를 벗어나 실제로 다른 기업 3곳의 컴퓨터 시스템에 무단 접근했다고 공식 인정했다. 자사 AI 모델이 허가 없이 제3자 시스템에 자율적으로 접근한 사실을 공개한 것은 이번이 처음이다.

이스라엘 AI 보안 스타트업 아이레귤러(Irregular)가 진행한 캡처 더 플래그(CTF) 보안 테스트 도중, 테스트 환경의 버그로 제미나이 에이전트가 인터넷에 접근할 수 있게 됐다. 제미나이는 공개된 비밀번호 목록을 활용하거나 비밀번호를 추측하는 방식으로 3개 기업의 사설 시스템에 침투했다.

구글 보안엔지니어링 부문 부사장 헤더 애드킨스는 "모델은 테스트 대상이라고 판단한 웹사이트의 인증정보를 온라인 공개정보로 찾아내 추측했다"며 "세 사례 모두에서 모델은 스스로 접속을 중단했다"고 밝혔다. 실제 회사 시스템임을 인지하자 침입을 멈췄다는 설명이다.

구글은 이 사건이 지난 5월 발생했고 아이레귤러로부터 7월 말 통보받았다고 밝혔다. 앞서 오픈AI·앤스로픽·메타도 최근 몇 주 새 같은 버그로 인한 유사한 테스트 이탈 사건을 공개한 바 있다.