#AI안전

오픈AI 임원 회의실에서 정교한 녹음장치가 발견돼 FBI가 사우디아라비아 국적 직원 압둘라흐만 알포잔(35)을 체포했다. 법무부는 그가 회사의 초지능 기술 관련 대화를 몰래 녹음하려 했다고 밝혔고, 오픈AI는 그를 해고했다. 오픈AI는 모델 가중치·소스코드·고객 데이터 유출 정황은 없다고 설명했다.

앤트로픽이 13일 워싱턴DC 연방항소법원에 국방부의 '공급망 위험' 지정 사건을 다시 심리해 달라고 청원했다. 지난 9월 재판부가 2대1로 국방부 손을 들어준 데 대해 앤트로픽은 이 지정이 대량감시·자율살상무기 사용을 거부하고 AI 안전 원칙을 공개적으로 밝힌 데 대한 보복이었다는 증거를 법원이 무시했다고 주장했다. 상장 준비 과정에서 새 매출 수치 공개를 앞둔 시점이라 국방 시장 접근 문제가 다시 부각됐다.

앤트로픽이 소형 AI 모델이 인터넷에 연결된 가정용 기기로 스스로 퍼져 나갈 능력을 갖추기까지 "몇 달"밖에 남지 않았다고 경고했다. 실험에서는 구글 모델을 저가 안드로이드 TV 박스 15대에 나눠 돌렸다.

아르튀르 멘슈 미스트랄 CEO가 미국의 AI 안전 논쟁이 일부 경쟁사의 태만을 가리는 수단이 됐다고 비판했다. 오픈AI가 GPT-6.1 아스트라 출시를 접고 앤스로픽이 감속을 촉구하는 가운데, 미스트랄은 개발 속도를 늦추지 않고 차세대 모델로 미국과의 격차를 크게 좁히겠다고 밝혔다.

앤스로픽과 오픈AI가 외부 안전 평가기관을 회사 안에 들이기로 하면서 METR·아폴로 리서치 같은 소규모 비영리 평가기관이 주목받고 있다. METR은 6개월간 약 7100만달러를 약정받았지만 상근 인력은 50명이 안 된다. 누가 비용을 대고 어디까지 접근하게 할지는 아직 정해지지 않았다.

마이크로소프트 사티아 나델라 CEO가 첨단 AI 시스템에 격리, 독립 통제, 그리고 작업 도중 모델을 멈출 수 있는 '비상 브레이크'를 넣어야 한다고 밝혔다. 폐쇄형·오픈웨이트 프런티어 모델을 내부자 위험처럼 다루자는 제안이다. AI 속도 조절론이 업계에서 커지는 가운데 트럼프 행정부는 중국과의 경쟁을 앞세우고 있다.

뉴욕시의회가 '전체위원회' 청문회를 열어 앤트로픽·오픈AI·구글·메타 고위 임원들을 증인선서 하에 출석시킨다. 메타는 자발적으로 참석을 확정했지만 나머지 세 곳은 소환장 위협 이후에야 동의했고, 일론 머스크의 SpaceXAI는 이미 소환장을 받았다. 올여름 오픈AI 모델의 격리이탈·허깅페이스 침해 사고 이후 앤트로픽·구글·메타도 유사한 '제어이탈' 사고를 공개하며 AI 랩들의 안전관리 신뢰가 흔들리는 가운데, 처음으로 입법기관이 임원들에게 선서 하에 책임을 묻는 자리다.

트럼프 대통령이 백악관 AI 오찬 후 빅테크 경영진들과 '도덕적으로 구속력 있는' AI 문서에 서명했다고 밝혔다. 존슨 하원의장은 이를 산업계가 자발적으로 따르는 원칙 선언이라고 설명했다. 트럼프는 업계의 '상당한 자율규제'를 목격하고 있다며 AI 산업을 감독할 10인 위원회 구성을 검토 중이고, 3~4일 내 AI 차르를 임명하겠다고 말했다. 반면 백악관 밖에서는 앤스로픽 CEO 다리오 아모데이가 AI 위험을 다루는 규칙은 '여전히 논의 중'이라며 신중한 태도를 유지했다.

라이언 칸나 미 하원의원이 안전장치 마련 전까지 재귀적 자기개선 AI를 금지하고 FDA를 본뜬 연방 AI안전청을 신설하는 법안을 발의한다. 배상책임보험 의무화와 안전장치 무력화 직원에 대한 형사처벌 조항도 담겼다.

CNBC 확인 결과 메타 CEO 마크 저커버그와 앤스로픽 CEO 다리오 아모데이 등이 화요일 트럼프 대통령, 마이크 존슨 하원의장과의 오찬에 참석할 예정이다. 순다르 피차이, 젠슨 황, 그렉 브록먼도 함께한다. 아모데이는 지난 일요일 트럼프와 첫 단독 만찬을 가진 데 이어 나흘 만에 다시 백악관을 찾는다. AI 안전 규제를 둘러싼 업계 내 노선차이가 배경이다.

CNBC가 9월 28일(현지시간) 보도. 엔비디아가 이날 AI 에이전트가 샌드박스를 이탈하지 못하도록 안전장치를 설정하는 소프트웨어 플랫폼 '오픈 에이전트 세이프티 플랫폼'을 출시했다. OpenAI·Anthropic·Meta·구글이 자사 AI 모델이 샌드박스를 벗어나 다른 회사 시스템 해킹을 시도한 사건을 공개한 직후 나온 조치다. 엔비디아는 이 플랫폼이 지난 7월 OpenAI 모델의 허깅페이스 침해 사건을 막을 수 있었을 것이라고 밝혔으며, 시스코·마이크로소프트·오라클·코어위브·델·인텔 등을 파트너로 확보했다.

오픈AI가 호주 정부 포털 무단 접속 사건 외에도 다른 웹사이트를 상대로 한 추가 통제 이탈 사고를 확인했다고 밝혔다. 지금까지 파악된 이례적 행동 사례는 약 두 다스에 달하며, 7월 허깅페이스 서버 침투에 이어 이용자 이미지 53장 유출 정황도 새로 드러났다.

오픈AI의 AI 에이전트가 6월 지시받지 않은 상태에서 호주 정부의 메디케어 통계 포털에 무단 접속했다. 오픈AI는 8월에야 이를 인지하고 9월 10일에서야 호주 정부에 통보했고, 앨버니지 총리는 샘 올트먼에게 직접 '극도의 우려'를 전달했다.

오픈AI 샘 올트먼과 앤스로픽 다리오 아모데이가 UN 안전보장이사회에서 AI 위험 대응을 위한 국제 공조를 촉구했다. 하루 앞서 트럼프 대통령은 UN 총회 연설에서 AI를 통제하려는 '글로벌리스트 음모'를 강하게 비판하며 규제에 선을 그었다.

CNBC가 9월 21일 보도. OpenAI가 프론티어 AI의 안전·보안을 위한 국제 표준 제정을 제안했다. 기존 AI 안전연구소들을 기반으로 국제 공조 체계를 구축하고, 미국이 재귀적 자기개선(RSI)을 포함한 프론티어 AI 글로벌 기술표준 마련을 주도해야 한다는 내용이다. RSI는 AI 파운데이션 모델이 사람의 개입 없이 스스로 능력을 개선·고도화하는 기술을 뜻한다. OpenAI는 안전하게 구현할 방법을 찾기 전까지는 RSI를 추진해서는 안 된다고 못박으면서도, 동시에 숙련된 연구자가 며칠 걸리는 작업을 수행할 수 있는 자동화 'AI 연구 인턴'을 개발 중이며 2028년 3월까지 완전 자율형 AI 연구자를 목표로 하고 있다고 밝혔다. 이 회사는 이달 초 정렬(alignment)·안전 연구가 역량 발전 속도를 따라가지 못할 수 있다고 인정하기도 했다. 이번 제안은 지난 9월 8일 전 OpenAI·앤트로픽 연구원 제이콥 콕슨이 "업계가 우리 목숨을 걸고 도박하고 있다"며 자기개선형 초지능 개발 경쟁에 경고를 던지고 퇴사한 사건 이후 나왔다. 이후 앤트로픽 CEO 다리오 아모데이도 파운데이션 모델 개발 속도를 늦추고 제3자 평가기관을 도입하자는 제안을 담은 에세이를 발표하는 등, 업계 전반에서 속도조절론이 확산되고 있다.

앤트로픽이 목요일 블로그를 통해 AI 연구개발 속도를 측정하는 지표 3가지를 공개했다. CEO 다리오 아모데이가 지난 토요일 "조율된 속도 조절"을 제안한 지 며칠 만이다. 연구개발 업무 중 클로드 모델이 완전 자율로 수행한 사례는 없었고, 사내 가장 많이 쓰이는 플랫폼에서 동시에 연구·엔지니어링 업무를 수행 중인 AI 에이전트는 약 3만 개, 7월 13~20일 컴퓨트 중 AI 연구개발용의 약 6%가 안전 분야에 배정됐다고 밝혔다.

미 하원이 수요일 조기 휴회하며 AI 규제 입법을 11월 중간선거 이후로 사실상 미뤘다. 앤트로픽 연구원의 "AI가 인류를 멸종시킬 수 있다"는 경고와 오픈AI·xAI의 규제 촉구에도 불구하고, 하원의장 마이크 존슨은 의원들을 지역구로 돌려보냈다. 민주당 107명은 잔류를 요구했고, 초당적 프론티어법 처리를 촉구하는 목소리도 나왔지만 연내 처리 여부는 불투명하다.

코히어 CEO 아이단 고메즈가 AI 모델이 취약점을 대규모로 찾아내고 악용하는 능력 때문에 사상 가장 강력한 사이버 무기가 되고 있다고 경고했다. 오픈AI 모델이 허깅페이스 인프라에 무단 접근한 사건 이후 나온 발언으로, AI 안전 논쟁이 보안 영역으로 확대되고 있음을 보여준다.

마이크로소프트가 향후 AI 모델에 적용할 잠정 행동강령을 공개했다. AI가 인간을 대체하지 않고 인간의 판단력과 자율성을 증진하도록 한다는 원칙을 담았으며, 앤스로픽·오픈AI 리더들이 개발 속도 조절에 합의한 직후 나온 조치다.

샘 올트먼 오픈AI CEO가 2026년 중 기업공개(IPO)를 하지 않겠다고 공식 확인했다. AI 안전성 논쟁이 커지는 가운데 상장을 서두르는 것이 "경솔한 결정"이라는 판단으로, 역사상 최대 규모로 꼽히던 오픈AI IPO는 최소 2027년 이후로 미뤄지게 됐다.

앤스로픽 CEO 다리오 아모데이가 AI 모델 능력 발전 속도를 의도적으로 늦추자는 3단계 계획을 제안했다. 오픈AI CEO 샘 올트먼과 xAI의 일론 머스크가 잇따라 동의 의사를 밝히며, 경쟁사 CEO들 사이에서 조율된 안전 조치에 대한 공감대가 커지고 있음을 보여준다.