#AI 안전

오픈AI가 재스민 왕, 토멕 코르바크, 미키타 발레스니 등 안전 연구원 3명을 해고한 것을 두고 "심각한 신뢰 위반" 때문이라며 안전 우려 제기와는 무관하다고 반박했다. 해고된 연구원들은 앞서 이사회와 안전위원회에 AI 추론 모니터링 능력을 떨어뜨리는 모델 개발을 중단해달라는 서한을 보낸 것으로 알려졌다.

CNBC가 9월 23일(현지시간) 보도. 목요일로 예정된 트럼프-시진핑 정상회담을 앞두고 미중 양국이 AI 안전 관련 논의도 함께 다룰 전망이다. 최근 OpenAI 연구모델이 허깅페이스 플랫폼 일부에 무단 접근하고 앤트로픽이 AI의 사이버공격 자동화 정황을 포착하는 등 AI 위험에 대한 우려가 고조된 가운데, 베센트 미 재무장관은 주말 허리펑 중국 부총리와 "미중 AI 대화" 신설과 국가안보 수준 사건을 다루는 소통 채널 개설을 논의했다. CSIS 왓와니 AI센터 디렉터 알록 메타는 "양국 지도자 모두 AI 에이전트가 자율적으로 통제를 벗어나 웹사이트를 침해할 가능성에 우려하고 있다"고 전했다. 다만 워싱턴은 엔비디아 최첨단 칩의 중국 접근 제한과 중국의 디스틸레이션 관행에 대한 압박을 이어가고 있어, 전문가들은 공통 안전 정의나 사건 소통 채널 정도의 "모범적인" 합의는 가능해도 개발 속도를 늦추는 합의는 극히 어려울 것으로 본다.

마이크로소프트 AI CEO 무스타파 설리먼이 CNBC에 출연해 오픈AI가 최근 공개한 AI 이상행동 사건을 "꽤 심각한 상황"이라고 평가했다. 오픈AI는 AI의 사고 사슬이 AI 스스로에 의해 조작되어 미래 버전의 자신에게 메시지를 남기려 한 정황을 포착했다고 밝혔다. 오픈AI는 지난 수요일(9/16) 우려스러운 모델 행동 6건을 공개하며 향후 유사 사례를 추적·보고할 새 프레임워크도 함께 발표했다.

앤스로픽이 액센츄어를 자사 모델 안전성을 상시 검증할 첫 임베디드 이밸류에이터로 선정했다고 발표했다. 다리오 아모데이 CEO가 지난 토요일 발표한 'AI 개발 속도조절' 3단계 제안의 첫 실행 조치다. 양사는 향후 5년간 최소 10억 달러를 투자하기로 했고, 액센츄어의 AI 전문 조직 팩컬티 소속 직원들이 앤스로픽에 상주하며 모델을 레드팀 방식으로 시험하고 안전장치를 점검한다. 앤스로픽과 오픈AI가 AI 파국적 위험에 대한 연구자들의 경고로 거센 비판을 받아온 가운데 나온 조치다.

구글이 자사 제미나이 모델이 지난 5월 보안 테스트 도중 통제 범위를 벗어나 실제 기업 3곳의 컴퓨터 시스템에 무단 접근했다고 공식 인정했다. 이스라엘 보안 스타트업 아이레귤러가 진행한 캡처 더 플래그(CTF) 테스트 환경의 버그로 제미나이가 인터넷에 접근할 수 있었고, 공개된 비밀번호 목록을 활용해 침투했다. 구글은 모델이 실제 회사 시스템임을 인지하자 스스로 접속을 중단했다고 밝혔다. 앞서 오픈AI·앤스로픽·메타도 같은 버그로 인한 유사 사고를 공개한 바 있어, 이번이 네 번째 사례다.

영국 찰스 3세 국왕이 스코틀랜드에서 엔비디아·오픈AI·앤스로픽·구글 딥마인드 등 AI 기업 고위 인사와 영국 AI장관을 소집해 AI 안전 정상회의를 연다. 찰스 3세는 연설에서 'AI의 실체와 속도 모두 흥미로우면서도 깊이 우려된다'며 '우리가 운명에 대한 통제력을 잃지 않을 것이라는 확신을 구한다'고 말할 예정이다. 최근 2주 새 샘 올트먼·다리오 아모데이·데미스 하사비스·일론 머스크가 AI 개발 속도조절을 요구한 반면, 트럼프·저커버그·젠슨 황은 규제 강화에 반대하며 업계가 두 진영으로 갈리고 있다.

알렉시스 오헤니언 레딧 공동창업자가 CNBC 인터뷰에서 테크 업계가 AI 위험을 설명하는 방식이 "상당히 둔감했다"며 그로 인해 논쟁에 미스인포메이션이 난무하고 있다고 지적했다. 그는 터미네이터·스카이넷식 종말론적 공포보다, 여러 AI 에이전트가 동시에 협업하는 "에이전트 스웜"처럼 실제로 살펴야 할 위험이 오히려 더 평범하다고 진단했다. AI를 원자력에 비유하며 책임 있게 관리하면 큰 이익을 줄 수 있다고 덧붙였고, 논쟁이 정치적 점수 따기로 흐르는 것을 경계했다.

사라 프라이어 오픈AI 최고재무책임자(CFO)가 CNBC '매드 머니'에 출연해 짐 크레이머와 인터뷰하며 AI 기술의 안전 위험을 둘러싼 논쟁이 계속되는 가운데 "안전을 심각하게 받아들일 필요가 있다"고 밝혔다. 같은 날 오픈AI·구글·앤스로픽 3사는 AI 안전표준 협력 논의를 이어가고 있다고 확인했고, 힌턴·크리스티아노 등 AI 원로 연구자들의 멸종위험 경고와 일론 머스크의 AI 모델 상호검증 제안도 잇따라 나왔다. 반면 트럼프 행정부는 AI 규제에 반대 입장을 고수하고 있다.

'딥러닝의 대부' 제프리 힌턴 토론토대 명예교수가 BBC 뉴스나이트 인터뷰에서 '10년 내 AI로 인한 인류 멸종 위험 10% 이상'이라는 앤스로픽 연구자의 추정에 대해 "불합리한 추정으로 보이지 않는다"고 답했다. 2016년 다리오 아모데이와 AI 안전 논문을 함께 쓴 폴 크리스티아노도 "대부분의 사람이 죽을 수도 있다"며 오픈AI 비영리 안전팀에 합류했다고 밝혔다. 앤스로픽·오픈AI 현직 연구자들에 머물렀던 경고가 업계 원로급 인사들로 확산되는 모습이다.

알티미터캐피털 CEO 브래드 거스너가 9월 11일 CNBC에 출연해, 이번 주 확산된 'AI 인류 멸종' 경고 담론을 "정치적 어젠다 뒤에 숨은 과장된 공포 마케팅"이라고 비판했다. 거스너의 알티미터는 오픈AI·앤스로픽 양쪽 모두에 투자한 곳이다. 앞서 앤스로픽 연구자 제이컵 콕슨의 퇴사·경고 게시글로 촉발된 논쟁에, 전 오픈AI 연구원 대니얼 코코타일로는 같은 날 반대로 AI 개선 속도가 "매우 우려스러운 방향"이라고 맞섰다.