나델라 'AI에 사람이 쥔 비상 브레이크 필요'... MS가 내놓은 안전 설계 6원칙

사티아 나델라 마이크로소프트 회장 겸 CEO는 10일(현지시간) X에 올린 글에서 첨단 AI 시스템에 격리 장치, 독립적 통제, 그리고 권한 있는 사람이 작업 도중에도 모델을 멈추거나 끌 수 있는 '비상 브레이크'를 갖춰야 한다고 밝혔다. 그는 "비결정적인 모델을 강력하고 결정적인 시스템 설계, 사람의 통제, 신뢰할 수 있는 운영 절차로 감싸야 하고, 기존 기준이 부족한 곳에는 업계 표준을 세워야 한다"고 썼다.

나델라는 폐쇄형이든 오픈웨이트든 프런티어 모델을 '내부자 위험'처럼 다루자고 제안했다. 설계 원칙으로는 '관측 가능성'을 내세우며 모델 다양성, 사람이 읽을 수 있는 모델 행동 기록, 상시 시스템 테스트, 독립 통제와 감사 가능성, 격리, 사고 공개 6가지를 꼽았다. 그는 "가장 믿을 만한 초지능 시스템은 우리가 가장 신뢰하는 모델을 쓴 시스템이 아니라, 모델을 가장 덜 신뢰해도 되게 해주는 시스템"이라고 했다.

비슷한 경고는 최근 잇따랐다. 빌 게이츠 MS 공동창업자, 다리오 아모데이 앤트로픽 CEO, 샘 올트먼 오픈AI CEO, 일론 머스크 스페이스X CEO가 안전장치가 부족하고 기술이 너무 빨리 움직인다고 말해왔다. 지난달에는 앤트로픽 연구원이 회사를 떠나며 앤트로픽과 오픈AI가 "우리 목숨을 걸고 도박하고 있다"고 비판했고, 같은 날 앤트로픽의 정렬 담당 리더는 AI가 10년 안에 "모든 인류를 죽일" 확률이 10%를 넘는다고 했다.