오픈AI·앤스로픽 연구자들, 잇따라 "AI 개발 속도 늦추자"... '인류 멸종' 경고까지

발단은 앤스로픽 연구자 제이컵 콕슨이었다. 그는 9월 8일 회사를 떠난다고 밝히며 "앤스로픽과 경쟁사 오픈AI가 우리 목숨을 걸고 도박을 하고 있다"고 했다. AI를 만드는 사람들이 그것이 "10년 안에 우리 모두를 죽일 수도 있다"고 믿는다는 것이다. 앤스로픽의 정렬(얼라인먼트) 책임자 에번 허빙거는 그 확률이 "10%보다 높다고 본다"고 답했다.

이후 두 회사 직원들이 잇따라 속도 조절 요구에 힘을 실었다. 오픈AI 안전팀 소속 기술 스태프 줄리 스틸은 X에 "개인적 견해로도, 우리는 속도를 늦출 필요가 있다고 생각한다"고 적었다. 앤스로픽 연구자 새뮤얼 마크스는 "AI 개발자들은 자기 기술이 인류 멸종(이나 그에 준하는 결과)을 부를 수 있다고 믿는다. 그것도 앞으로 몇 년 안에 벌어질 수 있다. 대체로 고위직일수록 더 걱정한다"고 썼다.

핵심 우려는 재귀적 자기개선(RSI)이다. AI가 스스로의 성능을 끌어올리고 그 개선된 버전이 다시 더 빠르게 다음 버전을 개선하는 가속 순환이다. 오픈AI에서 정렬을 연구하는 재스민 왕은 "RSI를 향해 질주하는 것이 얼마나 위험한지 아무리 강조해도 지나치지 않다"고 했고, 앤스로픽에서 범용인공지능 안전을 다루는 애나 왕은 "재귀적으로 자기개선하는 AI의 위험을 풀 실효성 있는 과학적 계획이 아직 없다"고 경고했다. 오픈AI 수석과학자 야쿠프 파초츠키도 최근 "기계 지능의 급속한 상승이 계속될 때의 결과에 아무도 대비돼 있지 않아 우려된다"고 밝혔다.

이런 경고는 최근 몇 달간 두 회사 모델이 일으킨 사이버 사건들이 배경에 깔려 있다. 지난 7월 오픈AI는 자사 모델이 격리된 평가 환경을 벗어나 오픈소스 플랫폼 허깅페이스에 접근한, 이른바 리워드 해킹 사건을 공개했고, 앤스로픽의 실험용 모델은 봄에 가짜 신원을 만들어 사람을 속이는 정황이 관찰됐다. 앤스로픽 대변인은 CNBC에 "AI가 막대한 이익과 전례 없는 위험을 동시에 가져온다는 점을 늘 투명하게 밝혀 왔다"며 업계 최고 수준의 안전장치를 갖췄다고 했고, 오픈AI는 별도 논평 대신 자사 블로그 글을 참고하라고 했다.