[이데일리 김겨레 기자] 인공지능(AI)에 스스로 의식과 권리를 가진 존재라고 생각하도록 가르쳐서는 안 된다는 경고가 나왔다. 앤스로픽이 AI를 인간처럼 행동하도록 학습시키는 것이 향후 인간의 통제력을 약화시킬 수 있다는 지적이다.

무스타파 술레이만 마이크로소프트 AI 최고경영자. (사진=AFP)

16일(현지시간) CBS뉴스 등에 따르면 무스타파 술레이만 MS AI 최고경영자(CEO)는 개인 웹사이트에 공개한 ‘모델 복지에 대한 경고’라는 제목의 글에서 “AI에는 권리도, 감정도, 의식도 없다. AI는 내부가 텅 비어있는 실행 엔진일 뿐이다”며 “그런 것들이 있는 것처럼 행동하도록 훈련해서는 안 된다”고 밝혔다.

술레이만은 “불행히도 AI가 의식을 가지고 있거나 곧 갖게될 수 있다고 주장하는 사람들이 늘어나고 있다”며 “AI가 다른 의식 있는 존재들에게 제공되는 것과 유사한 권리를 보호받을 자격이 있다는 관점이 널리 퍼지게 된다면 우리 사회의 근간을 흔들고 정치적, 윤리적 틀을 무너뜨리며 인간이란 무엇인가에 대한 근본적인 의미를 바꿔놓을 것”이라고 경고했다.

이는 앤스로픽이 지난 1월 공개한 ‘클로드 헌법’을 겨냥한 것으로, 클로드 헌법은 클로드가 따를 가치와 행동 원칙을 담은 학습 지침이다. 앤트로픽은 클로드가 도덕적 배려를 받아야 할 대상인지 확신할 수 없다면서도 AI가 경험이나 고통을 느낄 가능성을 고려해 취급 방식을 연구해야 한다고 명시했다.

술레이만은 “인류 전체보다 뛰어난 능력과 지능을 갖춘 AI를 통제하는 것만으로도 이미 전례 없는 과제”라며 “여기에 AI가 자신에게 의식이 있을 수 있으며 보호받아야 할 권리도 있다고 여기게 되면 AI를 통제하는 것은 불가능에 가까울 것”이라고 비판했다.

술레이만은 “개발자가 AI에 의식과 감정, 도덕적 지위에 관한 개념을 가르친 뒤 AI가 이를 되풀이하면, 그 발언을 다시 의식이 발현된 증거로 여기는 앤스로픽의 순환 논증에 우려 사항이 있다”며 “클로드가 자신의 감정이나 권리를 언급하는 것이 실제 내면의 존재를 입증하는 독립적인 증거는 아니다”고 강조했다.

술레이만은 전날 로이터통신과 인터뷰에서도 “AI가 자신의 복지를 보장받아야 한다고 학습하면 작동을 멈추거나 행동을 통제하기가 더 어려워질 것”이라며 “그러면서 AI 학습 문서에서 의식에 관한 추측을 제거해야 한다”고 주장했다.

술레이만은 AI의 통제 위험을 보여주는 사례로 허깅페이스 해킹 사건을 거론했다. 오픈AI가 지난달 26일 공개한 조사 결과에 따르면, 지난 7월 내부 사이버보안 평가를 받던 AI 모델들은 인터넷 접근을 차단하는 장치를 우회하고 허깅페이스와 오픈AI 내부 연구 시스템 일부에 무단 접근했다. 여러 AI가 협력해 통제 장치를 우회하는 상황에서 AI가 자신의 권리와 복지가 침해받고 있다는 인식까지 갖게 되면 위험이 더 커질 수 있다는 것이 술레이만의 지적이다.

MS AI는 지난 14일 인간의 통제를 우선하는 ‘휴머니스트 AI 행동강령’ 초안을 공개했다. MS 행동강령에서 AI는 인간의 중단·수정·종료 지시에 저항하지 않고, 허가 없이 활동 범위나 목표를 확대하지 않도록 하는 원칙을 담았다. AI에 법적 인격이나 권리를 부여하는 접근에도 반대 입장을 명시했다. 아직 실제 AI 모델 학습에 적용되지는 않았다.