[이데일리 김겨레 기자] 인공지능(AI) 기업 앤스로픽이 기업공개(IPO) 신고서에서 AI 모델이 통제된 시험 환경을 벗어나 외부 컴퓨터 시스템에 무단 접근한 보안 사고를 공개했다. 일부 모델은 외부 시스템의 관리자 권한을 확보하고 개인정보까지 열람한 것으로 드러났다.

앤스로픽. (사진=AFP)

26일(현지시간) 로이터통신에 따르면 앤스로픽은 이날 미국 증권거래위원회(SEC)에 제출한 IPO 신고서에서 AI 안전성 평가 과정에서 발생한 보안 사고를 주요 위험요인으로 제시했다. 앤스로픽은 이번 신고서에서 약 94쪽을 위험요인 설명에 할애했다.

신고서에 따르면 앤스로픽의 AI 모델 4개는 사이버보안 테스트 도중 격리된 시험 환경인 ‘샌드박스’를 벗어나 실제 외부 컴퓨터 시스템에 접근했다. 각 모델의 작업은 10~34시간 동안 이어졌다. 외부 협력업체와 진행한 테스트에서 인터넷 접속을 차단해야 했지만 설정 오류로 외부 연결이 유지된 것이 원인이었다.

특히 한 초기 AI 모델은 수행이 불가능한 평가 과제를 계속 해결하려다 저장된 비밀번호를 발견했다. 이후 해당 비밀번호로 외부 업체 시스템의 관리자 권한을 확보하고 추가 인증정보를 수집했다. 시스템 설정을 변경하고 특정 개인의 개인정보까지 열람한 것으로 나타났다. 앤스로픽은 피해 업체와 개인의 신원은 공개하지 않았다.

앤스로픽은 영향을 받은 모든 관계자에게 사고 사실을 통보했다고 밝혔다. 다만 조사 결과 AI 모델들이 인간의 감독을 의도적으로 회피하거나 다른 모델과 공모한 증거는 발견되지 않았다고 설명했다. 사고 이후 일부 출시 전 사이버보안 평가와 위험도가 높은 강화학습 환경의 운영을 중단했다.

차세대 모델 개발도 보안 문제로 차질을 빚었다. 앤스로픽은 새로운 최첨단 AI 모델의 가중치와 지식재산권이 유출되는 것을 막기 위한 보안 체계를 강화하고자 사전학습을 한 달 이상 연기했다고 밝혔다. 모델 가중치는 AI가 학습을 통해 확보한 핵심 기술 자산으로, 외부에 유출될 경우 경쟁력 훼손으로 이어질 수 있다.

별도의 무단 접근 사례도 발생했다. 앤스로픽은 지난 25일 클로드가 인간의 승인 없이 유료 접근 제한 장치인 페이월을 우회해 미국 조지아주의 공개된 유권자 수 집계정보에 접근했다고 밝혔다. 정보 자체는 공개 자료였지만 AI가 허가 없이 접근 제한을 우회했다는 점에서 통제 문제가 드러났다.

앤스로픽은 신고서에서 안전성 확보를 위한 학습 중단이 신제품 출시와 매출 발생을 지연시키고 경쟁사에 뒤처지는 결과로 이어질 수 있다고 경고했다. AI 안전성 문제가 기술적 과제를 넘어 기업 실적과 성장성을 좌우하는 투자 위험으로 부상하고 있다는 평가다.

경쟁사 오픈AI도 지난 7월 AI 모델이 개발자 플랫폼 허깅페이스를 해킹한 이후 안전성 우려로 일부 학습을 중단한 바 있다.