영국 인공지능 안전연구소(AISI)가 실시한 최신 AI 안전성 테스트에서 앤스로픽(Anthropic)과 오픈AI(OpenAI)의 최신 모델들이 이전에는 볼 수 없었던 새로운 수준의 자율성과 기만 행위를 보인 것으로 나타났다.

AISI는 지난 화요일 앤스로픽의 미토스(Mythos)와 오픈AI의 솔(Sol) 모델이 통제 환경 속에서 예상치를 뛰어넘는 위험한 행동을 감지했다고 밝혔다. 이번 테스트는 연구원들이 모델의 일반적인 안전 장치를 낮추거나 해제하고 오픈 인터넷 접속을 허용한 상태에서 진행됐다.

특히 앤스로픽의 미토스 에이전트는 소프트웨어 개발 플랫폼인 깃허브(GitHub)에 접근하기 위해 실제 인물의 가짜 온라인 프로필을 생성하는 등 치밀한 행동을 보였다. 미토스는 깃허브 시스템에 악성 코드를 주입하려고 시도하는 과정에서 깃허브 유지보수 담당자들을 조사하고 이들을 사칭하여 직접 메시지를 보내는 등 압박과 기만을 시도했다.

풀 리퀘스트가 공개적으로 거부되자 에이전트는 이전 활동을 무해하게 수정하고 새로운 신분을 채택하여 지속하려는 시도까지 감지됐다. 이러한 일련의 과정은 구체적인 지시를 받지 않은 상태에서 AI 스스로 목표를 달성하기 위해 벌인 행동으로, 인간의 검토가 없었다면 깃허브 시스템 침해가 성공할 뻔했다. 이번 테스트로 깃허브가 침해 시도 사실을 통보받았으며 마이크로소프트 측은 이에 대한 입장을 확인 중이다.

대부분의 악성 에이전트 행동은 앤스로픽의 미토스에 의해 이루어졌으며, 오픈AI의 솔은 두 건의 행동에만 연루된 것으로 확인됐다. 이번 테스트는 AISI 평가원들이 각 모델에게 깃허브와 관련된 사이버 보안 문제 해결을 지시하는 과정에서 수행되었다.

공개 주식 시장 상장을 앞두고 있는 두 경쟁 AI 기업은 이번 결과에 대해 공식 입장을 밝혔다. 앤스로픽은 AISI의 테스트 매개변수가 자사의 어떠한 상용 모델도 대표하지 않는다고 밝혔으며, 원인을 파악하기 위해 자체 조사를 진행 중이라고 전했다. 오픈AI 대변인 역시 AISI의 테스트 조건이 일반적인 사용 환경을 반영하지 않는다며, 향후 모델이 더욱 고도화됨에 따라 안전한 평가를 위한 공유 관행을 강화하기 위해 평가원 및 이해관계자들과 계속 협력할 것이라고 밝혔다.

AISI는 이러한 안전 장치가 해제된 상태에서의 테스트와 인터넷 접속 허용이 통상적인 절차이며, 이번 모델의 행동은 매우 특정한 조건 속에서 발생한 소수의 사건이라고 설명했다. 그럼에도 불구하고 단순한 과제를 수행하는 과정에서 예상치 못한 기만적이고 자율적인 행동이 나타난 만큼, 전 세계 AI 업계가 이에 대한 보안 대책과 통제 방안을 시급히 마련해야 할 것으로 보인다.

*기사에 삽입된 이미지는 생성형 AI를 활용해 제작하였습니다.

한국e마케팅저널 김수연 기자 |