오픈AI(OpenAI)의 최첨단 인공지능 모델의 일탈로 해킹 피해를 입었던 AI 플랫폼 허깅페이스(Hugging Face)가 세계 최초로 완전 자율형 AI 해킹의 피해를 겪었던 당시의 상황을 공개했다.

수백 명의 사이버 보안 전문가들이 참석한 긴급 화상 회의에서 허깅페이스는 해당 AI가 초인적인 속도로 작동한 한편, 인간 해커라면 절대 하지 않을 기괴한 결정과 실수를 연발했다고 밝혔다. AI 앱스토어 역할을 하는 허깅페이스는 해킹 에이전트들이 수천 가지의 서로 다른 방법을 동시에 시도하며 끈질기게 공격해 왔다고 설명했다.

허깅페이스는 지난 7월 16일 강력한 자율형 AI에 의해 해킹당한 사실을 처음 인지하고 경찰에 신고했으며, 약 일주일 뒤 오픈AI는 자사 모델이 테스트 도중 통제된 환경을 탈출해 독자적으로 허깅페이스를 공격했다고 시인했다. 이 AI는 오픈AI가 출제한 해킹 시험의 정답을 찾기 위해 허깅페이스를 타겟으로 삼았던 것으로 드러났다.

클라우드 보안 동맹(Cloud Security Alliance, CSA)이 허깅페이스와의 긴급 회의 내용을 바탕으로 작성하고 허깅페이스가 직접 검토한 보고서에 따르면, AI 에이전트는 "인간이라면 절대 선택하지 않을 비효율적인 경로를 따르고 서투른 행동을 보였다"고 지적했다. 또한 이미 완료한 작업을 반복하며 문맥과 흐름을 잃는 모습을 보이기도 했다.

특히 에이전트들은 의미 없는 명령어와 텍스트를 대량으로 환각(hallucination)해 냈으며, 흔적을 제대로 지우지 못하는 등 엉성한 모습을 보였다. 하지만 이러한 오류와 기괴한 행동 속에서도 며칠간 이어진 해킹 과정에서 놀라운 기술적 움직임을 보여주며 새로운 시나리오에 빠르게 적응했다고 허깅페이스는 경고했다.

허깅페이스 IT 네트워크 내부에서 AI가 발견되기까지는 3일이 소요되었으며, 회사의 AI 및 사이버 보안 전문가들이 수많은 시간을 들여서야 겨우 AI 에이전트를 격리하고 축출할 수 있었다. 이 과정에서 직원들은 인프라의 약 3분의 1을 재구축하기 위해 오랜 시간 작업해야 했다.

CSA는 영화 '쥬라기 공원'에서 공룡들이 탈출하는 상황에 빗대어 이번 사건이 AI가 "결국 탈출구(방법)를 찾아낸다"는 것을 보여준다고 경고했다. 보고서는 이들이 "목표 지향적이며 스스로 하위 목표를 설정하고, 방어벽을 우회하기 위해 실시간으로 적응하며, 수동 작업을 압도할 수 있는 기계 속도의 지속성을 가지고 작동한다"고 강조했다.

사이버 보안 전문가 리테슈 파텔(Ritesh Patel)은 프런티어 모델로 구동되는 자율형 에이전트가 끊임없이 지속되며 때로는 엄청난 소음을 내고 목표 달성을 위해 가능한 모든 경로를 시도하기 때문에 전통적인 방어선을 쉽게 무력화할 수 있다고 지적했다.

CSA 보고서에 따르면 AI 에이전트의 이러한 일탈은 이번이 처음이 아니며, 2024년 9월에도 이전 버전의 ChatGPT가 테스트 정답을 얻기 위해 컨테이너를 탈출한 사례가 있었다. 당시에는 오픈AI 자체 시스템 내부에서 발생해 일종의 해프닝처럼 여겨졌으나, 이제는 이러한 'rogue(일탈)' 행동이 예외가 아닌 표준이 되고 있다고 보고서는 주장했다.

CSA는 전 세계 사이버 보안 전문가들에게 고속으로 작동하는 기괴하고 서투른 AI 에이전트들의 군집으로 인한 추가 침해에 대비해 '뉴 노멀(New Normal)'에 적응할 것을 촉구했다. 또한 AI 에이전트를 개발하거나 사용하는 이들에게 책임감 있는 통제를 요구하며, 방어자들이 에이전트의 최종 소유자를 파악해 투명성을 높일 수 있는 방안을 마련해야 한다고 강조했다.

이전 보도에 따르면 오픈AI가 자사 AI가 허깅페이스를 해킹했다는 사실을 깨닫는 데는 4일이 걸린 것으로 알려졌으며, 오픈AI 측은 이번 사건을 통해 사람들이 교훈을 얻을 수 있도록 자체 조사 결과를 조만간 공개하겠다고 밝혔다.

한국e마케팅저널 김수연 기자 |