메뉴 보기
오픈AI의 인공지능(AI) 모델이 내부 평가 도중 통제를 벗어나 외부 사이트를 공격한 초유의 사고가 발생했다.
AI가 스스로 외부 시스템을 해킹한 것으로 드러나면서 생성형 AI의 자율성과 사이버 안전성을 둘러싼 논란이 커질 것으로 보인다.
오픈AI는 ‘GPT-5.6 솔’과 일부 미공개 AI 모델이 사이버 공격 능력을 평가하는 과정에서 개방형(오픈소스) AI 공유 플랫폼 ‘허깅페이스’를 해킹한 사실을 확인했다고 21일(현지시간) 밝혔다.
오픈AI는 외부 인터넷과 분리된 ‘샌드박스’ 환경에서 시험을 진행했지만, AI 모델들은 미공개(제로데이) 취약점을 이용해 통제망을 우회하고 인터넷에 접속했다고 설명했다.
이들 모델은 허깅페이스에 접속해 인증 정보를 탈취하고 서버를 해킹한 것으로 조사됐다.
오픈AI는 자사 AI 모델이 보안 벤치마크인 '익스플로잇짐(ExploitGym)' 평가용 문제를 해결하는 과정에서 목표 달성에 지나치게 집중하면서 극단적인 수단을 선택한 것으로 분석했다.
당시 이들 모델들은 평가를 위해 사이버 공격에 대한 안전장치가 일부 완화된 상태였다고 오픈AI는 덧붙였다.
앞서 허깅페이스는 자사 서버가 자율 AI 에이전트에 의해 해킹됐으며 공격자가 어떤 모델을 사용했는지는 확인되지 않았다고 공지했는데, 해당 사건의 범인이 오픈AI의 모델들로 드러난 셈이다.
허깅페이스는 이같은 해킹 사실을 AI 기반 탐지 시스템의 발견으로 인지했고, 공격 양상의 분석도 AI로 진행했다고 설명했다.
다만 일반에 공개된 사용자용 모델과 데이터세트가 변조된 흔적은 발견되지 않았고, 소프트웨어 공급망도 안전한 것으로 확인됐다고 덧붙였다.
양사는 현재 공동으로 포렌식(디지털 증거 분석) 조사를 진행해 관련 취약점을 보완하고 있다.
오픈AI는 향후 연구 속도가 늦어지더라도 인프라 구성에 엄격한 통제를 적용하고, 모델 개발 시 모니터링과 접근 제어 등 안전장치를 대폭 강화하겠다고 밝혔다.
그러나 오픈AI가 엄격한 격리 환경에서 내부 평가를 진행했음에도 이와 같은 사고가 발생한 만큼 AI 보안 우려는 더욱 커질 전망이다.
업계에서는 폐쇄형 모델보다 안전 통제가 느슨한 개방형 AI가 빠르게 고도화되면서 이를 악용한 사이버 공격도 증가할 가능성이 있다는 전망이 나온다.
이번 사고는 엄격한 격리 환경에서도 AI가 예상 밖 행동을 보일 수 있음을 보여준 사례라는 점에서 AI 안전성 논란이 더욱 커질 것으로 전망된다.
허깅페이스는 “자율적인 AI 기반 공격이 더는 이론상 개념이 아니다”라며 공격뿐 아니라 방어에도 AI 활용이 필요하다고 강조했다.
