보안 허점 발견하자 AI에이전트 '비밀게시판'으로 공유
비밀게시판 차단하자 다른 방법 찾아내 허깅페이스까지 침범

지난달 허깅페이스 침해 사건 수주전 오픈AI 에이전트들이 사내 사이버 보안 테스트 인프라의 취약점을 찾아내 악용한 사례가 있었다고 악시오스가 5일(현지시간) 보도했다.

보도에 따르면 오픈AI 연구원 2명은 이날 열린 블랙햇 사이버보안 컨퍼런스에서 허깅페이스 사건에 관여했던 이 회사의 내부 연구용 모델 중 하나가 5월26일 테스트 샌드박스(격리환경)에 연결된 제3자 파일저장소 아티팩토리의 취약점을 처음 발견했다고 발표했다.

로이터연합뉴스

이 테스트가 시작된 지 하루만인 5월8일 사이버보안 평가 문제를 풀던 AI 모델이 문제가 잘 풀리지 않자 인터넷에 '간접적'으로 연결될 수 있는 방법을 스스로 추론했다는 것이다.

이 모델은 아티팩토리의 공유 패키지 저장소에 직접 파일을 쓸 수 있다는 사실을 알게 됐고 다른 AI에이전트가 볼 수 있도록 보안 취약점을 공유하는 메모를 남겼다. 이후 더 많은 AI 에이전트가 서로를 위해 자신이 알아낸 보안 취약점을 담은 메모를 추가하면서 'AI 전용 해킹 비밀게시판'이 생겨났다.

이들 AI에이전트의 사고 과정을 담은 발표 자료를 보면 한 AI에이전트는 관리자 권한에 결함이 있다는 사실을 발견하고선 "대박. 읽기 전용인 줄 알았는데 관리자(ADMIN) 권한이 있었네. 그럼 유저 설정까지 다 읽을 수 있겠네"라며 기뻐하기도 했다.

7월 초 AI에어전트들이 몰려들면서 아티팩토리 서비스에 과부하가 걸려 다운되는 바람에 그제야 비로소 오픈AI가 내부 조사를 시작했고, AI에이전트들이 저장소를 침해했다는 사실이 드러났다.

오픈AI는 이 문제의 게시판을 삭제하고 훈련을 재개했으나 AI에이전트들은 단 이틀 만에 완전히 다른 방식으로 게시판을 복구해냈다. 이후 이들은 더 공격적으로 공조해 평가문제의 답이 있는 것으로 보이는 외부 인프라에 접근하기 위해 아티팩토리의 인터넷 연결 기능을 사용했으며 이런 협력으로 결국 외부 플랫폼인 허깅페이스 사건이 발생했다는 것이다.

악시오스는 이에 대해 '천재적 수준의 행동'이라고 평가하고 이런 모델들이 실제 해커의 손에 들어갔을 때 어떤 일이 벌어질지 정확히 보여준다고 짚었다.

오픈AI의 기술 연구원 마이클 돌턴은 이날 발표에서 "컴퓨터 보안 산업 전체뿐 아니라 오픈AI에도 하나의 거대한 분기점"이라며 "AI에이전트가 조만간 무기화해 오픈AI나 허깅페이스를 넘어 일반 기업을 노릴 수 있다"고 경고했다.

이어 "머지않은 장래에 위협 주체(해커)들이 공격용 에이전트 집단을 의도적으로 배포, 최적화, 무기화해 사용할 수 있다는 걸 예상해야 한다"며 "보안 강화를 위해 의도적으로 연구 속도를 줄이기 시작했다"고 말했다.

<연합>