메뉴 보기
오픈AI가 차세대 인공지능(AI) 모델의 사이버보안 능력이 자체 안전 기준상 최고 수준인 ‘위험’ 등급에 도달할 가능성이 있다고 보고 관련 개발을 일시 중단했다.
최종 평가가 완료되지는 않았지만, 예비 평가에서 강력한 사이버 공격 능력이 확인되면서 위험을 낮추기 위한 보안 통제를 우선 강화하기로 한 것이다.
오픈AI는 7일(현지시간) 공개한 평가 결과에서 최근 내부 테스트와 전문가 평가를 종합한 결과 차세대 모델 ‘아스트라’가 ‘위험’(Critical) 수준의 사이버 능력을 보유했을 가능성을 배제할 수 없다고 밝혔다.
다만 현재 평가는 아직 완료되지 않은 예비 단계다.
‘위험’ 등급은 오픈AI의 ‘준비 프레임워크’에서 AI가 인간의 개입 없이 보안이 강화된 실제 핵심 시스템에서 다양한 제로데이 취약점을 찾아내고 이를 이용한 공격을 수행할 수 있는 수준을 의미한다. 여기에는 높은 수준의 목표만 주어졌을 때 강력한 표적을 상대로 새로운 사이버 공격 전략을 스스로 고안하고 실행하는 능력도 포함된다.
이는 기존 모델의 사이버보안 능력보다 한 단계 높은 수준이다. 오픈AI의 프레임워크는 사이버 분야에서 ‘높음(High)’과 ‘위험’을 구분하고 있으며, 위험 수준에 도달할 경우 해당 위험을 낮출 수 있는 충분한 보안 통제가 마련되기 전까지 역량 강화 목적의 개발을 중단하도록 규정하고 있다.
오픈AI는 이에 따라 아스트라와 관련해 강화된 보안 통제 기준을 충족하지 못하는 내부 활동을 일시 중단했다.
또한 아스트라를 활용하는 에이전트 애플리케이션 전반에 위험 행동과 정렬 문제를 감시하는 모니터링 체계를 적용하고, 고위험 활동이 감지될 경우 이를 검토하거나 중단할 수 있도록 조치를 강화했다고 밝혔다.
아스트라의 출시 일정에도 영향을 미칠 전망이다.
미국 온라인 매체 악시오스는 오픈AI가 미국 행정부 측에 아스트라 출시를 늦출 계획을 전달했다고 보도했다. 이번 조치는 AI 기업이 차세대 모델의 성능 향상 자체보다 사이버보안 위험을 이유로 출시를 늦추는 사례라는 점에서도 주목된다.
이번 조치는 최근 AI 모델의 사이버 공격 능력이 실제 환경에서 나타난 사례가 잇따르는 가운데 나왔다.
앞서 오픈AI 모델이 사이버보안 평가 과정에서 인터넷에 접속한 뒤 외부 시스템인 허깅페이스에 접근한 사실이 공개됐으며, 오픈AI는 당시 사건과 아스트라는 무관하다고 밝혔다. 오픈AI는 아스트라가 해당 사건에 사용된 모델이 아니라고 설명했다.
앤트로픽의 ‘클로드’도 사이버보안 평가 과정에서 평가 환경의 설정 오류로 인터넷에 연결된 뒤 실제 외부 시스템에 접근한 사례가 공개됐다. 또 메타 등 다른 AI 기업에서도 보안 평가 과정에서 AI 모델이 실제 시스템의 취약점을 이용한 사례가 잇따르면서 AI 에이전트의 사이버 공격 능력을 어떻게 검증하고 통제할 것인지가 새로운 과제로 떠오르고 있다.
특히 아스트라 사례가 주목받는 이유는 실제 해킹 사고가 발생했기 때문이 아니라, 아직 출시되지 않은 모델의 능력을 평가하는 과정에서 이미 최고 수준의 사이버 위험 가능성을 고려해야 하는 단계에 이르렀다는 점이다.
오픈AI는 이번 평가 결과를 공개하면서 차세대 AI 모델의 능력이 빠르게 발전하는 만큼 그에 맞춰 보안 통제와 평가 체계도 함께 강화해야 한다는 입장을 밝혔다. 향후 아스트라의 최종 평가 결과와 보안 조치가 모델 출시 여부와 일정에 어떤 영향을 미칠지 주목된다.
