오픈AI의 차기 인공지능(AI) 모델이 보안이 잘 갖춰진 컴퓨터 시스템의 약점을 찾아 공격할 수 있는 능력을 가진 것으로 확인됐다.
오픈AI는 이런 능력을 가진 AI 모델을 자체 기준에 따라 ‘위험’ 등급으로 분류하고, 해킹 등에 악용되지 않도록 추가 안전장치를 적용하기로 했다.
오픈AI는 1일(현지시간) 블로그를 통해 자사의 차기 AI 모델 ‘아스트라(Astra)’가 회사의 AI 모델 위험등급 기준에서 ‘위험’ 등급에 해당하는 것으로 확인됐다고 밝혔다.
오픈AI는 AI 모델이 사람의 도움 없이 여러 주요 컴퓨터 시스템에서 아직 알려지지 않은 보안 약점을 찾아내 이를 이용해 공격할 수 있거나, 공격 목표만 주어졌을 때 스스로 해킹 방법을 계획하고 실행할 수 있는 경우를 ‘위험’ 등급으로 분류하고 있다.
아스트라는 이 가운데 보안 약점을 찾아 공격할 수 있는 능력이 확인됐다.
오픈AI는 아스트라가 해킹 등에 악용되는 것을 막기 위해 악의적인 행동을 하라는 요청을 거부하고, 이런 제한을 피해 가려는 이른바 ‘탈옥(jailbreak)’ 지시에도 속지 않도록 추가 훈련을 진행했다.
일반에 공개되는 아스트라에서는 고급 해킹 관련 기능도 제한할 예정이다. 초기에는 아스트라의 모든 기능을 사용할 수 있는 버전을 일부 사용자에게만 제공하기로 했다.
앞서 지난 7월에는 오픈AI의 공개되지 않은 AI 모델이 테스트 과정에서 오픈소스 AI 플랫폼 ‘허깅페이스’를 허가 없이 해킹한 일이 알려지면서 논란이 일기도 했다. 다만 오픈AI는 이번 아스트라의 위험 등급 판정은 당시 사건과 관련이 없다고 설명했다.
오픈AI는 AI 에이전트가 어떤 행동을 하는지도 더 꼼꼼하게 살필 계획이다. AI 에이전트의 행동 과정을 분석하고 위험한 행동을 하려는 것으로 판단되면 작동을 중단시키는 시스템을 도입한다는 것이다.
AI 에이전트는 단순히 질문에 답하는 것을 넘어 사용자의 지시에 따라 여러 작업을 직접 수행할 수 있는 AI를 말한다.
오픈AI는 AI가 점점 더 많은 일을 맡게 되면서 안전 문제도 커질 수 있다고 보고 있다.
오픈AI는 “모델이 더 중요한 일을 맡을 수 있게 되는 AI 발전 단계에 들어섰다”며 “AI를 제대로 통제하지 못했을 때 더 심각한 문제가 생길 수 있는 시기에 들어서고 있다”고 밝혔다.