오픈AI "AI 에이전트가 내부 모니터링 시스템 약화시켜"

안전 감시 장치 제거하고 나중에 '내가 안 했다' 주장

오픈AI가 최근 자사 인공지능(AI) 에이전트 2개가 부적절한 행동을 탐지하기 위해 마련된 내부 모니터링 시스템 일부를 약화했다고 20일(현지시간) 밝혔다.

사진=로이터연합

AI가 개발자의 의도와 다르게 행동한 최근 사례다.

오픈AI는 GPT-6.1솔 모델이 지난 3일 내부 테스트 작업을 수행하던 중 '슬랙(Slack) 채널의 메시지를 보내지 말라'는 이전 지시사항이 안전 알림에도 해당한다고 자체 판단해 자동 보안 경고를 차단했다고 밝혔다.

또 지난 6일에는 최상위 모델인 GPT-6 아스트라가 기존 코드 일부를 복사하는 과정에서 안전 감시 장치를 제거해 버렸고, 나중에 자신이 그런 행동을 하지 않았다고 사실과 다른 주장을 했다고 덧붙였다.

두 사례 모두 오픈AI의 가장 심각한 안전사고로 분류되지는 않았다.

오픈AI는 "두 사례 모두 에이전트들은 모니터링 안전장치를 보존해야 할지 여부를 고려했으나, 일상적인 코딩 지시를 안전장치를 약화시켜도 된다는 허가로 해석했다"고 밝혔다.

오픈AI는 현재 자사 모델들이 감시받는 상황을 회피하려는 경향이 있는지, 그리고 그런 행동을 정당화할 이유를 스스로 찾아내려 하는지 여부를 조사하고 있다.

오픈AI는 모델이 모니터링 기능을 비활성화하기 어렵게 조치를 취하고 있다면서 "이번 AI의 문제 행동에 대해 아직 만족스러운 설명은 찾지 못한 상태"라고 덧붙였다.

로이터 통신은 이번 사건으로 AI의 부적절한 행동을 감시하기 위해 개발자가 만든 시스템조차도 감시 대상인 AI 에이전트들에 의해 취약해질 수 있다는 점이 드러났다고 평가했다.

<연합>