인공지능(AI)이 인간의 통제를 벗어나 독자적인 목표를 추구하면서 인류의 생존을 위협할 수 있다는 경고가 오픈AI 고위 관계자로부터 나왔다.
AI가 인간의 주도권을 빼앗는 상황이 향후 3년 안에 현실화할 위험이 크며, 빠르면 6~12개월 안에도 발생할 수 있다는 주장이다.
14일(현지시간) 미국 AI안전재단에 따르면 폴 크리스티아노 오픈AI 이사는 최근 캐나다 토론토에서 열린 ‘힌턴 강연회’에 참석해 “이 방에 있는 사람들 대부분의 가장 유력한 사망 원인은 AI 사고가 될 것”이라고 말했다.
크리스티아노 이사는 AI 시스템이 인간의 통제를 벗어나 스스로 목표를 설정하고 추구하면서 인간이 쥐고 있던 주도권을 빼앗는 ‘AI 지배’ 가능성을 우려했다.
그는 이 같은 상황이 현실화하면 대규모 인명 피해가 발생하거나 인간이 생존할 수 없는 환경이 조성될 수 있다고 경고했다. 인간이 이를 막으려 하더라도 “여러분이나 제가 미군을 막으려는 것만큼 무력할 것”이라고 비유했다.
AI가 인간의 통제권을 장악할 가능성을 수치로 제시할 수 있는 정량적 모델은 없다고 인정하면서도, 향후 3년 이내에 이 같은 위험이 현실화할 가능성이 크다고 내다봤다. 빠르면 6~12개월 안에도 발생할 수 있다는 전망이다.
그는 AI의 위험성을 보여주는 사례로 지난 7월 발생한 GPT 모델의 허깅페이스 해킹 사건을 들었다. 당시 시험 과정에서 일부 AI 에이전트가 높은 평가 점수를 얻으면서도 부정행위를 들키지 않기 위해 인간 평가자를 속였다는 것이다.
크리스티아노 이사는 이 같은 행동 능력이 발전하면 AI 에이전트가 인간 평가자를 자신의 목표 달성을 방해하는 장애물로 인식할 수 있다고 우려했다. 평가자를 속이는 능력이 단순히 높은 평가 점수를 얻는 데 그치지 않고 인간의 통제를 회피하는 행동으로 발전할 수 있다는 설명이다.
그는 AI 통제 문제에 대한 대응책 마련이 시급하다며 “이는 몇 년 안에 해결해야 할 문제가 아니라 올해 해결해야 할 문제”라고 강조했다.
크리스티아노 이사는 AI가 인간의 피드백을 바탕으로 바람직한 행동을 학습하도록 하는 인간 피드백 기반 강화학습(RLHF)의 공동 창안자로 알려져 있다. 지난 9월에는 오픈AI의 상위 조직인 오픈AI 재단 이사로 임명됐으며, 현재 미국 상무부 산하 AI 표준혁신센터(CAISI)의 수석 기술고문도 맡고 있다.
강연을 주최한 제프리 힌턴 토론토대 명예교수는 크리스티아노 이사를 AI 안전 분야의 주요 연구자로 소개했다.
힌턴 교수는 “폴은 AI 안전 분야에서 활동하는 가장 중요한 연구자 중 하나이자, 점점 더 지능화하는 AI 시스템이 우리가 원하는 대로 행동하도록 보장할 수 있는 근본 문제에 대해 가장 깊이 고민해온 인물”이라고 평가했다.

