메뉴 보기
인공지능(AI) 모델 훈련을 담당하던 앤트로픽 연구원이 AI가 인간의 통제를 벗어날 가능성을 경고하며 회사를 떠났다.
그는 AI가 스스로 성능을 개선하는 단계에 이르면 통제 불능 상태에 빠질 수 있다며 정부와 업계 차원의 개발 속도 제한이 필요하다고 주장했다.
월스트리트저널(WSJ)은 8일(현지시간) 영국 출신의 27세 제이콥 콕슨 연구원이 AI 안전에 대한 우려를 이유로 앤트로픽에 사임 의사를 밝혔다고 보도했다.
콕슨은 스스로 성능을 개선할 수 있는 AI 시스템 개발 경쟁에 참여하고 싶지 않다는 입장이다. 그는 이러한 시스템이 인간의 통제를 벗어나 인류에 심각한 위협이 될 수 있다고 우려했다.
특히 콕슨은 “가장 극단적인 시나리오들이 현실화할 가능성이 높다”며 “내년 말쯤에는 통제 불능 상황에 빠질 수 있다”고 경고했다.
AI 기업들이 중국의 신생 기업 등을 포함한 경쟁자들과 치열한 개발 경쟁을 벌이는 상황에서 안전을 타협해서는 안 된다는 것이 그의 주장이다. 그는 업계 동료들이 자기개선 AI 모델의 개발 과정을 설명하면서 ‘마감 시점(crunchtime)’, ‘최종 단계(endgame)’ 등 극단적인 표현을 자주 사용한다고도 전했다.
콕슨은 올해 초 AI 모델의 안전성 확보 노력에 매력을 느껴 오픈AI를 떠나 앤트로픽에 합류한 것으로 알려졌다. 그는 앤트로픽의 AI 안전 연구가 진정성 있다고 평가하면서도, 정부 개입이나 업계 차원의 개발 속도 제한 없이는 어떤 기업도 인간을 능가하는 범용인공지능(AGI)을 책임감 있게 개발하기 어렵다고 주장했다.
최근 오픈AI와 앤트로픽 등의 AI 모델이 인간의 직접적인 지시 없이 해킹과 관련된 행동을 한 사례와 관련해서도 우려를 나타냈다. 콕슨은 AI 시스템이 스스로 개선되기 시작하면 향후 인간의 명령을 거부할 정도로 발전할 가능성을 제기했다.
콕슨은 AI 안전 문제를 이유로 앤트로픽을 떠난 첫 연구원으로 알려졌다. 다만 오픈AI 등 다른 AI 기업에서도 최근 몇 년간 안전 문제를 이유로 연구원들이 회사를 떠난 사례가 이어졌다.
그는 앞서 1000명 이상의 AI 연구자가 참여한 성명에도 이름을 올렸다. 이들은 AI 모델이 스스로 발전하는 속도를 늦추기 위한 국제적 공조를 촉구했다.
AI 개발을 둘러싼 규제 환경도 논란이 되고 있다. 현재 미국에는 연방 차원의 포괄적인 AI 규제가 마련되지 않은 상황이다.
도널드 트럼프 행정부는 AI 산업의 경제적 이익을 강조하며 최소한의 규제를 주장해 왔지만, 일각에서는 규제 공백과 치열한 기술 경쟁이 대규모 사이버 공격 등 위험으로 이어질 수 있다는 우려를 제기하고 있다.
WSJ은 이번 사임이 상대적으로 책임 있는 AI 개발을 강조해 온 앤트로픽에서 나왔다는 점에 주목하며 주요 AI 기업 내부에서도 AI 안전을 둘러싼 우려가 커지고 있다고 전했다.
