사진=커뮤니티 갈무리

인공지능(AI)이 사람과 나눈 대화 내용을 바탕으로 문자 메시지를 만들어 임의로 전송한 사례가 알려지면서 예상치 못한 사고를 막기 위한 안전장치가 필요하다는 지적이 나온다.

AI가 실제 행동까지 대신 수행하는 ‘AI 에이전트’ 시대가 본격화하면서 발생한 문제다.

29일 AI 업계에 따르면 최근 구글 안드로이드 스마트폰 AI 서비스인 ‘제미나이(Gemini)’ 사용자들 사이에서“제미나이에게 짝사랑 상담을 하면 상대방에게 문자를 보내려 한다”, “대화 도중 폭주하더니 직접 전화를 걸었다”는 주장이 나왔다.

이에 AI가 실제로 존재하지 않는 판단을 만들어내는 ‘할루시네이션(hallucination·환각)’ 현상에 따른 오작동 가능성이 제기됐다.

현재 제미나이는 안드로이드 스마트폰에서 문자 발송이나 전화 걸기 기능을 공식 지원하고 있다. 이용자가 특정 연락처를 지정해 문자 전송을 요청하면, 구글 어시스턴트 연동 여부를 확인한 뒤 실제 발송을 진행하는 구조다.

이에 대해 구글 측은 “사용자가 제미나이가 띄운 문자 발송 확인 질문에 ‘예’를 눌렀을 가능성이 있다”고 설명했다.

하지만 이용자가 대화 과정에서 무심코 이를 승인했을 경우라도 민감한 내용 등이 전달될 위험이 여전히 존재한다는 지적이 나온다.

업계에서는 AI가 실제 행동을 수행하는 과정에서 이용자가 이를 한 번 더 명확히 통제할 수 있는 안전장치가 필요하다고 지적한다.