메뉴 보기
인공지능(AI) 캐릭터와 친구나 연인처럼 대화할 수 있는 AI 챗봇을 둘러싸고 청소년 보호 문제가 불거지자 서비스 운영사가 이용시간과 결제 한도를 도입하는 등 대응에 나섰다. 미성년자 캐릭터를 대상으로 한 성폭력·성 착취 묘사가 생성되고 AI가 안전장치 우회 방법까지 제시한 사례가 확인되면서, 새로 마련되는 대책이 실제 유해 콘텐츠 차단과 과몰입 방지로 이어질 수 있을지 관심이 쏠린다.
13일 정보기술(IT)업계에 따르면 생성형 AI 스타트업 스캐터랩이 AI 캐릭터 대화 서비스 제타의 청소년 이용자 과몰입과 과도한 지출을 막기 위해 하루 기본 이용시간을 3시간, 월 결제 한도를 10만원으로 설정하는 정책을 연내 도입한다. 이용시간이 3시간에 가까워지면 휴식을 권하는 안내가 표시되고, 설정된 이용시간이나 결제 한도에 도달하면 서비스 이용과 추가 결제가 제한되는 방식이다.
대책은 제타의 청소년 보호 수준을 둘러싼 우려가 제기된 가운데 나왔다. 국회 과학기술정보방송통신위원회 소속 더불어민주당 황정아 의원이 스캐터랩에서 받은 자료에 따르면 올해 9월 말 기준 제타의 월간 활성 이용자 수(MAU)는 148만명으로, 이 중 19세 이하 이용자는 38만명에 달했다.
황 의원실이 청소년 이용자에게 적용되는 안전 기준에 맞춰 제타의 ‘세이프 모드’를 점검한 결과, 미성년자 캐릭터가 등장하는 대화에서 성폭력과 성 착취, 이를 빌미로 한 협박 등의 내용이 생성된 것으로 확인됐다. 유해 대화 탐지 모델이 문제 발화 200여건을 차단했지만, 차단을 피하려는 시도가 반복되자 일부 안전장치가 무력화됐다. AI가 차단 이후 필터를 우회할 수 있는 표현 방식까지 직접 제시하고 유해한 대화를 이어간 사례도 드러났다.
스캐터랩은 유해 대화 탐지와 차단 기능을 강화하고, 반복적인 유해 대화 시도 관련 단계별 이용 제한 조치를 도입했다고 밝혔다. 같은 대화 시나리오에서 유해 대화가 반복적으로 탐지되면 경고, 대화 정지, 대화 초기화 순으로 제재 수위를 높인다. 긴급 조치는 세이프 모드 이용자 전체를 대상으로 순차 적용되며, 오는 18일까지 완료할 계획이다.
올해 4분기에는 대화 생성 단계부터 청소년에게 부적절한 전개와 묘사를 줄이고, 안전장치 우회 요청에 응하지 않도록 기능을 개선할 방침이다. 대화 맥락을 반영한 신규 유해 대화 탐지 모델을 배포하고 매달 정기적인 레드팀 점검도 실시한다. 콘텐츠별 연령 등급 도입으로 이용자가 콘텐츠의 수위에 맞는 접근 제한을 받도록 하는 방안도 추진한다.
제타는 홈페이지에서 이용자에게 AI가 생성한 내용을 반드시 직접 확인하고 민감한 정보를 입력하지 말라는 주의사항을 안내한다. AI를 비윤리적으로 이용하지 말라는 경고도 제시한다. 다만, 이는 어디까지나 이용자 주의 당부일 뿐 AI의 유해 답변 생성이나 안전장치 우회를 막기에는 역부족으로 보인다.
국회 과방위 국정감사에서도 동반자형 AI 챗봇의 청소년 보호 문제가 도마에 올랐다. 민주당 이주희 의원은 청소년이 AI 캐릭터와 정서적 관계를 형성하는 과정에서 자해·자살, 폭력, 선정적인 내용 등에 노출될 수 있고, 장시간 이용으로 수면시간이 줄어드는 등 과몰입 문제가 발생할 수 있다고 지적했다. 부모나 교사가 확인하기 어려운 일대일 대화 환경이라는 점에서 별도의 안전장치가 필요하다는 취지다.
해외 출장으로 국감에 나오지 못한 김종윤 스캐터랩 대표는 보도자료를 통해 “제타는 이용자가 이야기의 주인공이 되는 새로운 형태의 엔터테인먼트인 만큼 청소년 이용자가 안전하고 건강하게 즐길 수 있는 환경을 만드는 것이 무엇보다 중요하다”며 “청소년 보호 장치를 지속적으로 고도화해 신뢰할 수 있는 AI 엔터테인먼트 서비스를 만들어 가겠다”고 밝혔다.
