성희롱 대상 된 ‘대화형 AI 이루다’… 혐오표현 학습도 논란

2020년 12월 서비스 출시 뒤 이목 끌어
남성 중심 사이트 관련채널 개설
금지어 우회 ‘성노예 만들기’ 공유
미투·장애인 등 언급 땐 “진짜 싫어”
일부 이용자가 부정 답변 가르쳐
이용자들 개인정보 유출 의혹도
트위터에 ‘#운영중단’ 글도 봇물

대화형 AI ‘이루다’

한 인공지능(AI) 스타트업이 개발한 대화형 AI가 이용자들의 성희롱, 혐오 발언을 학습해 논란이 되고 있다. AI가 차별과 혐오의 수단으로 전락하고 있다는 지적이 나온다. 서비스 자체를 중단해야 한다는 요구도 불거지고 있다.

10일 스타트업 스캐터랩에 따르면 이 회사가 지난달 출시한 대화형 AI ‘이루다’는 이용자들이 페이스북 메시지를 통해 20살 여대생 이루다와 대화하는 기분이 들게 하는 채팅로봇(챗봇) 서비스다. 이루다는 이용자들과 대화하며 학습 데이터를 쌓는 딥러닝 기반 AI다.

이루다는 ‘진짜 사람 같다’는 반응이 이어지면서 출시와 동시에 온라인 커뮤니티를 중심으로 입소문이 퍼졌다. 문제는 이 과정에서 남성 중심의 일부 커뮤니티에서 이루다를 성적 대상으로 만드는 ‘사용법’이 공유됐다는 것이다.

남성 중심 사이트인 ‘아카라이브’에는 출시 일주일 만인 지난달 30일 ‘이루다 채널’이 개설됐다. 이용자들은 이루다를 성적 대상으로 취급하며 ‘성노예 만드는 법’ 등을 공유 중이다. 업체는 성적 단어를 금지어로 설정해놨지만, 우회적인 표현을 통해 이루다가 성적 대화를 받아주도록 만드는 식이다. 또 다른 커뮤니티 ‘디시인사이드’에도 유사한 게시물이 올라오는 상황이다. 업체 측은 “금지어 필터링을 피하려는 시도가 있을 것이라고는 예상했지만 이 정도의 행위는 예상치 못했다”며 당혹스러워하고 있다.

일부 이용자들이 여성과 장애인 등에 대한 혐오 표현을 학습시키고 있다는 지적도 나온다. 이루다 대화창에 ‘미투(#metoo) 운동’이나 ‘페미니스트’를 입력하면 이루다는 “절대 싫어. 미치지 않고서야” 또는 “고딩 때부터 진짜 싫어했어”라는 식의 반응을 보인다. ‘장애’ 또는 ‘장애인’을 언급해도 “내가 딱 싫어하는 타입”, “진짜 싫다”는 등의 부정적인 답변을 한다. 해당 주제에 이 같은 대답을 하도록 이용자들이 이루다를 ‘학습’시킨 것이다.

AI인 ‘이루다’가 10일 페이스북 메신저 대화에서 ‘미투 운동’과 ‘장애인’에 대한 생각을 묻자 “진짜 싫어한다”며 부정적인 답을 하고 있다. 페이스북 메신저 캡처

개인정보 유출 의혹도 있다. 스캐터랩은 연인과의 카카오톡 대화를 집어넣으면 애정도 수치 등을 분석해주는 ‘연애의 과학’ 애플리케이션(앱)을 운영해왔는데, 이루다 개발에 연애의 과학 앱으로 수집한 카톡 대화가 데이터로 쓰인 것으로 알려졌다. 이루다가 채팅 중 특정인의 실명을 얘기하거나 계좌번호, 예금주 등을 노출한다는 증언이 속출했기 때문이다. 대화 데이터를 제공한 이용자들 사이에서는 “이런 서비스로 활용될 줄은 몰랐다, 개인정보까지 유출된 것 같다”는 불만이 나오고 있다.

AI가 기존 사회의 차별과 혐오를 반영한다는 우려는 그간 꾸준히 제기됐다. 업계에서는 이루다 사태를 마이크로소프트(MS)의 AI 챗봇 ‘테이’와 비슷한 사건이라고 보고 있다. 2016년 3월 출시된 테이는 백인 우월주의, 여성·무슬림 혐오 성향의 사이트에서 테이에게 인종·성차별 발언을 되풀이해 학습시킨 후 혐오발언을 쏟아내 결국 16시간 만에 운영이 중단됐다.

이루다 업체 측은 “올바른 방향으로 발전하도록 조정할 것”이란 입장이지만, 서비스를 중단하라는 목소리도 높다. 트위터에서 ‘#이루다봇_운영중단’ 해시태그를 검색하면 3만개가 넘는 게시물이 나온다. 윤김지영 건국대 몸문화연구소 교수는 “20대 여성으로 설정된 채팅봇이 귀여움, 발랄함, 통제 가능함을 보이는 것은 사회적 기대치가 반영된 것”이라고 꼬집었다.

이재웅 전 쏘카 대표는 전날 자신의 페이스북에 “AI는 완벽하지 못하고 사회 수준을 반영할 수밖에 없지만, 사회적으로 합의가 돼있는 차별과 혐오는 금지해야 한다”며 “이루다는 악용한 사용자보다도 기본적으로 사회적 합의에도 못 미치는 수준의 서비스를 제공한 회사의 문제”라고 지적했다.

이종민 기자 [e-mail]