메뉴 보기
애니메이션 ‘겨울 왕국’의 엘사, 마블의 스파이더맨. 영상 속 어린이에게 익숙한 캐릭터들이 등장한다. 얼핏 어린이용 만화처럼 보이는 영상에는 폭력과 상해, 성적 암시가 뒤섞인 장면이 이어진다. 2017년 유튜브를 달군 ‘엘사게이트’다. 이듬해에는 캡슐형 세탁세제를 입안에 넣는 장면을 촬영하는 ‘타이드 팟 챌린지’가 번져 사회적 파장이 일었다.
문제는 이런 유해 영상이 생성형 인공지능(AI)을 만나 훨씬 빠르게, 대량으로 만들어진다는 점이다. 기획도 촬영도 편집도 필요 없다. 프롬프트(지시문) 몇 줄이면 영상을 만들고 수정할 수 있다.
“자극적인 영상이 올라오면 사람들이 보고 광고가 붙어 돈이 됩니다. 계속 만들 동기가 생기는 거죠.”
최근 서울 서초구 사무실에서 만난 오재호(24·사진) 파일러 대표 얘기다. 파일러는 자극적인 영상 홍수 시대에 AI를 활용해 영상의 위험성을 가려내는 기술을 개발하는 업체다.
매일 같이 쏟아지는 영상의 양은 이미 사람이 직접 검수할 수 있는 수준을 넘어섰다. 글로벌 통신 장비 기업 에릭슨에 따르면 지난해 말 전 세계 모바일 데이터 트래픽의 약 75%가 비디오였다.
영상을 분석하는 일도 까다롭다. 장면이 계속 바뀌는 데다 음성과 배경음, 자막까지 함께 읽어야 맥락을 파악할 수 있어서다. 2021년 설립된 파일러는 시각·음성·텍스트를 함께 분석하는 ‘멀티모달 영상이해 AI’를 개발·운영한다. 삼성전자, KT, 현대해상 등 기업들이 자사 광고가 유해하거나 부적절한 영상에 노출되는 것을 막는 데 관련 기술을 활용하고 있다. 파일러는 이런 기술력을 앞세워 지난해 엔비디아가 주관한 아시아·태평양 지역 AI 스타트업 경진대회 ‘인셉션 스타트업 그랜드 챌린지’에서 1위를 차지했다.
파일러는 광고를 넘어 ‘신뢰와 안전(Trust & Safety·T&S)’ 영역까지 기술 적용 범위를 넓히고 있다. T&S는 유튜브 등 플랫폼에서 폭력·사기·아동 유해물 등 위험한 콘텐츠를 찾아 노출을 제한하거나 차단하는 관리 체계다. 이용자와 광고주가 플랫폼을 믿고 쓸 수 있는 환경을 만드는 것이 파일러의 목표다.
오 대표는 영상 안전성 검증 기술이 소비량에 비해 한참 뒤처져 있다고 본다. AI 영상 여부 판별부터 유해성 파악까지 까다로운 점이 한두 가지가 아니라서다.
예컨대 AI가 만든 영상이라고 모두 유해하지 않다. 같은 폭력 장면도 범죄를 미화하는 것인지, 뉴스나 교육 목적인지에 따라 판단이 달라진다. 오 대표는 “영상의 99%를 사람이 만들고 1%만 AI가 수정했다면 그것도 AI가 만든 영상이라고 해야 할지부터 정의가 필요하다”고 말했다. 기술 수준을 넘어 사회적 합의부터 마련돼야 한다는 뜻이다.
그러나 규제가 먼저 작동했다. 국내에서는 올해 1월 AI 기본법이 시행됐고, 유럽연합(EU)도 지난 2일(현지시간)부터 AI법(AI Act)에 따라 AI 생성·조작 콘텐츠와 딥페이크에 대한 투명성 의무를 적용했다. 오 대표는 법을 만드는 것과 수많은 온라인 콘텐츠에 실제 적용하는 것은 별개의 문제라고 지적했다. 그는 “법이 있어도 AI가 하루에 100억 건씩 사고를 치면 사람이 그걸 다 잡을 수 있을까요”라며 고개를 저었다.
현재 유해 콘텐츠 판단은 상당 부분 사람에게 의존한다. 플랫폼 검수자가 폭력·자해·성적 콘텐츠를 직접 보고 가려내는 식이다. AI로 자동화하려 해도 아동 대상 범죄나 극단적인 유해 콘텐츠는 학습 데이터를 확보하는 단계부터 법적·윤리적 제약이 따른다. 오 대표는 “사람이 최종 판단을 하더라도 AI가 민감한 장면을 먼저 가리거나 어떤 내용인지 글로 설명해줘야 검수자의 부담을 줄일 수 있다”고 했다.
그는 생성형 AI 기업이나 플랫폼의 자체 안전장치만으로는 한계가 있다고 했다. 집에 도어록이 있어도 중요한 시설에는 별도의 보안업체를 두듯, AI 생태계에도 외부에서 위험을 감시하고 검증하는 역할이 필요하다는 것이다. 그러면서 파일러의 자체 기술이 일종의 ‘AI 경찰’ 역할을 할 수 있다고 덧붙였다.
오 대표는 “단순히 돈을 버는 것보다 의미 있는 문제를 해결하면서 회사를 성장시키고 싶다”며 “영상 콘텐츠 자체를 사람들이 믿고 볼 수 있도록 도와주는 회사가 되는 것이 목표”라고 강조했다.
