메뉴 보기
직장인 신모(23)씨는 최근 출근길에 여느 때처럼 무의식적으로 숏폼 피드를 넘기던 중 한 외국인이 유창한 한국어로 엑셀 단축키를 설명하는 영상 앞에서 손가락이 멈칫했다. 어색한 인공지능(AI) 음성 대신 진짜 사람 같은 목소리가 나왔고 입모양과 한국어 발음이 정확하게 맞아떨어졌다. 놀라움도 잠시, 화면 하단에 ‘AI(인공지능)로 번역하기’라는 문구가 보였다.
2026 북중미 월드컵 때도 비슷한 장면이 연출됐다. 아르헨티나의 리오넬 메시와 스페인의 신성 라민 야말의 인터뷰 영상이 자연스러운 한국어로 변환돼 축구 팬들의 관심을 모았다. 선수 고유의 음색과 억양이 고스란히 반영된 목소리였으며, 입모양도 한국어 발음에 맞춰 정교하게 움직였다.
◆ 목소리 톤에 입술 근육까지 복제하는 AI
외국인 인플루언서와 세계적인 스포츠 선수들이 한국어로 말하는 풍경 뒤에는 고도화된 ‘AI 음성 번역 기술’이 자리 잡고 있다.
메타는 인스타그램과 페이스북 릴스에 AI 기반 음성 더빙과 립싱크 기능을 확대 적용하고 있다. 다국어 멀티모달 AI 모델인 ‘심리스M4T’를 기반으로 화자의 목소리 톤과 억양, 감정 뉘앙스를 학습해 복제(보이스 클로닝)하는 것은 물론, 번역된 언어의 발음에 맞춰 입술과 턱의 미세한 근육 움직임까지 실시간으로 재합성한다. 기존의 단순 자막 번역이나 어색한 기계 음성(TTS)을 넘어, 화자가 해당 언어를 직접 구사하는 듯한 실감적인 시청각 경험을 제공하는 방식이다.
현재 100여개 언어를 인식하며 음성으로 36개 언어, 텍스트로 96개 언어의 즉각 변환·번역이 가능하다. 릴스 플랫폼에서는 음색 복제의 자연스러움과 립싱크 완성도, 서버 안정성 등을 고려해 한국어를 비롯한 영어, 스페인어, 일본어 등 14개의 주요 언어를 중심으로 상용화 서비스를 우선 제공하고 있다.
사용 방법도 간단하다. 창작자가 릴스를 올릴 때 ‘메타 AI로 내 목소리 번역하기’ 옵션을 켜면 글로벌 언어로 손쉽게 변환되며 언어별 조회수도 확인할 수 있다. 시청자는 설정의 ‘언어 및 번역’ 란에서 해당 기능을 활성화하면 기본 사용자의 언어 혹은 원하는 언어로 더빙된 영상을 감상할 수 있다.
◆ 허물어진 언어 장벽…신기하지만 피로감도
실감 나는 AI 더빙·립싱크 기술은 언어 장벽을 허물며 글로벌 콘텐츠 확산의 판도를 바꾸고 있다. 실제 메시와 야말의 영상 댓글 창에는 “신기하다”, “정말 믿기지 않는다”며 놀라움을 금치 못하거나 “AI 기술에 감사한다”는 반응이 달렸다.
반면 AI 번역에 대한 피로감, 실제 인물이 직접 발언한 것으로 착각하는 부작용 등 우려도 제기되고 있다.
누리꾼들은 “이건 그의 목소리가 아니다”, “이 끔찍한 AI 영상은 뭐냐”며 인위적인 변환에 피로감을 호소했다. 동시에 “이거 AI 아니잖아”, “이탈리아어 정말 잘한다” 등 화자가 외국어를 말하는 것으로 오인하는 댓글도 다수 포착됐다. 플랫폼 차원에서 AI 생성물 표기를 의무화하고 있지만, 숏폼의 빠른 소비 패턴상 시청자가 작은 표기 문구를 미처 인지하지 못하고 지나치기 쉬워서다.
◆ “발언 오인해 경계심 둔화”…비판적 수용 태도 필요
전문가는 AI를 활용한 번역 기술이 주는 효용을 인정하면서도 진위 판별 착시 등의 위험성을 우려했다.
김경희 한림대 미디어스쿨 교수는 AI 더빙의 긍정적 측면에 대해 “시청자 입장에서는 자막을 읽는 데 드는 인지적 부하 없이 화자의 표정과 어조, 감정선에 온전히 집중할 수 있어 몰입도와 정보 습득 효율이 크게 높아진다”며 “창작자에게도 별도의 현지화 인력 없이 글로벌 팬덤을 형성할 수 있는 기회로 작용한다”고 말했다.
AI 더빙을 무분별하게 활용할 경우 발언 왜곡에 따른 책임 소재가 불분명하고, 가짜 영상에 대한 경계심이 둔화된다는 문제가 지적됐다. 김 교수는 “통역 과정에서 뉘앙스 손실이나 의도적 왜곡이 생겨도, 화자가 마치 직접 한국어로 말하는 것처럼 보이면 시청자는 화자 본인의 발화로 오인하게 된다”며 “이러한 합성 기술이 일상화되면 ‘본인 음성과 입모양=진짜 발언’이라는 등식이 깨지면서 정작 악의적으로 조작된 가짜 영상을 마주했을 때 예전만큼 의심하거나 경계하지 않을 가능성이 커진다”고 경고했다.
그는 이어 “플랫폼·업계 차원에서는 영상 재생 내내 인지 가능한 형태(C2PA 등 콘텐츠 출처 표준)로 표기의 지속성과 접근성을 확보해야 한다”며 “수용자들은 자동화된 정보처리를 하지 말고 ‘지금 보고 있는 영상이 편집된 재현 콘텐츠라는 점을 인식하고 생각하면서 시청하는 리터러시 습관’이 필요하다”고 당부했다.
