인공지능(AI) 기술 발달과 맞물려 ‘딥페이크(허위 영상물)’가 기승을 부리고 있는 가운데 정부가 AI 기반 딥페이크 탐지 분석 모델을 고도화해 6·3 지방선거 등 디지털 범죄 수사에 활용키로 했다.
행정안전부와 국립과학수사연구원은 10일 영상별 탐지 정확도를 76%에서 92%로 높인 AI 딥페이크 탐지 분석 모델을 중앙선거관리위원회에 제공해 상시 모니터링과 신속 대응을 지원한다고 밝혔다.
공직선거법상 선거일 전 90일부터 선거일까지 선거운동 목적의, 실제와 구분하기 어려운 딥페이크 제작·편집·게시·유포 행위가 금지된다.
행안부와 국과수는 2024년 모델을 함께 개발해 지난 대선 때도 선관위에 공유, 딥페이크 1만여건의 탐지 및 삭제를 지원했는데, 이번 모델은 탐지 범위와 성능을 대폭 개선한 것이다. 지난해 관련 경진 대회를 열어 확보한 5종의 우수 모델, 서로 다른 알고리즘을 결합해 교차 검증으로 다수결에 따라 진위를 가려낸다.
개선된 모델은 얼굴 등 특정 부위 ‘국소 분석’과 신체나 배경 등 영상의 전체적 흐름을 판별하는 ‘전역 분석’을 동시에 진행해, 탐지 정확도를 92%까지 끌어올렸다.
분석 대상 파일을 업로드하면 딥페이크 합성 확률과 시간대별 변조 의심 구간을 시각화해 제공한다. 생성형 AI 기반의 정교한 딥페이크 판별도 가능하다. 기존 모델은 단일 기술과 학습한 데이터에 기반해 얼굴 중심 ‘국소 분석’만 가능했다.
행안부는 AI 딥페이크 탐지 분석 모델을 계속 고도화해 활용 범위를 성범죄, 명예훼손 등 디지털 범죄 수사로도 확대해 나갈 계획이다.
성평등가족부와 방송미디어통신위원회, 경찰청 등과 협력해 디지털 범죄 예방부터 탐지·차단, 수사, 피해자 지원까지 아우르는 대응 체계를 만들 예정이다.
윤호중 행안부 장관은 “딥페이크는 민주주의를 흔들 수 있는 새로운 정보 범죄로, 지방선거를 앞두고 AI를 악용한 허위 정보 확산에 범정부 차원 대응이 필요한 시점”이라며 “AI가 가짜 뉴스를 만드는 ‘나쁜 AI’가 아니라 민주주의를 지키는 ‘착한 AI’가 되게 하겠다”고 말했다.