오픈AI·구글·MS 등 참여…검색 노출은 허용하고 AI 학습용 수집만 제한 가능
웹사이트 운영자, 기업별 크롤링 봇 일일이 차단 필요 無…내년부터 순차 적용

웹사이트 운영자가 AI 학습 목적의 자료 수집을 한 번에 거부할 수 있도록 인공지능(AI) 업계가 공통 표준을 지원하기로 했다.

기업마다 크롤링 봇을 개별적으로 차단해야 했던 기존 방식이 개선되면서 웹사이트 운영자의 콘텐츠 활용 통제권도 강화될 전망이다.

앞으로 웹사이트 운영자는 사이트 내 콘텐츠의 주요 인공지능(AI) 모델 학습을 한 번에 거부할 수 있게 될 전망이다. 사진은 AI 앱들. 연합뉴스

오픈AI와 구글, 마이크로소프트(MS) 등은 지난달 31일(현지시간) AI 학습을 위한 웹 자료 수집을 공통된 방식으로 제어할 수 있는 표준을 지원하겠다고 각각 밝혔다.

이번 움직임은 AI 기업들의 무분별한 웹 자료 수집을 둘러싼 저작권 논란이 이어지는 가운데 나왔다. 최근 주요 언론사와 출판계 등은 자사 콘텐츠가 AI 모델 학습에 활용되는 과정에서 저작권이 침해됐다며 관련 기업을 상대로 소송을 제기하는 등 반발해 왔다.

기존에는 웹사이트 운영자가 AI 기업의 데이터 수집을 막으려면 각 기업이 사용하는 크롤링 봇을 개별적으로 차단해야 했다. 크롤링 봇은 인터넷 웹사이트를 자동으로 돌아다니며 글과 이미지 등 정보를 수집하는 프로그램이다. 검색엔진이 웹페이지를 찾아 검색 결과에 반영하는 데 활용되며, AI 기업들도 모델 학습에 필요한 데이터를 수집하는 데 사용한다.

이에 따라 새로운 AI 기업이나 봇이 등장할 때마다 웹사이트 운영자가 차단 설정을 추가해야 하는 번거로움이 있었다.

새 표준이 적용되면 웹사이트 운영자는 AI 학습용 자료 수집을 거부한다는 의사를 한 번 설정해 여러 기업의 크롤링 봇에 전달할 수 있다. 검색엔진 노출을 위한 자료 수집은 허용하면서 AI 모델 학습을 위한 수집만 제한하는 것도 가능해진다.

MS는 검색엔진 빙(Bing) 블로그를 통해 “웹사이트 운영자는 빙에서 자신의 콘텐츠가 검색되도록 하는 것과 생성형 모델이 자신의 저작물을 어떻게 활용할지 결정하는 것 사이에서 선택을 강요받아서는 안 된다”고 밝혔다.

오픈AI도 이번 조치를 두고 “개방형 웹을 향한 실용적인 발걸음”이라고 평가했다.

이번 공통 표준은 국제인터넷표준화기구(IETF)에서 논의된 결과에 따른 것이다. 앞서 앤트로픽은 해당 표준을 도입해 시행하고 있다. 구글과 MS는 내년부터 적용할 예정이며, 오픈AI는 향후 수개월 안에 도입한다는 방침이다.

메타의 앤디 스톤 커뮤니케이션 총괄도 엑스(X·옛 트위터)를 통해 이 같은 조치의 중요성을 언급했다. 메타의 공통 표준 참여 여부는 구체적으로 밝히지 않았다.