"엔비디아, 초대형 오픈소스 AI 모델 개발중"

디인포메이션 보도…매개변수 1조개 네모트론5
고객사 오픈AI와도 경쟁 구도
"오픈소스 모델 늘수록 칩 수요 늘어" 계산

엔비디아가 매개변수(파라미터) 1조개 이상 규모의 초대형 오픈소스(개방형) AI 모델 '네모트론4'를 개발 중이라고 IT 전문 매체 디인포메이션이 11일(현지시간) 보도했다.

지난 6월 내놓은 현재 최대 모델 '네모트론3 울트라'의 약 두 배 규모로 세계 최고 수준의 오픈소스 AI 모델과 어깨를 나란히 하는 성능을 목표로 한다.

엔비디아. 로이터연합뉴스

엔비디아는 이날 대형 모델에서 '증류' 기법으로 만든 매개변수 300억개 규모의 경량 모델 '네모트론3.5 라이트닝'도 별도로 공개했다.

다만 네모트론4도 규모와 성능 모두 중국 모델에는 아직 못 미친다. 문샷 키미K3(2조8천억개), 알리바바 큐원3.8-맥스(2조4천억개), 딥시크 V4-프로(1조6천억개) 등 중국의 최신 오픈소스 모델보다 매개변수가 훨씬 적다.

네모트론3 울트라도 관련 벤치마크에서 미국 오픈소스 모델 중 2위에 그쳐 중국 최상위 모델과는 격차가 크고 전체 순위로는 상위 40위권 밖이다.

엔비디아는 이런 격차를 소형 모델의 성능을 끌어올리는 압축 기술로 상쇄하겠다는 전략이다.

미국 오픈소스 모델이 중국에 뒤처졌다는 위기감은 오픈소스 모델을 둘러싼 미 정치권의 규제 논쟁으로도 이어지고 있는데, 젠슨 황 엔비디아 CEO는 오픈 모델이 "안전, 사이버보안, 과학적 진보, 국가 안보를 증진한다"며 오픈소스를 적극 옹호해왔다.

네모트론4의 사전학습 데이터와 아키텍처는 일부 확정됐으나 정확한 사양과 출시일은 아직 정해지지 않았고 최종 학습도 마무리되지 않아 이르면 올가을 늦게 완성될 것으로 알려졌다.

이번 모델 개발에는 이전보다 훨씬 많은 인력이 투입되고 있다.

엔비디아의 직전 대형 모델을 다룬 연구 논문에는 저자가 570명 참여했는데, 직원들은 네모트론4에는 이보다 더 많은 인원이 참여할 것이라고 전했다.

엔비디아는 이런 오픈소스 드라이브에 맞춰 자체 모델 학습에 쓰이는 컴퓨팅 자원 지출도 대폭 늘렸다.

자사 칩을 사들이는 클라우드 사업자들로부터 AI 서버를 다시 임차하는 방식으로, 지난 4월 기준으로 다년간 클라우드 서비스 약정 규모를 2031년 초까지 280억달러(약 394조원)로 확대했다. 이는 1년 전보다 약 3배로 늘어난 금액이다.

다만 이런 전략은 엔비디아를 미묘한 입장에 놓이게 한다.

최대 고객인 오픈AI 등 선두권 AI 개발사, 엔비디아가 투자한 리플렉션AI·씽킹머신스랩 등 오픈소스 스타트업들과 사실상 경쟁하는 구도가 될 수 있기 때문이다.

엔비디아는 오픈AI에만 300억달러(약 422조원)를 투자한 상태다.

그럼에도 엔비디아 안팎에서는 다양한 오픈소스 모델이 늘어날수록 결국 자사칩 수요도 함께 늘어난다는 계산이 깔려 있다.

AI 모델 평가업체 아레나의 아나스타시오스 앙겔로풀로스 최고경영자(CEO)는 "이들 기업 중 어느 곳이 훌륭한 오픈소스를 만들든 엔비디아가 승리한다"고 했다.

엔비디아는 리플렉션AI·커서·씽킹머신스랩·미스트랄·프라임인텔렉트·코그니션 등이 참여하는 '네모트론 연합(Nemotron Coalition)'을 통해 학습 데이터와 아이디어를 제공받고 있다.

프라임인텔렉트는 모델 학습을 돕기 위해 시뮬레이션 환경 30만개를 제공했다.코그니션은 코딩 데이터 제공을 논의 중인 것으로 전해졌다. 네이버 클라우드도 지난 6월 연합에 합류했으나 네모트론4 개발 관련 역할은 아직 알려지지 않았다

다만 엔비디아조차 모델 개발에 쓸 수 있는 자금에는 한계가 있다.

회계연도 기준 클라우드 서비스 약정 규모는 70억달러로, 오픈AI·앤트로픽의 지출에는 못 미친다. 하지만 미국과 중국을 통틀어 대다수 오픈소스 모델 개발사가 지금까지 조달한 누적 자금보다는 많은 수준이다.

<연합>