“많은 빅테크들이 고대역폭 메모리(HBM)보다 더 나은 메모리 솔루션을 찾고 있다.”
반도체 설계의 ‘전설’로 불리는 짐 켈러 텐스토렌트 최고경영자(CEO)는 지난 7월 닛케이아시아와의 인터뷰에서 텐스토렌트가 HBM 없는 AI 가속기를 내놓은 데 대해 이같이 말했다.
그는 “HBM을 사용하는 사람들조차 비용과 설계 때문에 어려움을 겪고 있다”며 자사 AI 가속기가 엔비디아의 대안이 될 것이라고 예고했다.
17일 업계에 따르면 AI 가속기에서 HBM을 배제하려는 ‘탈HBM’ 양상이 두드러지고 있다. AI 가속기를 용도에 맞게 사용하려는 기업이 늘고 있어서다.
AI 가속기는 대규모 데이터를 습득하는 학습용과 습득한 데이터를 서비스로 제공하는 추론용으로 나뉜다. 그간 대다수 빅테크는 그래픽처리장치(GPU)에 HBM을 붙인 엔비디아의 AI 가속기를 학습·추론 구분 없이 활용했다.
그러나 GPU 기반 AI 가속기는 학습을 위한 병렬 연산(데이터를 동시에 처리)에만 특화했고, 추론에는 비효율적이라는 지적이 잇따랐다.
엔비디아 독점으로 AI 가속기 수요는 달리고 가격은 천정부지로 오르는 점도 글로벌 빅테크의 주요 불만 사항이다.
삼성전자와 네이버가 개발 중인 ‘마하-1’, 텐스토렌트의 ‘웜홀’ 등은 이 같은 수요를 파고든 AI 가속기다.
마하-1은 추론용 AI 가속기로 HBM이 아닌 저전력 D램(LPDDR5)을 탑재하면서 가격을 엔비디아 제품의 10분의 1로 낮추고 전력 효율은 8배 높였다. 시장조사기관 옴디아는 추론용 AI 가속기 시장 규모가 지난해 292억달러에서 연평균 약 29% 급성장해 2029년 1321억달러에 달할 것으로 전망했다.
웜홀은 학습과 추론 연산이 모두 가능해 값비싼 엔비디아 AI 가속기와 정면 대결할 수 있는 모델로 꼽힌다. HBM 대신 그래픽 D램(GDDR)을 사용해 가격을 엔비디아 주력 AI 가속기였던 H100의 3분의 1 수준으로 낮췄다. 텐스토렌트는 연말까지 웜홀 대비 성능을 크게 끌어올린 차기작 ‘블랙홀’을 상용화할 계획이다.
이날 삼성전자가 업계 최초 개발 소식을 전한 24기가비트(Gb) 그래픽 D램은 이 같은 탈HBM 흐름을 가속하는 촉매제가 될 수 있다. 업계 최대 용량인 24Gb GDDR7 D램은 초당 40Gb 이상의 업계 최고 속도를 구현했다. 그래픽 카드에 탑재 시 최대 초당 1.8테라바이트(TB)의 데이터를 처리할 수 있다. 30기가바이트(GB) 용량의 UHD 영화 60편을 1초 만에 처리하는 셈이다.
불필요한 전력 소모를 줄이는 ‘클록 컨트롤 제어 기술’과 ‘전력 이원화 설계’로 전력 효율도 전작 대비 30% 이상 크게 개선했다.
GDDR은 ‘HBM 대체재’를 넘어 노트북·게임기 등 개인용 디바이스의 그래픽카드에 대부분 사용돼 범용성이 높다는 평가를 받는다. 삼성전자가 연말 고객사 검증을 거쳐 내년 초 기술력에서 앞선 24Gb GDDR7 D램을 상용화하면, AI 노트북용 GPU부터 AI 가속기가 적용된 데이터센터 서버까지 다양한 제품군에 탑재될 것이라는 관측이 나온다.
삼성전자 메모리사업부 상품기획실 배용철 부사장은 “지난해 7월 ‘16Gb GDDR7 D램’ 개발에 이어 이번 제품도 업계 최초로 개발에 성공해 그래픽 D램 시장에서의 기술 리더십을 공고히 했다”며 “AI 시장의 빠른 성장에 발맞춰 고용량·고성능 제품을 지속 선보이며 시장을 선도해 나갈 것”이라고 밝혔다.