CXL 적용 GPU 성능 최적화시켜 AI 운영 메모리 확장비용 낮추고 기존 GPU보다 속도 2.36배 빨라
국내 연구진이 인공지능(AI) 가속기 시장을 독점하고 있는 미국 엔비디아에 맞설 수 있는 고효율의 AI 가속기술을 개발했다.
카이스트(한국과학기술원)는 정명수(사진) 전기 및 전자공학부 교수 연구팀이 차세대 인터페이스 기술인 컴퓨터 익스프레스 링크(CXL)가 적용된 고용량 그래픽처리장치(GPU) 성능 최적화 기술을 개발했다고 8일 밝혔다.
CXL은 고성능 컴퓨터의 중앙처리장치(CPU)와 GPU, 메모리를 연결하는 차세대 연결기술이다.
엔비디아의 최신 GPU의 내부 메모리 용량은 수십 기가바이트(GB)에 불과해 단일 GPU만으로는 모델을 추론·학습하는 것이 불가능하다. 대규모 AI 모델이 요구하는 메모리 용량을 제공하기 위해 많게는 수만개의 GPU 여러 대를 연결해야 하는데 이는 큰 비용을 발생시킨다.
이에 연구팀은 CXL을 활용해 대용량 메모리를 GPU 장치에 직접 연결하는 ‘CXL-GPU’ 구조 기술 개발에 착수했다. 그리고 CXL-GPU 장치의 메모리 읽기 및 쓰기 성능이 저하되는 원인을 분석했고, 메모리 확장 장치가 메모리 쓰기 타이밍을 스스로 결정할 수 있는 기술을 개발했다. 즉 GPU 장치가 메모리 확장 장치에 메모리 쓰기를 요청하면서 동시에 GPU 로컬 메모리에도 쓰기를 수행토록 설계했다. 그 결과 기존 GPU 메모리 확장기술보다 2.36배 빠르게 AI 서비스가 실행됐다.
정 교수는 “CXL-GPU의 시장 개화 시기를 가속해 대규모 AI 서비스를 운영하는 빅테크(거대기술) 기업의 메모리 확장 비용을 획기적으로 낮추는 데 기여할 수 있을 것”이라고 말했다.