최근 인공지능(AI) 산업에서 ‘AI 팩토리’가 차세대 AI 인프라의 핵심 개념으로 떠오르고 있다.
데이터센터와 비슷해 보이지만 단순히 서버를 보관하는 시설이 아니라 데이터를 학습시켜 AI 답변과 번역, 코드, 영상 등 다양한 결과물을 만들어내는 ‘AI 생산 공장’이라는 점에서 차이가 있다.
AI 팩토리라는 개념은 엔비디아가 처음 강조하면서 널리 알려졌다.
특히 젠슨 황 최고경영자(CEO)가 지난달 방한해 국내 기업들과 AI 팩토리 구축 협력을 발표하면서 관련 용어도 빠르게 확산했다.
데이터센터는 서버와 저장장치, 네트워크를 갖춘 인프라다.
AI 데이터센터는 그래픽처리장치(GPU)와 고속 네트워크, 대용량 저장장치 등을 갖춰 대규모 AI 학습과 추론을 수행하도록 설계된 시설이다.
AI 팩토리는 데이터센터를 기반으로 데이터를 수집·가공하고 AI를 학습시켜 실제 서비스까지 연결하는 전 과정을 의미한다.
즉, 데이터센터가 설비라면 AI 팩토리는 AI 답변과 번역, 코드, 예측 등 결과물을 만들어내는 생산공정에 가깝다.
AI 팩토리가 생산하는 결과물은 텍스트에만 국한되지 않는다. 음성·영상 생성, 상품 추천, 로봇 제어, 공장 운영 예측 등 다양한 산업 분야에 활용된다.
엔비디아는 AI 팩토리가 만들어내는 결과물을 ‘지능(Intelligence)’이라고 표현한다. 이를 측정하는 대표 지표가 ‘토큰(Token)’이다.
토큰은 AI가 문장을 이해하고 답변을 생성하는 최소 정보 단위다. 업계에서 ‘AI 팩토리가 토큰을 생산한다’는 표현은 GPU를 활용해 번역·요약·코드 생성 등 다양한 AI 결과물을 대규모로 만들어낸다는 뜻으로 쓰인다.
기존 데이터센터가 여러 종류의 전산 업무를 처리하는 곳이라면 AI 팩토리는 GPU와 저장장치, 네트워크, AI 소프트웨어를 하나로 묶어 AI 학습과 서비스를 효율적으로 운영하는 데 초점을 맞추고 있다.
AI 팩토리는 데이터센터를 기반으로 하지만 모든 데이터센터를 AI 팩토리라고 부를 수는 없는 것이다.
결국 AI 경쟁의 초점도 데이터를 저장하는 인프라를 구축하는 데서 AI 서비스를 얼마나 효율적으로 생산하고 운영하느냐로 옮겨가고 있다는 분석이다.