김민수 교수.DGIST 제공.

DGIST는 정보통신융합공학전공 김민수 교수 연구팀이 슈퍼컴퓨터조차 처리하기 어려운 대용량 그래프 데이터를 개인용 컴퓨터(PC)1대로 처리하는 GStream 2.0 기술을 개발했다고 8일 밝혔다.

뇌과학, 인공지능, 사물인터넷(IoT), 웹, 소셜네트워크 분야 그래프 형태 빅데이터에 대해 그래픽처리장치(GPU)와 PCI-e SSD를 2개씩 장착한 PC 1대가 초당 20억개 처리속도(2GTEPS)로 2560억개 간선을 처리하는 기술이다.

인간 두뇌 신경망을 구성하는 약 100조개 간선 가운데 400분의 1 정도의 신경망데이터를 처리할 수 있다.

인간 두뇌 신경망은 1000억개에 달하는 정점 간 연결이 복잡해 컴퓨터 여러 대에나눠 저장할수록 통신비용과 메모리 사용량이 기하급수적으로 증가한다.

슈퍼컴퓨터를 사용하더라도 인간 두뇌 1000분의 1 크기 신경망을 처리하는 데 어려움을 겪는다.

빅데이터 분석 성능이 가장 우수하다고 알려진 미국 카네기멜론대 그래프랩은 중앙처리장치(CPU) 코어 480개, 2테라바이트 메모리, 5기가바이트 네트워크를 갖춘 슈퍼컴퓨터에서 최대 320억개 간선으로 구성된 그래프 데이터를 처리하는 데 1400초 걸린다고 연구팀은 설명했다.

연구팀은 PCI-e SSD에 대용량 그래프 데이터를 저장하고, SSD에서 GPU 메모리에비동기 방식으로 스트리밍하는 동시에 GPU의 수천개 계산 코어를 이용하는 방식을 시도했다.

그 결과 GPU 2개와 PCI-e SSD 2개를 장착한 PC 1대 만으로 320억개 간선 규모 데이터를 500초 만에 처리하고 최대 2560억개 간선 규모 데이터를 처리했다.

500만∼600만원대 PC 1대가 슈퍼컴퓨터를 이용한 것보다 그래프 데이터 처리 용량·속도가 월등해 통신비용, 메모리 사용량 등 문제점을 극복하는 기술이라는 것을의미한다고 연구팀은 덧붙였다.

김민수 교수는 “GPU와 SSD 기반으로 신경망 형태 빅데이터를 고속 처리할 수 있는 소프트웨어 기술을 확보했다”며 “뇌과학, 인공지능 분야에 사용하는 신경망 형태데이터 처리, IoT 데이터 기반 사이버 보안 등에 활용할 수 있다”고 말했다.

연구 성과는 지난달 28일 미국 샌프란시스코에서 열린 데이터베이스 분야 학술대회인 ’2016 ACM SIGMOD’에서 발표했다.

대구=문종규 기자 [e-mail]