LG그룹의 인공지능(AI) 전담조직인 LG AI연구원이 자연어처리(NLP) 분야 세계 최고 권위 학회 중 하나인 북미전산언어학회(NAACL)에서 가장 혁신적인 논문 1편에 수여하는 ‘최고 논문상’을 수상했다고 30일 밝혔다.
해당 논문은 생성형 AI 모델의 성능을 평가하는 ‘빅젠 벤치’를 개발해 제시했다. LG AI연구원과 서민준 한국과학기술원(KAIST) 교수 연구팀이 주도하고 연세대, 코넬대, 매사추세츠공대(MIT) 등 여러 대학의 연구진이 함께했다.
기존 생성형 AI 모델 평가 방식은 유용성, 무해성 등 추상적인 개념 지표에 의존해 사람이 평가했을 때의 결과와 차이가 있고, AI 모델의 세부 역량을 측정하기 어렵다는 한계가 있었다.
빅젠 벤치는 사람의 평가와 유사한 결과를 도출하기 위해 다양한 상황과 주관적 요소를 고려하는 사람의 평가방식을 모방해 기준을 제시했다. 구체적으로 지시사항 수행, 논리적 추론, 도구 사용 능력, 안전성, 다양한 언어와 문화적 맥락 이해 능력 등 생성형 AI 모델이 갖춰야 할 핵심 역량을 9가지로 분류했고, 77개의 세부 역할을 잘 수행하는지 평가하는 765개 항목을 구성했다.
LG AI연구원은 빅젠 벤치를 사용해 생성형 AI 모델 103개를 평가한 결과 전문가 집단과의 교차 검증에서 높은 수준의 신뢰도와 타당도를 확인했다.
이문태 LG AI연구원 초지능랩장은 빅젠 벤치에 대해 “기존 벤치마크의 한계를 극복하고 인간의 정교한 평가기준에 부합해 AI 모델의 능력을 파악할 수 있다는 장점이 있다”고 설명했다.