정부의 ‘독자 인공지능(AI) 파운데이션 모델’ 프로젝트 2차 평가에서 탈락한 모티프테크놀로지스가 평가 기준과 세부 결과를 공개하라며 이의를 제기했다.

모티프테크놀로지스는 27일 입장문을 내고 “독자 AI 파운데이션 모델 사업 2차 단계 선정 결과와 관련해 정식으로 이의를 제기했다”고 밝혔다. 모티프는 △전체 평가 항목별·업체별 상세 점수와 평가 내용 △벤치마크 평가 배점 산정 방식의 근거 △전문가 평가의 세부 기준과 판단 근거 △사용자 평가 방법론과 블라인드 평가 적용 여부 등을 공개해 달라고 요구했다.

모티프테크놀로지스는 “모티프3가 AAII 벤치마크 점수만 높았을 뿐 전문가 평가와 사용자 평가에서 문제가 있었다고 설명한 것으로 보도됐다”며 “일부 언론에 보도된 과학기술정보통신부 고위 관계자 발언에서는 모티프3가 벤치마크 점수에 비해 실제 추론 성능이 미흡하고 사용성과 활용성이 떨어진다는 평가까지 언급됐다”고 했다.

이어 “이러한 내용은 단순히 어떤 업체가 선정되고 어떤 업체가 탈락했느냐의 차원을 넘어 독파모 사업의 본질과 향후 나아가야 할 방향에 대한 근본적인 의문을 제기한다고 생각한다”며 “저희가 추구해 온 기술적 방향성과 그 결과물에 대해 일부 오해가 있을 수 있다는 생각도 하게 돼 평가점수의 상세한 공개와 재심의를 정중히 요청한다”고 덧붙였다.

앞서 과기정통부는 2차 단계 평가를 통해 LG AI연구원과 SK텔레콤, 업스테이지 등 3개 팀을 다음 단계 진출팀으로 선정했다. 모티프테크놀로지스는 종합평가에서 최하위를 기록해 탈락했다.

모티프테크놀로지스 AI 모델 모티프 3는 글로벌 벤치마크 평가 점수에서 참여 모델 중 가장 높은 성적을 냈지만 사용성·활용성 평가에서 다소 뒤처져 다음 단계로 오르지 못했다. 모티프테크놀로지스는 글로벌 AI 모델 평가기관 아티피셜 애널리시스의 종합 성능지표인 AAII에서 47점을 기록했고 업스테이지는 37점, SK텔레콤은 35점, LG AI연구원은 31점이었다.

모티프테크놀로지스는 벤치마크 원점수 격차가 평가 배점으로 환산되는 과정에서 충분히 반영되지 않았다고 주장했다. AAII에서 1위와 4위 LG AI연구원의 점수 차이는 16점이었지만 평가 배점에서는 격차가 약 4점으로 줄었다는 것이다. 현재 환산 방식이 모델 간 실질적인 성능 차이를 축소할 수 있다는 게 회사 측 주장이다.

전문가 평가 방식에도 의문을 제기했다. 모티프테크놀로지스는 AAII 점수가 가장 낮았던 LG AI연구원이 전문가 평가에서 가장 높은 점수를 받은 데 대해 구체적인 판단 근거를 공개해달라고 요구했다. 모티프테크놀로지스는 “AAII 점수가 가장 낮은 LG의 경우 이전 1차 대비 모델 규모를 2배 이상 키웠지만 벤치마크 점수 개선은 미미했다”며 “가장 성능이 낮은 모델이 전문가 평가에서 1위를 차지했다는 결과에 대한 구체적인 판단 근거를 이해하기 어렵다”고 밝혔다.

사용자 평가에 대해서도 모델이나 기업의 브랜드 인지도가 평가에 영향을 줄 수 있다며 블라인드 방식 적용 여부와 세부 평가 결과 공개를 요청했다.

모티프테크놀로지스는 “이번 이의제기는 우리가 독파모에 선정돼야 한다는 주장을 위한 것이 아니다”라며 이의제기 결과와 관계없이 독파모 3차 단계에는 참여하지 않겠다고 밝혔다. 모티프테크놀로지스는 향후 정부 지원과 별개로 독자적인 프런티어 AI 모델 개발을 이어가겠다는 방침이다.