정부가 인공지능(AI)안전연구소를 다음달 설립한다. 안전한 AI 개발·활용과 국제 연대 강화, 규범 정립 등의 역할을 맡는다.
18일 과학기술정보통신부 제17차 정보통신전략위원회에서 공유된 AI안전연구소 설립·운영계획에 따르면 연구소는 한국전자통신연구원(ETRI)에 소속된 신규 연구소 조직으로 출범한다. AI안전 정책·평가·기술분야의 3개의 연구실로 구성·운영되며, 직원은 30여명 규모다. 연구소 초대소장으로 AI 분야 전문성과 국제적 감각을 보유한 전문가를 채용하기 위한 절차를 진행 중이다.
연구소는 ‘아태지역을 대표하는 글로벌 AI안전 거점연구소’ 구현을 비전으로 삼아 3대 핵심미션으로 △AI안전에 대한 과학적 이해 증진 △AI안전정책 고도화 및 안전제도 확립 △국내 AI기업의 안전 확보 지원을 추진한다.
이를 위해 4가지 핵심기능을 수행할 계획이다.
우선, AI위험을 정의하고, AI안전을 평가한다. 국가차원에서 관리해야 할 주요 AI위험을 정의하고, AI안전 평가방법론과 위험완화 방안을 마련한다. AI안전 평가데이터셋 구축 및 평가도구 개발 등 AI안전 평가인프라를 구축하고, 기업의 활용을 지원할 계획이다.
AI안전 정책도 연구한다. 주요국, 국제기구의 AI 규범·거버넌스와 국내·외 주요 AI위험 정보를 수집·분석해 정책을 고도화해 나간다. AI기술이 경제·사회·일자리 등에 미치는 영향을 종합적으로 분석하고 대응방안 연구도 추진할 계획이다.
AI안전을 위한 대내·외 협력도 수행한다. 연구소를 중심으로 산·학·연이 참여하는 ‘AI안전 파트너십’을 구축해 AI안전 정책·기술 분야 연구 협력을 촉진할 계획이다. 또 AI안전 확보를 위해 주요국 AI안전연구소, 국제기구 등과 긴밀히 협력한다.
이와 함께 AI안전 확보를 위한 R&D를 추진한다. AI 통제력 상실 대응이나 AI모델의 보안·강건성 강화, AI 딥페이크 탐지 등 고도화되고 있는 AI위험에 대비하여 안전을 확보할 방침이다.
AI연구소는 지난 5월 ‘AI서울정상회의’의 후속조치로 마련된 것이다. 연구소는 다음달 출범 후 11월20일 미국 샌프란시스코에서 개최되는 ‘국제 AI안전연구소 네트워크’ 행사 참여를 시작으로 본격적인 역할을 수행해 나갈 예정이다.