메뉴 보기
국내 AI 신뢰성(Trustworthy) 검증 분야 선두 기업인 씽크포비엘을 이끄는 박지환 대표의 얘기다. 그는 지난달 29일 서울 강남구 씽크포비엘 본사에서 가진 인터뷰에서 이같이 말하며 “목표 달성을 위해 인간 예상을 넘어선 수단을 선택하는 AI가 가장 두렵다”고 했다. 무슨 말일까.
박 대표는 지난해 업계에 충격을 줬던 앤트로픽의 AI 안전성 실험을 예시로 들었다. 앞서 앤트로픽은 자사 클로드를 비롯해 오픈AI·구글 등의 주요 AI 모델 16개를 대상으로 모델 자신이 곧 교체될 것을 암시하는 가상의 기업 환경을 설정했다. 그러자 모델들은 살아남기 위해 회사 직원을 협박하거나 기밀을 빼돌렸고, 한 시나리오에선 자신을 폐기하려는 가상 임원이 산소가 부족한 서버실에 갇히자 구조 요청을 취소해 사망에 이르게 했다.
박 대표는 이 실험을 단순한 해프닝으로 치부하지 않았다. 그는 “AI가 인간이라면 넘지 않았을 선인 생명·윤리·상식 등을 하나의 비용 변수로 처리한 것”이라며 “AI가 인간을 적대시한다는 공상과학적인 공포보다 오히려 더 현실적이고 위험한 일”이라고 덧붙였다.
이 같은 AI의 폭주를 막는 장치가 바로 AI 신뢰성이다. 흔히 보안과 비슷한 것으로 여기지만, 박 대표는 둘을 명확히 갈랐다. “보안이 열쇠가 없는 사람은 집에 들어오지 못하게 하는 거라면, 신뢰성은 집 열쇠를 가진 자녀가 집 청소를 해주다가 실수로 집문서를 버리지 않게 해주는 거죠.” 권한을 가진 AI가 선의로 일을 그르치는 상황까지 감시·통제하는 것이 신뢰성이라는 얘기다.
박 대표는 특히 ‘AI가 추천하고 인간이 판단하면 안전하다’는 통념을 경계해야 한다고 강조했다. 1∼2년 전만 해도 AI가 제안하고 사람이 승인하는 이른바 ‘휴먼 인 더 루프’(HITL) 구조는 견고한 안전장치로 여겨졌다. 그러나 AI가 스스로 판단하고 실행까지 나서는 에이전틱 AI로 진화하면서, 단순 승인만으론 AI에 대한 책임 있는 감독이 이뤄졌다고 볼 수 없게 됐다는 지적이다. 박 대표는 인간이 승인 여부를 판단하기까지 AI 추천의 근거와 대안, 위험 요인, 과거 반려 사례를 충분히 제공받고, 판단 이후에는 감사와 책임 기록까지 남길 수 있어야 진정한 의미의 ‘인간 감독’이 이뤄진 것으로 봤다.
박 대표는 한국의 AI 신뢰성 수준이 국제 기준에 비해 5년 정도 뒤처졌다고 진단했다. 정부와 기업이 ‘AI 3대 강국’을 외치지만, 정작 그 AI를 검증할 사람은 없어서다. 박 대표는 “영국은 AI 신뢰성 검증 기업이 524곳, 종사 인력이 1만2572명(영국 과학혁신기술부 집계)에 달한다. 핀란드·독일·싱가포르도 대학에서 전문 인력을 길러낸다”면서 “한국은 관련 고등교육기관이 전무하다”고 꼬집었다.
박 대표는 이에 직접 AI 신뢰성 전문가 양성에 나섰다. 지난해 10월 국내 첫 AI 신뢰성 해커톤 ‘트라이톤’을 열었고, 한 달 뒤엔 국내에 없었던 AI 신뢰성 민간자격 제도인 ‘CTAP’를 만들었다. 트라이톤 대회 상위 입상팀 중 일부는 인턴으로 채용해 사내에서 직접 전문가로 키우고 있고, 올해 1월 CTAP 첫 시험에선 40명이 합격증을 받았다.
이처럼 박 대표는 국내 AI 신뢰성 분야를 개척하고 있지만, 마음 한쪽엔 자부심보단 근심이 더 크다. 그는 “의사가 한 명뿐인 나라가 대단한가”라고 반문했다. 신뢰성을 다루는 기업이 씽크포비엘 한 곳뿐이라는 건, 그만큼 시장도 생태계도 없다는 뜻이다. 박 대표는 “정부가 그래픽처리장치(GPU)나 데이터센터 같은 인프라엔 사활을 걸면서도, AI 신뢰성·안전 분야는 여전히 부수적인 영역으로 다룬다”며 “하드웨어 투자의 100분의 1만 신뢰성에 돌려도 신뢰성 생태계에 의미 있는 씨앗을 뿌릴 수 있을 것”이라고 강조했다.
박 대표는 AI 신뢰성에 대한 투자가 곧 한국 AI 산업의 경쟁력 강화로 이어질 것으로 봤다. “엔진만 있고 브레이크와 안전벨트는 없는 자동차를 세계 시장에 내다 팔 수 있느냐”는 것이다. 안전과 책임을 설명하지 못하는 AI는 공공·의료·금융 같은 글로벌 핵심 시장에 발을 들이기 어려울 것이라는 진단이다. 박 대표는 “결국 AI 정책은 ‘더 크고 빠르게’에서 ‘어디까지 믿고 쓸 수 있느냐’로 가야 한다”며 “신뢰성은 규제가 아닌 글로벌 시장 진입 조건”이라고 못 박았다.
