카카오가 인공지능안전연구소와 AI 모델과 에이전트의 위험을 점검하는 공동 평가 체계를 구축한다. 양측은 9월 28일 전략적 업무협약을 맺고 평가 수행과 도구 개발을 단계적으로 추진하기로 했다. 협약 체결식은 카카오와 인공지능안전연구소 관계자가 참석한 가운데 진행됐다.

카카오는 안전성 평가 대상인 자체 AI 모델과 에이전트를 제공하고, 검증에 필요한 인프라를 지원한다. 인공지능안전연구소는 평가 방법을 고도화하고 실제 검증을 수행하며, 두 기관은 결과를 함께 검토한 뒤 공개 범위를 협의한다. 평가 결과는 서비스 공개 전 위험을 줄이는 기준과 공개 뒤 문제를 재검증하는 자료로 쓰인다.

협력은 세 단계로 진행된다. 먼저 언어모델을 대상으로 배포 전과 배포 후의 안전성을 평가하고, 이후 이미지와 음성 등 여러 정보를 함께 처리하는 멀티모달 언어모델과 실행형 AI 에이전트로 범위를 넓힌다. 마지막 단계에서는 평가 시간을 줄이고 반복 검증에 활용할 공동 도구를 개발한다. 멀티모달 단계에서는 텍스트 외 입력을 함께 처리할 때 나타나는 위험까지 점검 범위가 넓어진다.

카카오는 지난해 자체 언어모델 'Kanana-1.5-9.8B'를 인공지능안전연구소와 함께 평가했다. 당시 유사한 규모의 해외 모델과 비교해 안전성을 점검했으며, 이번 협약은 일회성 모델 검증을 상시 평가 체계로 확대하는 후속 조치다. 지난 공동 평가에서 사용한 모델은 98억 개 매개변수 규모의 자체 언어모델이다.

AI 에이전트는 검색 결과를 제시하는 수준을 넘어 예약과 구매, 메시지 전송처럼 실제 행동을 수행할 수 있다. 모델 답변뿐 아니라 외부 서비스 연결 과정과 권한 사용, 실행 전 확인 절차까지 평가 범위에 포함될 필요가 커지고 있다. 외부 도구를 호출하는 에이전트는 잘못된 답변과 실제 실행 오류를 구분해 살피는 절차가 필요하다.

카카오는 외부 전문가가 참여하는 AI·기술윤리소위원회를 운영하고 kt cloud와 안전한 AI 생태계 구축 협약도 체결했다. 이번 공동 평가는 카나나 계열 모델과 향후 에이전트 서비스의 배포 전후 검증 기준을 구체화하는 데 활용된다. 평가 방법론과 도구를 공동 개발하면 새 모델이 나올 때 동일 기준으로 반복 검증할 수 있다.