후발주자 모티프, AAII 47점 ‘깜짝 선두’
전체 평가 25% 반영…2차서 1개팀 탈락
▲배경훈 부총리 겸 과기정통부 장관이 지난 11일 정부세종청사에서 열린 이재명 대통령 주재 국무회의에서 국민AI서비스 혁신 추진 관련 협조사항에 대해 보고하고 있다. 사진=연합뉴스
독자 인공지능(AI) 파운데이션 모델(독파모) 4강 경쟁에서 후발주자 모티프테크놀로지스가 글로벌 성적표 선두를 차지했다. 30명 미만의 인력이 5개월간 개발한 '모티프 3'는 LG AI연구원과 SK텔레콤보다 작은 규모에도 참여 모델 중 최고점을 기록했다. 이번 글로벌 벤치마크가 전체 평가의 25%를 차지하는 가운데, 이르면 다음 주 4개팀 중 한 팀의 탈락이 결정된다.
◇ 2차 이르면 내주 발표…4개팀 중 1곳 탈락
14일 업계에 따르면, 독파모 2차 단계 평가 결과는 이르면 다음 주 발표될 것으로 알려졌다. LG AI연구원, SK텔레콤, 업스테이지, 모티프테크놀로지스 등 4개 팀은 평가를 마친 상태다. 이번 결과에 따라 한 팀이 탈락하고 3개 팀이 다음 단계로 진출한다. 과학기술정보통신부는 지난 8~11일 일반 국민 200명으로 구성된 국민평가단 평가를 마치고 벤치마크와 전문가 평가 등을 종합해 결과 발표를 준비하고 있다.
글로벌 AI 평가기관 아티피셜 애널리시스(AA)의 '인텔리전스 인덱스(AAII)'에서는 모티프테크놀로지스의 '모티프 3'가 47점으로 독파모 참여 모델 중 가장 높은 점수를 받았다. 업스테이지의 '솔라 오픈 2 250B'가 37점으로 뒤를 이었고, SK텔레콤의 'A.X K2'는 35점, LG AI연구원의 'K-엑사원 2.0'은 31점을 기록했다. 모티프와 2위 업스테이지의 점수 차는 10점이다.
AAII는 실제 직무 수행과 도구 활용, 에이전트 업무 수행 등을 포함한 복수의 평가를 종합하는 글로벌 벤치마크다. 독파모 2차 평가에서는 전체 100점 가운데 25점이 AAII에 배정된 것으로 알려졌다. 벤치마크 평가 40점 가운데 나머지 15점은 한국지능정보사회진흥원(NIA) 자체 벤치마크가 반영되며, 전문가 평가 35점과 사용자 평가 25점이 별도로 합산된다.
모티프는 LG AI연구원, SK텔레콤, 업스테이지보다 늦게 2차 경쟁에 합류했다. 1차 평가에서 네이버클라우드와 NC AI가 탈락한 뒤 진행된 추가 공모를 통해 합류하면서 현재의 4개 팀 구도가 만들어졌다.
모티프테크놀로지스 관계자는 “AAII는 이번 평가에 들어가는 글로벌 지표이고 해외에서도 공신력이 있는 곳인 만큼 결과를 고무적으로 보고 있다"며 “점수 자체를 예상하기는 어려웠지만 성능 측면에서는 내부적으로 자신감이 있었다"고 말했다.
이어 “자체 아키텍처부터 시작해 모델을 '프롬 스크래치(from scratch)'로 구축하는 독자 모델 개발에는 자신이 있었다"며 “5개월 동안 30명도 안 되는 인력으로 개발을 진행했다"고 설명했다.
◇ 모델 '체급'보다 성능…모티프 47점 선두
▲그래픽=아티피셜 애널리시스(AA)
모델의 체급(파라미터)이 곧 성적으로 이어진 것은 아니었다. 모티프 3는 총 3140억개의 파라미터를 갖췄으며 추론 시 130억개를 활성화한다. LG AI연구원의 K-엑사원 2.0은 총 7500억개 중 370억개, SK텔레콤의 A.X K2는 총 6880억개 중 330억개를 활성화한다. 업스테이지 솔라 오픈 2는 총 2500억개 가운데 150억개를 활성화하는 구조다. 4개 모델 모두 필요한 일부 전문가를 선택적으로 가동하는 전문가혼합(MoE) 방식을 채택했다.
전체 파라미터를 기준으로 모티프 3는 LG AI연구원과 SK텔레콤 모델의 절반 안팎 규모지만 AAII에서는 더 높은 점수를 기록했다. 모티프 측은 모델 규모를 추가 공모 당시부터 300B 수준으로 설정했으며 당초 계획에 따라 개발을 진행했다고 설명했다.
최근 업계에서도 모델의 파라미터 수를 늘리는 것뿐 아니라, 같은 연산 자원으로 성능을 높이는 효율성이 주요 기술 경쟁 요소로 거론되고 있다. 한 업계 관계자는 “앞으로 AI 모델 경쟁에서 단순히 모델 규모를 키우기보다 효율성을 높이는 방향으로 가는 것은 전반적인 흐름이자 대세"라고 말했다.
다만 이번 AAII 결과만으로 모델 체급과 성능 간의 관계를 단정하기는 어렵다. 모델마다 아키텍처와 학습 데이터, 학습 방식이 다르고 AAII 역시 독파모 전체 평가 가운데 일부를 차지하는 지표이기 때문이다.
국내 모델과 글로벌 최상위권 모델 사이에도 격차가 남아 있다. 제공된 AAII 결과를 기준으로 앤트로픽의 '클로드 오푸스 5' 최고 추론 설정은 63점, 오픈AI 'GPT-5.6 솔'은 61점, 중국 문샷AI의 '키미 K3'는 60점을 기록했다. 국내 모델 가운데 가장 높은 모티프 3와 키미 K3의 점수 차는 13점이다.
한편 이번 2차 평가에서는 모델의 기본 성능과 함께 외부 도구를 활용해 실제 업무를 수행하는 에이전틱 AI 역량과 오케스트레이션 능력 등이 평가 대상에 포함된 것으로 알려졌다. 모델 설계와 사전학습 등을 자체적으로 수행했는지를 보는 독자성과 산업 현장에서의 활용 가능성도 평가 요소로 거론된다.
2차 평가를 통과한 3개팀은 다음 단계 경쟁에 들어간다. 이후 추가 평가를 거쳐 오는 12월 최종 2개팀이 선정될 예정이다.
;){kind=link}