“쓰던 앱에서 바로 쓴다”…KT ‘모두의 AI’ 6000만개 서비스 연결

‘이음인사이드’로 서비스 안팎 경계 허문다
국산 AI 5종 중 질문별 최적 모델 자동 선택
토큰팩토리로 처리량 31% 높여 효율 개선

KT가 별도 AI 서비스를 찾아갈 필요 없이 평소 쓰던 앱과 웹에서 바로 이용하는 '모두의 AI'를 선보인다. 다음, 무신사, 직방, EBS 등 6000만개 이상의 서비스 접점을 연결해 검색과 추천은 물론 구매와 공공서비스 신청까지 AI가 이어주는 구조다.

KT는 과학기술정보통신부가 추진하는 '모두의 AI' 사업을 위한 대국민 AI 서비스 전략을 공개했다고 13일 밝혔다.

KT 컨소시엄에는 업스테이지, 솔트룩스, 다음, 무신사, 직방, EBS, 매스프레소, BC카드 등이 참여한다. KT는 이들 기업이 보유한 서비스와 AI 기술을 결합해 공공, 교육, 금융, 쇼핑 등 일상 영역으로 AI 활용 범위를 넓힐 계획이다.

핵심 전략은 '이음인사이드'다. 별도의 '모두의 AI' 앱을 구축하는 동시에 컨소시엄 참여 기업의 기존 앱과 웹, KT 지니TV 등에 AI 기능을 적용한다. 이용자가 새로운 플랫폼으로 이동하지 않고 기존에 쓰던 서비스 안에서 같은 AI 경험을 이용하도록 하는 방식이다.

이진형 KT AX사업본부장 상무는 지난 11일 열린 온라인 설명회에서 “다음으로 승부를 보는 것은 아니다"라며 “다음의 검색 정보와 내부 정보, 생태계 서비스 정보 등을 활용해 새로운 AI 모드로 바꾸는 형태의 사업"이라고 설명했다.

◇ 검색에서 구매까지…공공서비스는 신청도 지원

KT가 기존 생성형 AI와 차별화한 지점은 검색 이후의 '실행'이다. AI가 질문에 답하는 데서 끝나지 않고 이용자의 상황과 실제 서비스 데이터를 바탕으로 비교와 추천, 구매와 신청까지 이어주는 구조다.

예컨대 이용자가 쇼핑 플랫폼에서 창문형 에어컨을 찾으며 자신의 집에 설치할 수 있는 제품을 물으면 실제 상품 정보를 토대로 적합한 제품을 비교하고 구매까지 연결한다. 직방에서는 관심 아파트의 실거래가와 매물 정보를 분석해 시세보다 저렴한 매물을 찾아주는 식이다.

공공서비스도 개인 맞춤형으로 제공한다. 이용자의 연령과 거주지역 등을 바탕으로 받을 수 있는 혜택을 먼저 알려주고 대화형으로 절차를 안내한다. 향후 발급과 신청까지 AI가 처리하도록 서비스를 확대할 계획이다.

다만 실제 신청까지 연결하려면 정부의 API 개방이 필요하다. 이 상무는 “정부에서 개방한 서비스는 에이전트화할 수 있지만 개방되지 않은 서비스는 중간에 멈추고 다른 정부 앱으로 이동해 처리해야 한다"며 “최종 신청까지 가능한 다양한 서비스를 어떻게 개방할지 정부와 논의하고 있다"고 말했다.

개인화 기능도 강화한다. 이용자의 과거 검색과 문의 내용을 기억해 관심사를 파악하고 필요한 정보를 먼저 제안하는 '메모리 기반 개인화'를 적용한다. 부동산에 관심이 있는 이용자에게 관련 매물을 추천하고 농업인에게 농업과 기상 정보를 제공하는 방식이다.

◇ 국산 AI 5종 결집…질문 따라 최적 모델 선택

모두의 AI의 두뇌 역할은 KT의 AI 운영 플랫폼 '토큰팩토리'가 맡는다. 하나의 AI 모델에 의존하지 않고 여러 국산 AI 모델 가운데 질문과 서비스에 적합한 모델을 골라 사용하는 구조다.

토큰팩토리에는 업스테이지의 솔라(Solar), 모티프테크놀로지스의 모티프(Motif), 솔트룩스의 룩시아(LUXIA), NC AI의 바르코(VARCO), KT의 믿음(Mi:dm) 등 국산 AI 모델 5종이 결합된다. 리벨리온의 NPU와 래블업, 베슬AI의 인프라 운영 기술도 활용한다.

KT는 AI 연산 과정도 최적화했다. 프롬프트를 처리하는 '프리필(Prefill)'과 답변을 생성하는 '디코드(Decode)' 단계를 분리해 각각 적합한 연산 자원을 배치한다. 이를 통해 분당 토큰 처리량(TPM)을 31% 높이고 프롬프트 압축 기술로 입력 토큰은 최대 80% 줄일 수 있다는 설명이다.

이 상무는 GPU 활용 효율과 관련해 “정부에서 GPU 100장을 지원받는다고 하면 저희 효율성으로는 121장 정도의 효율이 있다"고 설명했다.

◇ 자체 GPU까지 준비…트래픽 몰리면 '폴백'

대규모 이용자 유입에 대비한 GPU 운용 전략도 마련했다. KT는 정부에서 지원받는 GPU 외에 자체 GPU를 추가로 확보했다. 이용자가 몰려 정부 지원분만으로 대응하기 어려울 경우 KT가 보유한 GPU를 투입하는 '폴백' 체계를 가동한다.

이 상무는 “GPU 배정량과 AI 모델뿐 아니라 전체 성능은 별개가 아니고 완전히 상관관계가 있다"며 “기술적으로 20% 정도의 버퍼를 가지고 있다"고 말했다.

다만 예상보다 많은 트래픽이 몰릴 경우 이용량을 일시적으로 제한할 수 있다. 이 상무는 추가 확보한 자원까지 소진되면 글로벌 AI 서비스처럼 '스로틀링'이 발생할 수 있다고 설명했다. 스로틀링은 이용자가 몰릴 때 서비스 안정을 위해 처리 속도나 이용량을 제한하는 조치다.

KT는 사업을 지속하기 위한 수익모델도 검토한다. 당장은 일반 이용자에게 직접 이용료를 받기보다 컨소시엄 생태계 안에서 수익을 공유하는 방안에 무게를 두고 있다.

부동산이나 쇼핑 등 제휴 서비스에서 AI 추천이 실제 거래로 이어지면 참여 기업 간 크레딧이나 토큰 크레딧을 활용하는 방식이다. 향후 정부 정책 등에 따라 별도의 프리미엄 서비스를 마련하는 방안도 검토할 수 있다는 입장이다.

이 상무는 “현재 국민에게 비용을 받는 수익모델은 크게 고려하고 있지 않다"고 말했다.

KT는 컨소시엄 외부로도 생태계를 넓힐 계획이다. 금융과 호텔, 음식점 예약, 콘텐츠 등 여러 분야에서 추가 참여 의사를 밝힌 기업들과 협력을 논의하고 있다. 신규 기업에도 소프트웨어개발키트(SDK)를 제공하고 자체 연동이 어려운 사업자에는 KT가 기술 지원에 나선다.

디지털 소외계층의 AI 접근성도 높인다. KT는 연간 약 15만명을 대상으로 운영하는 IT서포터즈를 활용해 노년층과 다문화 가정 등의 AI 이용을 지원할 계획이다.

이진형 상무는 “이음인사이드를 통한 개방형 AI 생태계 조성으로 국민의 일상을 함께하는 것은 물론 다양한 서비스 접점을 통해 디지털 소외계층까지 포용하는 대국민 AI 서비스를 선보일 것"이라며 “국내 최고 수준의 멀티모델과 KT 역량이 응축된 토큰팩토리를 바탕으로 빠르고 정확하며 안정적인 최적의 AI 서비스를 제공하도록 최선을 다하겠다"고 말했다.

김나현 기자 knh@ekn.kr