[현장] 눈앞에 선 피프티피프티, 표정 읽고 곡 쓰는 AI…K팝에 기술 입힌 DDP

VR로 눈앞에서 만나는 K팝, AI는 즉석 작곡
53개 기업 참여, 체험존 8곳서 신기술 선봬

VR 헤드셋을 쓰고 몇 걸음 앞으로 나아가자 피프티피프티 멤버들이 눈앞에 나타났다. 고개를 돌리자 무대가 360도로 펼쳐졌다. 손을 뻗으면 가상 공간도 반응했다. 한자리에 서서 영상을 보는 기존 VR과 달리 관람객이 직접 공간을 걸으며 K팝 콘텐츠 속으로 들어가는 방식이다.

지난 18일 서울 동대문디자인플라자(DDP)에서 열린 '엔터테크 서울 2026'. 전시장에서는 AI와 VR, AR이 K팝을 즐기는 방식을 바꾸고 있었다. 무대 바로 앞에서 공연을 보는 듯한 VR부터 관람객의 표정을 읽고 곡을 만드는 AI까지 다양한 체험이 이어졌다.

피프티피프티의 세계관을 구현한 LBE(Location-Based Entertainment) VR은 정해진 공간 안에서 이용자의 위치와 움직임을 추적해 가상 콘텐츠와 상호작용하는 방식이다. 관람객은 피프티피프티의 세계관을 담은 공간을 직접 이동하며 360도 퍼포먼스를 감상할 수 있다.

헤드셋은 관람객의 위치뿐 아니라 손의 움직임까지 인식했다. 앞으로 걸으면 가상 공간에서도 시점이 움직였고, 손을 움직이면 화면 속 콘텐츠가 이에 맞춰 반응했다.

체험을 선보인 VRUNCH의 한승관 미디어팀 팀장은 “이전 VR이 한자리에 서서 감상하는 방식이었다면 LBE는 공간을 돌아다니면서 직접 체험할 수 있다"고 말했다. 기존에도 LBE 기술은 있었지만 최근 HMD(헤드마운트디스플레이) 성능이 높아지면서 상용화가 빨라졌다는 설명이다.

VRUNCH는 현재 기업간거래(B2B) 방식으로 관련 콘텐츠를 제작하고 있으며 소비자 대상 사업도 준비 중이다. 한 팀장은 “행사에 나가면 하루 약 300명이 체험한다"고 말했다.

30대 관람객 이상연 씨는 “사람이 실제로 앞에서 눈을 마주치는 느낌이 들어 신기했다"며 “상상했던 것보다 현실감이 높았다"고 했다. 아쉬운 점도 있었다. 그는 “기기가 얼굴에 완전히 밀착되지 않아 코 사이로 바깥이 조금 보였고 소리도 작아 몰입이 깨졌다"고 말했다. 돈을 내고 다시 이용하겠느냐는 질문에는 “영화관 정도의 가치는 있을 것 같다"고 답했다.

◇ 공연장도 VR로…AI는 얼굴 보고 곡 만들었다

몇 걸음 떨어진 SM 아티스트 VR 체험존에서는 또 다른 방식의 K팝 공연이 펼쳐졌다. 정해진 시간마다 표를 받은 관람객들이 VR 기기를 착용하고 자리에 앉았다.

약 30분 동안 에스파 뮤직비디오 한 편과 콘서트 영상 6편이 이어졌다. 고개를 돌리면 무대와 객석이 함께 움직였다. 아티스트가 가까이 다가오는 장면에서는 실제 공연장 맨 앞줄에서 무대를 보는 듯했다. 현실 공연장에서는 경험하기 어려운 거리와 시점을 VR로 구현한 것이다. 서울시는 이 프로그램을 아티스트와의 근접감과 몰입감을 높인 체험으로 소개했다.

한계도 보였다. 일부 영상이 순간적으로 끊기면서 공연을 보는 듯 이어지던 몰입감도 함께 끊겼다.

AI 피아노 앞에서는 관람객의 얼굴과 움직임이 곧바로 음악의 재료가 됐다. 관람객이 카메라 앞에 서자 AI가 표정과 움직임을 분석했다. 촬영을 마치고 약 5초가 지나자 분석 결과에 맞춘 음악이 만들어졌고, 옆에 놓인 피아노 건반이 움직이며 곡을 연주했다.

체험한 엄가슬씨(21)는 “AI가 표정과 움직임을 분석하는 것이 신기했다"면서도 “사람마다 나오는 설명이 비슷한 것 같았다. 결과가 개인별로 더 구체적이면 좋을 것 같다"고 말했다.

AR 글래스 체험존에서는 안경 형태의 기기를 스마트폰에 연결하자 눈앞에 영상이 떠올랐다. 고개와 시선을 움직여도 화면이 따라왔고 별도의 이어폰 없이 안경 자체에서 소리도 나왔다. 기존 안경 위에 덧쓰는 것도 가능했다. 주최 측은 2D 영상을 3D 공간 콘텐츠로 변환해 보여주는 방식이라고 설명했다.

◇ 컨퍼런스서 '체험형 축제'로…K팝 전면에

올해 행사가 지난해와 가장 달라진 점은 체험 공간의 확대다. 주최 측에 따르면 지난해에는 컨퍼런스 비중이 높고 전시 체험은 많지 않았다. 올해는 시민이 직접 참여할 수 있는 프로그램을 늘리고 K팝 관련 콘텐츠를 전면에 배치했다.

올해 행사에는 53개 기업이 참여했으며 사전등록자는 약 1000명으로 집계됐다. 전시장에는 K팝 아이돌 데뷔 체험, SM 아티스트 VR, K팝 쇼케이스, AI 피아노 작곡, AR 글래스, 82MAJOR 인터랙티브월, K스타일, 피프티피프티 LBE 등 8개 체험존이 마련됐다.

행사 범위도 넓어졌다. 서울시는 올해 엔터테크 서울과 게임 e스포츠 서울을 함께 열고 SPP 국제콘텐츠마켓을 연계했다. 전시와 체험뿐 아니라 콘텐츠 기업의 투자 상담과 해외 진출까지 한 행사 안에서 연결한다는 구상이다.

오세훈 서울시장은 이날 개막식에서 “AI는 창작의 방식을 바꾸고 있고 XR은 무대와 관객의 경계를 허물어가고 있다"며 “K팝은 기술과 IP, 플랫폼, 글로벌 팬덤이 결합한 융합 산업으로 발전하고 있다"고 말했다.

이어 “기업과 창작자, 기술과 자본, 글로벌 팬덤이 가장 밀도 있게 연결되는 곳이 바로 서울"이라며 “창작자와 기업의 아이디어가 기술과 만나 세계적인 콘텐츠로 성장하고 더 큰 시장 기회로 이어지는 선순환의 산업 생태계를 탄탄하게 갖춰 나가겠다"고 했다.

김나현 기자 knh@ekn.kr, 이수진 인턴기자