- 사운드 트레이싱을 고성능 저전력으로 처리하는 시스템 반도체 기술에 이어 SW 기술도 세계 최초 개발
- 세종대 컴퓨터공학과 박우찬 교수팀과 세종피아 공동 개발
|
▲ 사운드 트레이싱의 개념(왼쪽)과 사운드 트레이싱 실행의 예 (자료=세종대) |
최근 애플이 내년 초에 출시할 혼합현실(MR: Mixed Reality) HMD 기기인 비전 프로(Vision Pro)에서 공간 컴퓨팅이라는 새로운 개념을 발표해 전세계적인 관심도가 매우 뜨겁다. 비전 프로의 오디오 기술로써, 초실감 공간 음향을 위한 오디오 레이트레이싱(Audio raytracing)을 지원한다고 발표한 것이다. 이 기술은 기존 머리전달함수 기반의 정적인 3D 오디오와는 달리, 공간 정보가 실시간 반영돼 마치 실제 공간에 있는 것 같은 3D 음향을 제공한다.
오디오 레이트레이싱을 지원하기 위해서는 3차원 공간상에서 음원과 청취자 사이에 소리가 전달되는 전파 경로를 실시간 추적하는 기술이 필수적이다. 하지만, 알고리즘이 매우 복잡하고 대규모의 연산량을 요구하기 때문에 실시간 처리가 매우 어렵다. 또한, 모바일 기기에 매우 중요한 전력 소모면에서 한계가 있다.
세종대 박우찬 교수와 세종피아는 이미 사운드 트레이싱 반도체 기술을 공동으로 개발해 제품화에 성공한 바 있다. 이번 결과는 이를 기반으로 저전력 소프트웨어를 구현한 것이다. 박 교수는 GPU 분야의 국내외 권위자로 특히 레이 트레이싱 GPU 분야의 연구 결과들은 선구자적인 기술이라고 평가받고 있다. 이러한 레이 트레이싱 기술을 기반으로 3D 오디오 기술을 결합한 기술이 사운트 트레이싱이다. 현실적인 공간감을 부여하는 궁극의 초실감 3D 오디오 기술이며, 메타버스, 확장현실(XR)/혼합현실(MR), 게임 분야에 적합하다.
애플의 비전 프로에는 맥북에 사용되는 고성능 GPU인 M2 칩이 장착되어 있으며 M2는 오디오 레이트레이싱 소프트웨어가 수행될 수 있는 충분한 성능을 보여줄 것으로 예상된다. 하지만, 전력소모 문제는 여전히 존재한다. 애플 이외의 다른 글로벌 회사들은 모바일 기기용 CPU를 장착하기 때문에 성능과 전력소모 면에서 큰 한계를 지니고 있다.
이번에 개발된 사운드 트레이싱 소프트웨어는 이러한 한계를 넘어선 기술로 평가받고 있다. 대표적으로 오디오 품질을 최대한 유지하면서 성능을 최대로 끌어올리는 새로운 방식을 연구 개발해 국내외 특허를 출원했다. 기타 다양한 최적화를 적용해 모바일 기기에서도 고성능을 유지하면서 저전력으로 수행되는 소프트웨어 기술을 개발한 것이다. 이러한 장점으로 인해 HMD와 스마트폰 같은 모바일 기기는 물론이고 CPU 성능이 제한적인 TV나 자동차 등의 다양한 기기에서도 적용이 가능하다.
박우찬 교수는 "이번 결과는 학교 연구실과 교원창업회사 공동으로 혁신적인 기술을 개발한 성공사례이다. 이 기술은 애플의 야심작인 비전 프로의 사운드 레이트레이싱 기술과 비교 우위에 있다고 보여진다. 향후 비전 프로와 유사한 제품들이 대거 출시됨에 따라 이 기술이 본격적으로 적용될 것으로 기대된다. 특히 비전 프로에 대한 특허가 수천건이라고 발표됐기 때문에 특허의 중요성이 매우 크다. 자체 원천 특허를 갖추고 있으며 세계적으로 유일하게 반도체 기술과 소프트웨어 기술을 동시에 갖춤으로써 글로벌 주도권을 선점할 수 있도록 최선의 노력을 다하겠다"고 말했다.
이번 연구는 과학기술정보통신부의 대학ICT연구센터육성지원사업 ‘실-가상 연계 메타버스를 위한 초실감 XR기술 연구’의 지원으로 이뤄졌다.
;){kind=link}