김하나 기자의 ‘칩인사이드(Chip Inside)’ <1>
HBM 공간 부족에 ‘공용 서고’ 역할…CXL로 메모리 계층 재편
삼성·SK하이닉스, OCP 서밋서 메모리 풀링 기술 나란히 공개
속도 지연·수요 잠식 우려도…“시스템 전체 효율 입증이 관건”

인공지능(AI) 추론 수요가 커지면서 연산장치가 서버 밖 메모리를 끌어다 쓰는 '컴퓨트 익스프레스 링크(CXL)' 기술이 본격적인 상용화 국면에 들어설 전망이다. 서버마다 정해진 슬롯에 D램을 꽂아 용량을 채우던 방식이, 여러 서버가 메모리를 공용 자원으로 묶어 필요한 만큼 나눠 쓰는 방식으로 확대되는 것이다. 메모리 업체들의 경쟁 범위도 개별 칩의 속도와 용량에서 시스템 전체의 데이터 흐름을 최적화하는 영역으로 넓어지고 있다.

이 과정에서 메모리 계층 구조도 다시 짜이고 있다. 연산장치 가까이에서는 삼성전자가 개발 중인 'zHBM'처럼 메모리를 AI 칩 위에 직접 쌓아 데이터 이동 거리를 줄인다. 바깥에서는 CXL로 외부 메모리를 끌어와 용량을 넓히는 식이다. AI가 처리하는 데이터가 급증하면서 고대역폭메모리(HBM)와 D램, 솔리드스테이트드라이브(SSD) 사이를 오가는 데이터 이동 자체가 새로운 병목으로 떠올랐다. 이에 속도와 용량이 다른 메모리를 특성에 맞게 배치하는 방식으로 해법을 찾는 것이다.

◇ CXL, AI '기억 공간' 넓힌다

CXL은 중앙처리장치(CPU)와 그래픽처리장치(GPU), 메모리, 저장장치가 하나의 통일된 규격으로 데이터를 주고받도록 만든 개방형 연결 표준이다. 기존 연결 기술인 PCIe를 바탕으로 장치마다 달랐던 통신 방식을 하나로 맞춰, 서버 바깥에 붙인 메모리에도 빠르게 접근할 수 있게 한 것이 핵심이다. 서버용 CPU 하나에 꽂을 수 있는 D램 모듈은 최대 16개 안팎이어서 그간 용량을 늘리려면 서버 자체를 증설해야 했다. CXL을 쓰면 SSD를 꽂던 자리에 CXL 메모리 모듈을 끼워 용량을 늘릴 수 있다. 2019년 관련 컨소시엄이 꾸려진 뒤 표준은 개별 칩과 메모리를 잇는 수준(1.1)에서 여러 칩이 메모리 풀을 공유하는 단계(2.0)를 거쳐, 다수의 프로세서와 메모리 풀을 다중 연결하는 단계(3.0)로 진화해 왔다.

CXL이 다시 주목받는 건 AI의 무게중심이 학습에서 추론으로 옮겨가면서다. 대규모언어모델(LLM)은 답을 만들 때 앞서 처리한 토큰 정보를 매번 새로 계산하지 않도록 중간 결과를 'KV캐시'라는 형태로 저장해 둔다. AI가 작업 중에 적어두는 일종의 임시 '메모'다. 긴 문서를 분석하거나 여러 도구를 오가며 작업을 이어가는 AI 에이전트가 늘수록 이 메모가 차지하는 공간도 커진다. 하지만 GPU 바로 옆에서 데이터를 주고받는 HBM은 AI 모델의 가중치(학습으로 얻은 정보)까지 담아야 해 여유 공간이 넉넉지 않다. 연산장치가 아무리 빨라도 필요한 데이터가 제때 공급되지 않으면 제 성능을 내기 어렵고, 값비싼 HBM 탑재량을 무작정 늘릴 수도 없다. 책상(HBM)이 비좁아지자 옆방에 함께 쓰는 서랍장(CXL 메모리)을 들여놓는 셈이다.

대표적인 사례가 이번 서밋에서 공개된 양사의 기술이다. 삼성전자는 한 서버에서 여러 LLM을 돌릴 때 CXL 메모리를 상황에 따라 유동적으로 배분하는 기술을 선보였다. 회사 측은 용량을 미리 쪼개 나눠주는 방식보다 첫 토큰이 나오기까지 걸리는 시간(TTFT)을 최대 38% 단축하고 유효 처리량은 최대 3.3배로 끌어올렸다고 설명했다. 미국 사업장의 AI 코딩 에이전트에 CXL 메모리 모듈로 꾸린 'AI 메모리 노드'를 적용해 KV캐시 활용도를 5~7배 높인 사례도 소개했다. SK하이닉스는 개발 중인 차세대 AI 서버 시스템 'MARS'를 공개하며 메모리 공유 범위를 서버 한 대에서 여러 서버가 모인 랙 단위로 넓혔다. 서버들이 메모리를 필요한 만큼 나눠 쓰는 메모리 풀링에 더해, 데이터를 복사하지 않고도 함께 쓰는 '동적 제로카피 데이터 공유'를 구현했다. 대용량 SSD에 KV캐시를 통째로 보관하되 곧 쓸 데이터를 미리 예측해 빠른 D램으로 끌어올리는 방식으로, 저장 공간과 처리 속도를 함께 잡으려는 기술도 내놨다.

메모리 업체에는 HBM에 이은 새 성장 동력이 될 수 있다. 시장조사업체 욜은 글로벌 CXL 시장이 2023년 1400만 달러(약 196억원)에서 2028년 160억 달러(약 22조원) 규모로 불어날 것으로 내다봤다. 삼성전자는 2021년 업계 최초로 CXL 기반 D램 기술을 개발한 데 이어 2023년 CXL 2.0을 지원하는 128GB D램을 내놓는 등 일찍부터 시장 선점에 공을 들여왔다. 메모리 업체로는 유일하게 CXL 컨소시엄 이사회에도 이름을 올리고 있다. SK하이닉스는 지난해 CXL 2.0 기반 96GB DDR5 제품의 고객 인증을 마쳤다. 회사 측은 이 제품이 기존 DDR5 모듈보다 용량을 50%, 대역폭을 30% 늘린다고 밝혔다. 서버용 CPU 시장을 이끄는 인텔이 CXL 2.0을 지원하는 '제온6'를 내놓으면서 생태계 기반도 갖춰지고 있다. 앞서 안현 SK하이닉스 개발총괄(사장)은 지난 14일 반도체대전(SEDEX) 2026 기조강연에서 “AI 시대에는 기존 메모리 사이를 채우는 새로운 계층이 필요하다"고 했다.

◇ 속도 한계·수요 잠식은 과제

다만 CXL이 HBM의 자리를 대신하기는 어렵다는 시각도 적지 않다. GPU 바로 옆에 붙은 HBM과 달리, CXL로 연결한 외부 메모리는 데이터가 오가는 거리가 길고 여러 장치를 거쳐야 해 지연이 생길 수밖에 없다. 여러 서버가 한꺼번에 접근하면 데이터 통로(대역폭)를 나눠 쓰면서 새로운 병목이 생길 수 있다. 어떤 데이터를 어디에 둘지 판단하는 소프트웨어가 정교하지 않으면 자주 쓰는 데이터까지 바깥으로 밀려나 오히려 성능이 떨어질 수도 있다. 9월 미국 캘리포니아주 샌타클라라에서 열린 'AI 인프라 서밋'에서도 회의론이 나왔다. 오픈AI에서 AI 가속기 설계를 맡고 있는 대니얼 모리스 연구원은 “AI 모델을 실제 구동하는 입장에서 CXL의 쓰임새를 찾지 못하겠다"며 “굳이 역할을 찾자면 자주 쓰지 않는 비활성 데이터를 따로 모아두는 용도 정도"라고 말했다.

메모리 수요에 미칠 영향도 변수다. 여러 서버가 메모리를 효율적으로 나눠 쓸수록 그간 놀던 용량이 줄어드는 만큼, 전체 메모리 수요가 오히려 감소할 수 있다는 반론이 제기된다. 메모리 업체들이 CXL과 함께 HBM 고도화를 병행하는 것도 이 때문이다. 삼성전자는 같은 행사에서 AI 가속기 위에 HBM을 수직으로 쌓는 'zHBM'으로 HBM5 대비 최대 8배 성능과 3배 전력 효율을 구현하겠다는 목표를 내놨다. CXL이 HBM을 대체하기보다 메모리 계층의 빈틈을 메우는 보완재로 자리 잡을 가능성이 크다는 것이다.

AI 성능을 떨어뜨리지 않으면서 중복 계산과 자원 낭비를 얼마나 덜어내느냐가 CXL 메모리 공유의 성패를 가를 관건이 될 전망이다. 한 반도체 업계 관계자는 “CXL은 용량 경쟁이 아니라 효율 경쟁"이라며 “AI 성능은 그대로 두면서 반복되는 계산과 놀고 있는 자원을 얼마나 줄이느냐에 따라 시장 성패가 갈릴 것"이라고 했다. 또다른 업계 관계자도 “고객이 체감하는 시스템 전체의 효율을 입증해야 한다"며 “결국 데이터를 어느 계층에 얼마나 똑똑하게 배치하느냐가 경쟁력이 될 것"이라고 했다.

김하나 기자 uno@ekn.kr