한양대 김미란 교수팀, 개인정보 유출 막는 ‘안전한 LLM 추론’ 기술 개발

동형암호 기반 연산 혁신으로 최대 10배 성능 향상… 세계적 보안 학회서 발표 예정

한양대학교(총장 이기정) 수학과 김미란 교수 연구팀이 개인정보 유출을 방지하면서도 대규모 언어모델(LLM, Large Language Model)을 안전하게 추론할 수 있는 새로운 보안 기술을 개발했다고 23일 밝혔다.

최근 인공지능 서비스 확산으로 개인정보 보호와 안전한 모델 운영의 중요성이 커지는 가운데, 이번 연구 성과는 차세대 보안 AI 기술로 주목받고 있다.

기존 동형암호(Homomorphic Encryption) 기반 기술은 대규모 행렬 연산의 비효율성과 모델 구조 재학습의 제약으로 실질적 적용에 어려움이 있었다. 이에 김 교수팀은 행렬을 대각선 방향으로 암호화하고 암호문 패킹 기술을 적용하는 혁신적 연산 방식을 개발, 암호화된 상태에서도 효율적인 행렬 연산을 가능하게 했다. 그 결과, 연구팀은 2018년 김 교수팀이 제안해 최고 성능을 인정받았던 기존 동형암호 기반 행렬곱 방식보다 최대 10배 향상된 성능을 달성했다.

이번 연구를 통해 연구팀은 별도의 재학습 과정 없이도 동형암호 환경에서 LLM을 실행할 수 있는 프레임워크를 완성했다. 모든 추론 과정은 복호화 없이 서버에서 안전하게 이뤄지며, 실제로 BERT-base 모델 적용 결과 단일 GPU 환경에서 약 10분 내 추론이 가능함을 확인했다.

김미란 교수는 “이번 성과는 동형암호 기반 연산의 속도와 확장성 한계를 극복해 실제 LLM 추론을 구현했다는 점에서 의미가 크다"며 “안전하고 신뢰할 수 있는 인공지능 서비스로 이어질 것"이라고 강조했다. 또한 “최근 수행한 동형암호 기반 강화학습 연구가 'Nature Machine Intelligence'에 게재 예정인 만큼, 앞으로도 동형암호의 인공지능 응용 범위를 넓혀갈 것"이라고 밝혔다.

이번 연구는 한양대 문정호 연구원이 제1저자로, 연세대 유동우 연구원과 미국 휴스턴 UTHealth의 Xiaoqian Jiang 교수가 공동저자로 참여했으며, 김미란 교수가 교신저자를 맡았다.

한국연구재단(NRF), 정보통신기획평가원(IITP), 미국국립보건원(NIH)의 지원을 받아 수행됐으며, 연구 논문 'THOR: Secure Transformer Inference with Homomorphic Encryption'은 오는 10월 13일부터 닷새간 열리는 세계 보안 분야 최고 권위 학술대회 'ACM CCS 2025'에서 발표될 예정이다.

송기우 기자 kwsong@ekn.kr