서울공대 컴퓨터공학부 강유 교수팀, 학습 데이터 없이도

고성능 경량 딥러닝 모델 구현하는 AI 기술 개발

안영만 기자 / 서울대학교 공과대학은 컴퓨터공학부 강유 교수팀이 개인정보 보호나 보안 등의 이유로 학습 데이터 사용이 어려운 상황에서도 딥러닝 모델의 성능 저하를 최소화하며 경량화할 수 있는 혁신적인 인공지능(AI) 기술을 개발했다고 밝혔다.

▲서울대학교 컴퓨터공학부 강유 교수

이번 연구 논문은 오는 4월 24일부터 닷새간 싱가포르에서 열리는 세계적 AI 학술대회 ‘ICLR 2025’에 채택된 바 있다. 올해로 13회를 맞는 ‘ICLR (International Conference on Learning Representations)’은 기계 학습 및 딥러닝 분야에서 세계 최고 권위를 자랑하는 학회다.

프라이버시 보호나 보안 문제로 학습 데이터 접근이 어려운 상황은 현실에서 딥러닝 모델을 훈련시킬 때 겪는 큰 어려움 중 하나다. 이를 해결하기 위해 개발된 ‘제로샷 양자화(Zero-shot Quantization, 이하 ZSQ)’는 훈련 데이터 없이 모델을 양자화할 수 있는 기술이다.

그러나 기존의 ZSQ 기술들은 합성 데이터의 노이즈, 부정확한 특징에 기반한 예측, 어려운 데이터의 잘못된 하드 레이블(Hard Lavel, 한 가지 정답만 있는 레이블)이 야기하는 오차 발생 등으로 인해 모델 성능 저하를 불러오는 치명적 한계를 보였다.

이에 강 교수팀은 훈련 데이터를 사용하지 않고도 딥러닝 모델의 성능을 유지하며 효과적으로 경량화시킬 수 있는 ZSQ 기술인 ‘SynQ (Synthesis-aware Fine-tuning for Zero-shot Quantization)’ 기법을 제안했다. 이는 실제 학습 데이터셋이 없는 환경에서도 종전의 ZSQ 기술에 쉽게 적용할 수 있는 중요한 기법으로 평가받고 있다.