대학원 Graduate Studies

북대학교 컴퓨터학부 이재협 교수, 멀티미디어 관련 세계 최고 권위의 학회인 ACMMM 2025에 논문 1편 발표 승인

경북대학교 컴퓨터학부의 이재협 교수가 주저자로 참여한 연구 논문:

     1. "Uncertainty-Guided Face Matting for Occlusion-Aware Face Transformation"

             Author: Hyebin Cho, Jaehyup Lee†

가 인공지능(AI) 및 멀티미디어 분야 최고 권위 학회인 ACM International Conference on Multimedia (ACMMM) 2025에 게재 승인을 받았다.

이번 연구에서는 얼굴 영역을 가리는 다양한 가림 요소(예: 손, 마이크, 머리카락 등) 가 존재하는 상황에서도 안정적으로 얼굴 필터를 적용할 수 있도록 하는 페이스 매팅(face matting)이라는 새로운 태스크를 정의하고, 모델 불확실성 기반의 학습 프레임워크 FaceMat을 제안하였다.

FaceMat은 기존 선행 연구들과는 다르게 trimap이라는 추가 입력 없이 작동 가능한 실시간 매팅 모델로, 지식 증류 (KD) 프레임워크를 기반으로 한다. Teacher 모델은 픽셀 단위로 알파 맵과 예측 불확실성을 동시에 학습하며, 이 불확실성 정보는 Student 모델의 학습 과정에서 시공간적으로 가중치를 조정하는 지식 증류 전략에 활용된다. 이를 통해 모델이 얼굴의 경계와 가림 영역처럼 예측이 어려운 부분에 집중할 수 있도록 유도하며, 결과적으로 정교하고 자연스러운 얼굴 필터링을 가능하게 한다.

또한, 본 논문에서는 학습 및 성능 검증을 위해 새로운 대규모 합성 데이터셋인 CelebAMat을 구축하였으며, 기존 영상 매팅 및 얼굴 필터링 모델과의 정량 및 정성 비교에서 국소 경계 정확도와 전역적인 얼굴 일관성 측면 모두에서 최고 성능을 달성했다.

이재협 교수는 “이번 연구는 기존 틱톡, 스노우 등의 얼굴 필터링 기술이 해결하지 못한 ‘Occlusion’을 정교하게 처리할 수 있는 방법론을 제시한 점에서 큰 의미가 있으며, 차세대 얼굴 기반 AR/VR 콘텐츠, 실시간 영상 통화, 크리에이터 도구 개발 등에 활용될 수 있는 높은 응용 가능성을 보유하고 있다”고 밝혔다. 이어 “앞으로도 컴퓨터 비전 및 딥러닝 기술을 기반으로 실질적 문제를 해결하는 연구를 지속해 나가겠다”고 전했다.