세계 최고 권위의 컴퓨터비전 학회 ‘CVPR’에서 논문 발표
URL이 복사되었습니다.
카카오엔터프라이즈가 2023년 6월, 캐나다 밴쿠버에서 개최되는 세계적인 컴퓨터 비전 학회 ‘CVPR’에서 연구성과를 공개합니다. (논문명: Local 3D Editing via 3D Distillation of CLIP Knowledge)
본 논문에서는 NeRF(Neural Radiance fields)의 한계점을 개선한 Local Editing NeRF(LENeRF)을 새롭게 제안하였습니다. NeRF는 여러 2D 이미지를 바탕으로 3D 이미지를 합성해주는 모델로, 사실적인 3D 콘텐츠 생성이 가능해 최근 많은 주목을 받는 연구 분야입니다.
이 논문에서는 텍스트 입력만으로 조작이 가능한 LENeRF를 통해, 조작 후 시각적 품질이 저하되고 원하지 않는 부분이 함께 바뀌는 경향을 가진 기존 NeRF 기반 에디팅 연구의 한계를 극복하고자 하였습니다. 비지도학습 방법을 사용해 자동으로 3D 마스크를 생성하는 3D distillation 기법을 제안하고, 지정된 영역만 자연스럽게 수정하는 feature fusion 방법론을 제시해 고품질의 3D 에디팅 성능을 달성하는 성과를 거두었습니다.
앞으로도 카카오엔터프라이즈는 고도화된 AI 기술 연구사례를 지속적으로 공유하고, 더욱 발전된 서비스의 모습으로 선순환시킬 예정입니다. 많은 관심과 성원 부탁드립니다.