AI・데이터마이닝 분야 국제 학회 SIGKDD에서 연구 성과 발표
URL이 복사되었습니다.
카카오엔터프라이즈가 인공지능 및 데이터마이닝 분야 국제 학회 SIGKDD에서 총 2건의 논문을 발표했습니다.
1) Connecting a Low Loss Subspace for Personalized Federated Learning
연합 학습(Federated Learning)은 클라이언트 내에 저장된 사용자의 데이터를 보내지 않고, 클라이언트에서 일부 학습된 모델 파라미터를 중앙 서버로 집계하여 프라이버시 이슈를 해결하는 최신 머신러닝 방법론입니다. 본 논문에서는 각 클라이언트 또는 각 사용자에 개인화된 성능을 최대로 보장하기 위해, 연결성(Connectivity) 이론에 기반한 새로운 개인화 연합 학습 알고리즘을 제시하였습니다. 이를 통해 고성능의 개인화 모델을 효과적으로 학습할 수 있음을 보였고, 향후 프라이버시가 중요한 다양한 응용 서비스에 적용될 것으로 기대합니다.
? 자세히 보기
2) X-ViT: High Performance Linear Vision Transformer without Softmax
기존 ViT(Self-attention) 알고리즘이 가진 1) Token Size(Image Size)가 늘어나면 Model Complexity가 O(N^2)으로 커지는 문제를 없애고, 2) 기존에 사용하였던 Softmax를 L2 Normalization으로 변경하여 Regularization 효과를 높였습니다. 이를 토대로 만든 X-ViT는, 기존 알고리즘보다 훨씬 경량화된 형태로 성능을 더 높이 끌어올렸습니다.
? 자세히 보기
카카오엔터프라이즈는 고도화된 AI 기술 연구사례를 지속적으로 공유하고, 더욱 발전된 서비스의 모습으로 선순환시킬 예정입니다. 많은 관심과 성원 부탁드립니다.