Federated Self-Supervised Learning(FedSSL)으로 비정상 폐음 분류하기

Federated Self-Supervised Learning(FedSSL)으로 비정상 폐음 분류하기 - 김성년, 백혜림
모두콘 2022 (https://www.youtube.com/watch?v=fcQSTnv-i-0)
- Federated Self-Supervised 소개
- FedSSL 모델 소개
- Q&A

Transcript

6. https://kormedi.com/1545281/%ED%8A%B8% %9C%88%EB%8D%B0%EB%AF%B9%EC% %94%EB%A1%9C%EB%82%9819%EB%8F %EA%B0%90-%EB%B3%B8%EA%B2%A9% %99%94-%EA%B2%A8%EC%9A%B8%EC% %A0-%ED%98%B8%ED%9D%A1%EA%B8% %EA%B1%B4%EA%B0%95-%EA%B4%80/
14. method
15. method
17. Federated learning (연합 학습) 이란? : data privacy / data shortage 문제 등을 해결하기 위해, 중앙 서버가 로컬 디바이스와 통신해 연합하여 학습. Global model Local model
18. Federated learning (연합 학습) 이란? 기본적으로 다음과 같은 과정을 따라 학습이 이루어짐. (FedAvg, McMahan et al., 2016) 1. Global model을 local device 또는 local client에 동일하게 복사 2. Local data를 이용해 각 device/client에서 모델 업데이트: local update 3. 각각 업데이트된 모델들을 중앙 서버가 취합: aggregate https://blog.ml.cmu.edu/2019/11/12/federated-learning-challenges-methods-and-future-directions/ ⇒ 각 local data의 heterogeneity(이질성)을 어떻게 고려하여 모델을 update하고 aggregate할 지에 초점이 맞추어져 연구됨. (ex) FedProx, SCAFFOLD, …
19. Federated Self-Supervised Learning for Lung Sound ❏ 청진 데이터 역시 data privacy와 data shortage 문제가 존재 ❏ Ground-truth label도 구하기 어려움 ⇒ Federated Self-Supervised Learning으로 이를 해결 ⇒ 기대효과: Lung sound를 잘 표현할 수 있는 global model 얻을 수 있음
20. Federated Self-Supervised Learning for Lung Sound Model overview Soni, Pratham N., et al. "Contrastive learning of heart and lung sounds for label-efficient diagnosis." Patterns 3.1 (2022): 100400.
21. Federated Self-Supervised Learning for Lung Sound ❏ Contrastive learning에 필요한 augmentation (데이터 증강) ❏ Waveform의 청진 데이터를 mel-spectrogram 형태로 conversion & masking
22. Federated Self-Supervised Learning for Lung Sound ❏ Contrastive pretraining ❏ 우리의 framework에서는 이 과정이 local client에서 이루어진 후 pretrained model aggregation Khosla, Prannay, et al. "Supervised contrastive learning." Advances in Neural Information Processing Systems 33 (2020): 18661-18673.
23. Federated Self-Supervised Learning for Lung Sound ❏ 일반적인 SSL과의 차이점: 환자 정보가 저장된 metadata 활용 가능 ❏ 이 metadata를 어떻게 잘 활용해 SSL task를 만들지가 관건
24. Federated Self-Supervised Learning for Lung Sound 모두연 FSSL팀에서는… Spectrogram augmentation + Metadata selection → novel SSL task How to deal with heterogeneous lung sound?