(1) Server-side Machine Learning (ML) l Centralized server(s) collect data and process ML Output Output Output Output Output Output Output Output Training Inference ML 9
(2) On-Device ML Inferencing l Client devices receive global ML model and run inference ML Training Global Model Global Model Global Model Global Model Global Model Global Model Global Model Global Model Inference Inference Inference Inference Inference Inference 10
Training Training Training Training Training (3) Federated Learning (FL) l Client On-device ML training + server aggregation ML Training Training Training Local Model Local Model Local Model Model Aggregation 11
(3) Federated Learning (FL) l Global model are sent to individual devices ML Global Model Global Model Global Model Global Model Global Model Global Model Global Model Global Model Inference Inference Inference Inference Inference Inference Model Aggregation 12
参考︓FLの定義や類型などの整理の例 l いくつかの定義や類型が存在するが、例えば2019年に⾏われたworkshop ※1におい て、FLの定義や類型の⽐較がされている※2 ※1 Workshop on Federated Learning and Analytics ※2 “Advances and Open Problems in Federated Learning”, https://arxiv.org/abs/1912.04977 Federated learning is a machine learning setting where multiple entities (clients) collaborate in solving a machine learning problem, under the coordination of a central server or service provider. Each clientʼs raw data is stored locally and not exchanged or transferred; instead, focused updates intended for immediate aggregation are used to achieve the learning objective. FLの定義の例 FLの類型と⽐較の例
連合学習におけるプライバシーリスク 28 (出典) “Inverting Gradients - How easy is it to break privacy in federated learning?” https://arxiv.org/abs/2003.14053 勾配から訓練データ (画像) を 復元できる èプライバシー保護が必要 代表的な⽅法︓差分プライバシー
スタンプの⾃動推薦 (1/2) ※ユーザの⼊⼒した⽂字は、対応する意味的なラベルを特定するためだけに利⽤されます。 l 意味的なタグをもとに推薦 • Sticker suggestions based on semantic labels l ⼊⼒⽂字からインクリメンタルに推薦 • Incremental suggestions while text input, using pre-defined keywords associated with the each label 31
スタンプの⾃動推薦 (2/2) ※ユーザの⼊⼒した⽂字は、対応する意味的なラベルを特定するためだけに利⽤されます。 l 意味的なタグをもとに推薦 • Sticker suggestions based on semantic labels l ⼊⼒⽂字からインクリメンタルに推薦 • Incremental suggestions while text input, using pre-defined keywords associated with the each label 32
Common Platform for FL Service specific システムアーキテクチャ l さらに、サーバー側とクライアント側で分離（4象限に分類） Common Platform for FL (Client-side) Service specific (Server-side) Common Platform for FL (Server-side) Service specific (Client-side) 38
処理ステップ(1/3) l ユーザの購⼊履歴などをもとに選択される候補となるスタンプ群をダウンロード l 機械学習の推薦・学習処理は共通プラットフォーム側で処理 Platform (Client-side) Inference Training App.(Server-side) Platform (Server-side) App.(Client-side) Candidate Generation Prediction Request Local Evt. Dispatcher user input user 39
処理ステップ(2/3)︓推論 l サーバーから学習モデルをダウンロードし、推薦処理を実⾏ Platform (Client-side) Training App.(Server-side) Platform (Server-side) App.(Client-side) Candidate Generation Prediction Request Local Evt. Dispatcher user input user ML Model Repository Prediction ML Model 40
Platform (Client-side) 処理ステップ(3/3)︓学習 l ログ蓄積後のアイドル中に学習処理を実⾏して、学習結果を得る l 差分プライバシーのノイズを付与して、ユーザID等を削除してサーバに送信・集約 App.(Server-side) Platform (Server-side) App.(Client-side) Candidate Generation Prediction Request Local Evt. Dispatcher user input user Model Aggregation ML Model Repository ML Model (updated) Prediction Training log (local) ML Model Differential Privacy 41
line_developers
sat
moritamasami
hcrane
ojun9
niwatakeru
doradora09
startree
kthrtty
tkmnzm
ryohatanmonolog
takaking22
goyoki
lemiorhan
kneath
chriscoyier
bkeepers
brad_frost
holman
eileencodes
panda_program
vanstee
philhawksworth
frogandcode
hatefulcrawdad