Slide 21
Slide 21 text
Non-iidデータからの学習|Non-iidデータの例
• Federated Extended MNIST (FEMNIST) [Caldas+, 2018] (as a part of LEAF dataset)
• Extended MNISTのうち”a”-”j” の10文字の分類
• ただし、各クライアントはそのうち5文字分のデータしか持っていない
• ラベル分布シフトに相当
• Synthetic dataset [Li+, 2020]
• 𝑦 = 𝑎𝑟𝑔𝑚𝑎𝑥 𝑠𝑜𝑓𝑡𝑚𝑎𝑥 𝑊𝑘
𝑥 + 𝑏𝑘
𝑥 ∈ ℝ60, 𝑊𝑘
∈ ℝ10×60, 𝑏𝑘
∈ ℝ10
• 𝑊𝑘
∼ 𝑁 𝑢𝑘
, 1 , 𝑏𝑘
∼ 𝑁 𝑢𝑘
, 1 , 𝑢𝑘
∼ 𝑁 0, 𝛼
• 𝑥 ∼ 𝑁 𝑣𝑘
, Σ , 𝑣𝑘
∼ 𝑁 𝐵𝑘
, 1 , 𝐵𝑘
∼ 𝑁 0, 𝛽
• 𝛼, 𝛽 が大きいほどクライアント間でデータ分布が異なる
• 𝛼が大きいほどクライアントごとに違うローカルモデルが学習される
• 𝛽が大きいほどクライアントごとに違うデータが保持される
• (𝛼 :小 𝛽 :大) ▶特徴量分布シフト (𝛼 :大 𝛽 :小) ▶コンセプトシフト
• …なはずだが、実際は 𝛼, 𝛽 = 0, 0 , 0.1, 0.1 , 1.0, 1.0 などのちゃんぽんが良く使われる
11/23/2022 IBIS2022 チュートリアル | (c) 2022 OMRON SINIC X. All Rights Reserved. 21