Secure and Private Federated Learning with Differential Privacy

-:$PSQPSBUJPO -:3FTFBSDI4FOJPS$IJFG3FTFBSDIFS 5TVCBTB5",")"4)* 4FDVSFBOE1SJWBUF 'FEFSBUFE-FBSOJOHXJUI %JGGFSFOUJBM1SJWBDZ 5VUPSJBMPO UTVCBTBUBLBIBTIJ!MZDPSQDPKQ

-:$PSQPSBUJPO 'FEFSBUFE-FBSOJOHr 0WFSWJFXBOE1SJWBDZ*TTVFT 8IBUJT%JGGFSFOUJBM1SJWBDZ 8IZBOE)PX 'FEFSBUFE-FBSOJOHXJUI%JGGFSFOUJBM1SJWBDZ $PODMVTJPOBOE3FNBSLT
'SPNCBTJTPGEJGGFSFOUJBMMZQSJWBUFGFEFSBUFEMFBSOJOHUPUIFSFDFOUBEWBODFNFOUT 5BCMFPG$POUFOUT

-:$PSQPSBUJPO 'FEFSBUFE-FBSOJOH 0WFSWJFXBOE1SJWBDZ*TTVFT

-:$PSQPSBUJPO 'FEFSBUFE-FBSOJOH • %JTUSJCVUFENBDIJOFMFBSOJOHDPPQFSBUJOHUIFDFOUSBMTFSWFSBOEMPUTPGDMJFOUT • $MJFOUTUSBOTNJUPOMZUIFJSVQEBUFJOGP FH HSBEJFOUT CVUOPUSBXEBUB
à SBXEBUBOFWFSMFBWFTDMJFOU à QSJWBDZBXBSF /POQBSUJDJQBOUTPG'- (MPCBM.PEFM

-:$PSQPSBUJPO 'FEFSBUFE-FBSOJOH (PPHMF IUUQTBDMBOUIPMPHZPSHBDMJOEVTUSZQEG 'FEFSBUFE-FBSOJOHPG(CPBSE -BOHVBHF.PEFM (PPHMF

-:$PSQPSBUJPO 'FEFSBUFE-FBSOJOH "QQMF <"[BN /FVS*14XPSLTIPQ> IUUQTNBDIJOFMFBSOJOHBQQMFDPNSFTFBSDIGFEFSBUFEMFBSOJOHTQFFDI <(SBORWJTU > IUUQTNBDIJOFMFBSOJOHBQQMFDPNSFTFBSDIQGMSFTFBSDI

-:$PSQPSBUJPO 4UJDLFS4VHHFTUJPOPO-*/& "QQ • %JTQMBZTUJDLFSTUIBUIBWFSFMFWBODFUPUIFVTFSJOQVUUFYUMJLFl͋Γ͕ͱ͏z • 'FEFSBUFE-FBSOJOH BOE%JGGFSFOUJBM1SJWBDZ IBWFCFFOJOTUBMMFEUPGJUVTFST`
QSFGFSFODFTNPSFQSFDJTFMZ 8IJUF1BQFSʢʣ IUUQTMJOFDPSQDPNKBTFDVSJUZBSUJDMF l5IBOLZPVz

-:$PSQPSBUJPO 1SJWBDZ&OIBODJOH5FDIOPMPHJFT 1&5T /PUPOMZTJOHMF1&5EFQMPZNFOU CVUUIFDPNCJOBUJPOPG1&5TBSFJODSFBTFE SFDFOUMZUPNBJOUBJOVUJMJUZPGEBUBXIJMFQSFTFSWJOHEFTJSFEQSJWBDZ 5&& 5SVTUFE&YFDVUJPO&OWJSPONFOU 4.1$
4FDVSF.VMUJQBSUZ$PNQVUBUJPO 'FEFSBUFE-FBSOJOH %JGGFSFOUJBM1SJWBDZ 4FDVSF$PNQVUJOH

-:$PSQPSBUJPO $SPTTEFWJDF 'FEFSBUFE-FBSOJOH 1SPDFEVSFPG'FEFSBUFE-FBSOJOH '- 4FSWFSEJTUSJCVUFTUIFHMPCBMNPEFMUPDMJFOUT &BDIDMJFOUDSBGUTBOVQEBUFJOGP
JF HSBEJFOU VTJOH PXOMPDBMEBUBBOEMPDBMNPEFM DPQZPGHMPCBMNPEFM &BDIDMJFOUTFOETUIFVQEBUFJOGPUPUIFTFSWFS 4FSWFSBHHSFHBUFTBCBUDIPGDPMMFDUFEVQEBUFJOGP UIFOVQEBUFTUIFHMPCBMNPEFMVTJOHUIFBHHSFHBUF 1SPQFSUJFTPG'- • 3BXEBUBOFWFSMFBWFTDMJFOUT • 4FSWFSEPOPUNBOBHFUIFSBXEBUB • 1FSTPOBMJ[BUJPODBOCFQSPWJEFECZ VTJOHMPDBMNPEFMUSBJOFECZMPDBMEBUB • $PNQVUBUJPOBMSFTPVSDFMJNJUBUJPOBUDMJFOU • $PNNVOJDBUJPOMJNJUBUJPO JF 8J'J POMZ • $POTJEFSDMJFOUESPQPVUT JF QPXFSPGG /POQBSUJDJQBOUTPG'- (MPCBM.PEFM ̍

-:$PSQPSBUJPO $BOXFSFDPOTUSVDUBTBNQMFGSPNBHSBEJFOU <(FJQJOH /FVS*14> IUUQTBSYJWPSHBCT :FT (SBEJFOU*OWFSTJPO"UUBDL

-:$PSQPSBUJPO '-X%JGGFSFOUJBM1SJWBDZJTBTPMVUJPO • %1JTBTPMVUJPOUPNJUJHBUFUIFJOGFSFODFXJUIUIFPSFUJDBMHVBSBOUFFT • $MJFOUTQSFTFSWFUIFJSQSJWBDZCZFOTVSJOH%1UIFNTFMWFTUISPVHISBOEPNJ[BUJPO %JGGFSFOUJBM 1SJWBDZ 'FEFSBUFE-FBSOJOH
EBUBNJOJNJ[BUJPOXJUIPVUDFOUSBMJ[FE EBUBDPMMFDUJPOBOEQSJWBDZCZEFGBVMU %JGGFSFOUJBM1SJWBDZ EBUBBOPOZNJ[BUJPOQSFWFOUJOHJOGFSFODFT BHBJOTUUIFTFSWFSBOEUIFPUIFSDMJFOUT

-:$PSQPSBUJPO 8IBUJT%JGGFSFOUJBM1SJWBDZ 8IZBOE)PX

-:$PSQPSBUJPO 8IBUJT%JGGFSFOUJBM1SJWBDZ %POUZPVGFFMMJLFZPVSQSJWBDZJTQSPUFDUFEJGUIFOPJTF JTBEEJUJWF 4UBUJTUJDBM $PNQVUBUJPO /PJTF "EEJUJPO
𝜖 ∞ TUSPOH XFBL ʜ %JGGSFOUJBM1SJWBDZQSPWJEFT • 5IFPSFUJDBMQSJWBDZNFBTVSF WJBOPJTFBEEJUJPO • )PXUPEFSJWFUIFOPJTFSFRVJSFEUP BDIJFWFBHJWFOQSJWBDZQBSBNFUFS𝜖

-:$PSQPSBUJPO 5XP1SJWBDZ.PEFMT3FBMXPSME&YBNQMF $FOUSBM %JGGFSFOUJBM1SJWBDZ -PDBM%JGGFSFOUJBM1SJWBDZ 4UBUT3FMFBTF 4UBUT(BUIFSJOH /P3FRVJSFEUP USVTUDVSBUPS
3FRVJSFEUP USVTUDVSBUPS &YBNQMF • (PPHMF$ISPNFTUBUTHBUIFSJOH (PPHMF • J04NBD04TUBUTHBUIFSJOH "QQMF • 4UJDLFS4VHHFTU'- -: &YBNQMF • 64$FOTVT 64$FOTVT • 'VMM63-TEBUBTFU .FUB • /FYUXPSEQSFEJDUJPOJO(CPBSE (PPHMF • "VEJFODF&OHBHFNFOU"1* -JOLFE*O "MJTUPGSFBMXPSMEVTFPGEJGGFSFOUJBMQSJWBDZIUUQTEFTGPOUBJOFTQSJWBDZSFBMXPSMEEJGGFSFOUJBMQSJWBDZIUNM

-:$PSQPSBUJPO %BUBCBTF3FDPOTUSVDUJPO64$FOTVT • 64$FOTVTSFQPSUTWBSJPVTTUBUTGPSQPMJDZNBLJOHBOEBDBEFNJDSFTFBSDI • TUVEZJOEJWJEVBMMFWFMEBUBDPVMECFFTUJNBUFEGSPNBDPNCJOBUJPOPGTUBUT IUUQTXXXDFOTVTHPWBCPVUUSBJOJOHXPSLTIPQTEBTQSFTFOUBUJPOQEG %BUBCBTF 3FDPOTUSVDUJPO

-:$PSQPSBUJPO %JGGFSFODF"UUBDL $BOXFFTUJNBUF"MJDF`TTBMBSZ "DPNQBOZSFMFBTFTUIFBWFSBHFTBMBSZFWFSZZFBS "MJDFXBTSFUJSFECZFOEPG5IFPUIFSFNQMPZFFTSFNBJOFEXJUIUIFDPNQBOZ BWHTBMBSZ .+1: ʜ ʜ
"MJDF FOHJOFFST BWHTBMBSZ .+1: ʜ ʜ FOHJOFFST .Yr .Y .+1: "MJDF`TTBMBSZJT

-:$PSQPSBUJPO 6TFSMFWFM%JGGFSFOUJBM1SJWBDZ 𝝐, 𝜹 %JGGFSFOUJBM1SJWBDZ 5IFEJTUSJCVUJPOPGUIFPVUQVUℳ 𝐷 JT OFBSMZUIFTBNFBTℳ
𝐷! GPSBMMBEKBDFOUEBUBCBTFT𝐷 BOE𝐷′ EJGGFS CZPOFVTFS ℳ ℳ 0VUQVU 1SPCBCJMJUZ Pr ℳ 𝐷 ∈ 𝑆 ≤ exp 𝜖 Pr ℳ 𝐷" ∈ 𝑆 + 𝛿 𝐷 𝐷! ℳ 𝐷 ℳ 𝐷!

-:$PSQPSBUJPO %1NBLFTBOZEJGGFSFODFTJOEJTUJOHVJTIBCMF ʜ ʜ "MJDF ʜ ʜ ℳ ℳ
0VUQVU 1SPCBCJMJUZ ℳ 𝐷 ℳ 𝐷! . +1: . +1:

-:$PSQPSBUJPO 4UBUJTUJDBM*OUFSQSFUBUJPOPG%1 • $POTJEFSUIFHBNFPGHVFTTJOHUIFJOQVU𝐷 PS𝐷! GSPNBSBOEPNJ[FEPVUQVU • &NQJSJDBM%1DBOCFEFSJWFEVTJOHUIFJOGFSFODFFSSPSTJOMPUTPGUSJBMT 𝜖"#$
= max log 1 − 𝛿 − FP FN , log 1 − 𝛿 − FN FP &NQJSJDBMEJGGFSFOUJBMQSJWBDZ [Kairouz+, ICML2015] https://arxiv.org/abs/1311.0776 ℳ GSPN𝐷 PS𝐷! 𝐷 𝐷! 3BOEPNJ[FE "MHPSJUIN 𝜖 = 1.0 𝛿

-:$PSQPSBUJPO 4UBUJTUJDBM*OUFSQSFUBUJPOPG%1 8PSTUDBTFEJTUJOHVJTIBCJMJUZWBSZJOHQSJWBDZQBSBNFUFS𝜖 𝜖 = 1.0 𝜖 = 0.25
𝜖 = 3.0 8FBL1SJWBDZ1SPUFDUJPO 4USPOH1SJWBDZ1SPUFDUJPO 𝛿 𝛿 𝛿

-:$PSQPSBUJPO 3BOEPNJ[BUJPOHJWJOH%1HVBSBOUFFT • /PJTFTDBMFJTEFTJHOFECBTFEPOB IPXNVDIVTFSDPOUSJCVUJPOTBSFCPVOEFE BOEC IPXUPBHHSFHBUFTVDICPVOEFEVTFSEBUB •
6TFSDPOUSJCVUJPOBNBHOJUVEFPGDPOUSJCVUJPOCZTJOHMFVTFS`TEBUBUPPVUQVU • 5IFSBOEPNJ[FENFDIBOJTNFNQMPZTFODPEJOH BHHSFHBUJPO BOEQFSUVSCBUJPO &ODPEJOH "HHSFHBUJPO "MJDF #PC $IBSMJF 1FSUVSCBUJPO . +1: . +1: . +1: . +1: . +1: . +1: . +1: 0 1000 2000 3000 4000 5000 NFBO . +1: #PVOEJOHUIFVTFSDPOUSJCVUJPO BUNPTUDPOTUBOU𝐶 .+1:

-:$PSQPSBUJPO -BQMBDF.FDIBOJTN .PTUXFMMLOPXOSBOEPNJ[FENFDIBOJTNʢBTTVNJOH𝛿 = 0ʣ ℳ 𝐷 = 𝑓
𝐷 + Lap 0, Δ3 𝜖 -BQMBDF.FDIBOJTN 𝜖 = 10, Δ! = 1 𝜖 = 1, Δ! = 1 4BNQMFBOPJTFGSPNUIF-BQMBDFEJTUSJCVUJPO IBWJOHNFBOɿ TUEɿ 2 "! # Δ# = sup $,$"∈𝒟 𝑓 𝐷 − 𝑓 𝐷! ( ℓ𝟏 TFOTJUJWJUZ Δ)*+,- = 1 Δ./0, = 𝐶 𝑛 &Y 4FOTJUJWJUZ𝚫𝒇 UIFMBSHFTUEJGGFSFODFPGUIFPVUQVU EJGGFSCZPOFVTFS <%XPSL *$"-1> IUUQTMJOLTQSJOHFSDPNDIBQUFS@

-:$PSQPSBUJPO 1SPPG%14BUJTGBDUJPOCZ-BQMBDF.FDIBOJTN Pr[𝑀 𝐷 = 𝑦] Pr[𝑀 𝐷! =
𝑦] = Π1 𝑃203 𝑦1 − 𝑓 𝐷 1 Π1 𝑃203 𝑦1 − 𝑓 𝐷! 1 = Π1 exp 𝑏4( 𝑦1 − 𝑓 𝐷 1 − 𝑦1 − 𝑓 𝐷! 1 ≤ Π1 exp 𝑏4( 𝑓 𝐷 1 − 𝑓 𝐷! 1 = exp 𝑏4( C 1 𝑓 𝐷 1 − 𝑓 𝐷! 1 = exp 𝑏4( 𝑓 𝐷 − 𝑓 𝐷! ( = exp 𝜖 Δ# 𝑓 𝐷 − 𝑓 𝐷! ( ≤ exp 𝜖 𝑃203 𝑥 = 1 2𝑏 exp(−𝑏4(|𝑥|) 𝑏 = Δ# 𝜖 Δ# ≥ 𝑓 𝐷 − 𝑓 𝐷! ( 𝑥( − 𝑥5 ≤ |𝑥( − 𝑥5|

-:$PSQPSBUJPO *NQMFNFOUBUJPOPG%1.FDIBOJTN "OFYBNQMFPGSBOEPNJ[FEIJTUPHSBNVTJOHUIF-BQMBDFNFDIBOJTNT

-:$PSQPSBUJPO 7BSZJOHQSJWBDZQBSBNFUFS𝝐 • 4USPOHQSJWBDZ BU𝜖 = 0.01 TIPXTFYUSFNFMZSBOEPNJ[FEVTFMFTTPVUQVUT •
8FBLFSQSJWBDZ BU𝜖 = 10 JTBMNPTUTBNFBTUIFPSJHJOBMIJTUPHSBN 𝜖 = 0.1 𝜖 = 1.0 𝜖 = 0.01 𝜖 = 10 8FBL1SJWBDZ1SPUFDUJPO 4USPOH1SJWBDZ1SPUFDUJPO

-:$PSQPSBUJPO .BDIJOF-FBSOJOHXJUI%JGGFSFOUJBM1SJWBDZ )PXDBOXFUSBJONBDIJOFMFBSOJOHNPEFMJOBEJGGFSFOUJBMMZQSJWBUFNBOOFS 5XPLFZDPNQPOFOUT BEEJOHOPJTFUPDMJQQFEHSBEJFOUT QSJWBDZDPNQPTJUJPO 1SJWBUJ[FE.PEFM TUCBUDI
OECBUDI 5UI CBUDI %JGGFSFOUJBMMZ 1SJWBUF 5SBJOJOH "MHPSJUIN

-:$PSQPSBUJPO 1SJWBDZ$PNQPTJUJPOJO-FBSOJOH*UFSBUJPO • %1DPOTJEFSTUIBUDPOUJOVBMEBUBVTBHFTBDDVNVMBUFQSJWBDZDPOTVNQUJPOT • 5IFBDDVNVMBUFEQSJWBDZDPOTVNQUJPODBOCFEFSJWFECZDPNQPTJUJPOPGFBDI𝝐 • 5IFQSJWBDZQBSBNFUFS𝜖' GPSRVFSZ𝑞'
JTBMTPDBMMFEQSJWBDZCVEHFU GPS𝑞' BOEJT BTTJHOFEDPOTJEFSJOHUIFUPUBMQSJWBDZCVEHFU • 4JNQMFTUXBZ4FRVFOUJBM$PNQPTJUJPO • 3FDFOU TPQIJTUJDBUFEXBZT 3ÉOZJ %1 [$%1 𝝐𝟏 𝝐𝟏 𝝐𝟐 𝝐𝟏 𝝐𝟐 𝝐𝒌 ʜ ʜ EFDMJOF QSJWBDZDPOTVNQUJPO CBUDIFT EBUBBDDFTT 1SJWBDZ$ PN QPTJUJPO 𝜖()(*+ = ∑𝜖' 5PUBM 1SJWBDZ #VEHFU TUCBUDI OECBUDI 5UI CBUDI %1 "MHPSJUIN 4FRVFOUJBM$PNQPTJUJPO

-:$PSQPSBUJPO %14(%ʢ%1-FBSOJOH'SBNFXPSLʣ 6QEBUFNPEFMXJUIUIFOPJTFE DMJQQFE HSBEJFOUXIJMFUIFQSJWBDZCVEHFUSFNBJOT 𝐚𝐯𝐠. (BVTTJBO /PJTF 𝑔$
= ∇𝑓(𝑥$ ; 𝜃) 𝝅𝑪 𝒈𝟏 𝑔' = ∇𝑓(𝑥' ; 𝜃) $ %BUBCBTF𝐷 𝐷 = 𝑛 6QEBUF.PEFM 3FQFBUVOUJMQSJWBDZCVEHFUSFNBJOT TVCTBNQMJOHIFMQTUPTBWFQSJWBDZDPOTVNQUJPO <"CBEJ $44>IUUQTBSYJWPSHBCT (SBEJFOU$MJQQJOH 3BOEPN 4VCTBNQMJOH 1FSTBNQMF (SBEJFOU 𝑥$ , … , 𝑥' ∈ 𝐷 𝑔( = ∇𝑓(𝑥(; 𝜃) 𝜋$ 𝑔% = 𝑔% ⋅ min 1, 𝐶 𝑔% & (SBEJFOU $MJQQJOH $MJQHSBEJFOUℓ𝟐 OPSNBUDPOTUBOU$à 4FOTJUJWJUZPGWFDUPSNFBOJTCPVOEFEBU$C 𝜃' = 𝜃'() − 𝜂 1 𝑏 F %∈ + 𝜋$ 𝑔% ; 𝜃'() + 𝑁 0, 𝜎 ʜ 𝑥! 𝑥"

-:$PSQPSBUJPO -JCSBSZGPS%14(% • 5FOTPS'MPX1SJWBDZ IUUQTHJUIVCDPNUFOTPSGMPXQSJWBDZ • 0QBDVT IUUQTHJUIVCDPNQZUPSDIPQBDVT •
BMJCSBSZUIBUFOBCMFTUSBJOJOH1Z5PSDI NPEFMTXJUIEJGGFSFOUJBMQSJWBDZ • TVQQPSUTUSBJOJOHXJUINJOJNBMDPEFDIBOHFTSFRVJSFEPOUIFDMJFOU • USBDLUIFQSJWBDZCVEHFU FYQFOEFEBUBOZHJWFONPNFOU

-:$PSQPSBUJPO %15SBJOJOHJTTFOTJUJWFUPOPJTF • 1SJWBUFEBUBTZOUIFTJT5SBJOBEBUBTZOUIFTJTNPEFM UIBUJNJUBUFTPSJHJOBMEBUBTFU • *TTVFUIFJSDPNQMJDBUFEUSBJOJOHQSPDFTT FH ("/
7"& JTTFOTJUJWFUPOPJTF • "QQSPBDITJNQMJGZUIFQSPDFTTCZVTJOHQSJWBUJ[FEEBUBFNCFEEJOHT 5SBJOXJUI 4ZOUIFTJ[F /BÏWF.FUIPE 1(. PVST 1&"3- PVST <5BLBHJ5BLBIBTIJ *$%&> 1SJWBUJ[FE(FOFSBUJWF.PEFM %FD%11$" (FO%14(% %FD%14(% (FO%14(% %FD3BOE'FBUVSF (FO"EW5SBJO 𝜖, 𝛿 = 1.0,10(, <5BLBHJ5BLBIBTIJ *$%&>IUUQTBSYJWPSHBCT <-JFX *$-3>IUUQTBSYJWPSHBCT <-JFX *$-3>

-:$PSQPSBUJPO %15SBJOJOH/FFET)JEEFO4UBUF • )JEEFOTUBUFBOBMZTJTDBOTJHOJGJDBOUMZBNQMJGZEJGGFSFOUJBMQSJWBDZ • 8IFOUIFJOUFSOBMTUBUFPGUIFBMHPSJUINJTIJEEFO UIJTSFTFBSDIQSPWJEFEBQSPPG UIBUBDPOWFSHJOHQSJWBDZCPVOEGPSOPJTZTUPDIBTUJDHSBEJFOUEFTDFOU PO
TUSPOHMZDPOWFYTNPPUIMPTTGVODUJPOT <:FBOE4IPLSJ /FVS*14>IUUQTBSYJWPSHBCT

-:$PSQPSBUJPO 3FDBQ%15SBJOJOH • "EEUIF (BVTTJBO OPJTFUPDMJQQFEHSBEJFOU • "DDPVOUQSJWBDZDPOTVNQUJPOXIJMFJUFSBUJOHUSBJOJOHDPOTJEFSJOHUIFTBNQMJOH SBUFPGCBUDIFTBOEUIFOPJTFTDBMFPGUIF
(BVTTJBO OPJTF TUCBUDI OECBUDI 5UI CBUDI %15SBJOJOH "MHPSJUIN 𝝐𝟏 𝝐𝟏 𝝐𝟐 𝝐𝟏 𝝐𝟐 𝝐𝒌 ʜ ʜ EFDMJOF QSJWBDZDPOTVNQUJPO CBUDIFT EBUBBDDFTT 1SJWBDZ$ PN QPTJUJPO 𝜖()(*+ = ∑𝜖' 5PUBM 1SJWBDZ #VEHFU 𝜃' = 𝜃'() − 𝜂 1 𝑏 F %∈ + 𝜋$ 𝑔% ; 𝜃'() + 𝑁 0, 𝜎 %14(%

-:$PSQPSBUJPO 'FEFSBUFE-FBSOJOHXJUI %JGGFSFOUJBM1SJWBDZ

-:$PSQPSBUJPO 'FEFSBUFE-FBSOJOHXJUI-PDBM%1 • %1JTBTPMVUJPOUPNJUJHBUFUIFJOGFSFODFXJUIUIFPSFUJDBMHVBSBOUFFT • $MJFOUTQSFTFSWFUIFJSQSJWBDZCZFOTVSJOH%1UIFNTFMWFTUISPVHISBOEPNJ[BUJPO %JGGFSFOUJBM 1SJWBDZ 'FEFSBUFE-FBSOJOH
EBUBNJOJNJ[BUJPOXJUIPVUDFOUSBMJ[FE EBUBDPMMFDUJPOBOEQSJWBDZCZEFGBVMU %JGGFSFOUJBM1SJWBDZ EBUBBOPOZNJ[BUJPOQSFWFOUJOHJOGFSFODFT BHBJOTUUIFTFSWFSBOEUIFPUIFSDMJFOUT

-:$PSQPSBUJPO -PDBM%1 1SJWBUF4UBUT(BUIFSJOH • -PDBM%1BTTVNFTUIBUFBDIDMJFOUSBOEPNJ[FTPXOPVUQVUCFGPSFSFQPSUJOHJU • 1SJWBUFTUBUTHBUIFSJOHX-%1BMMPXTJOGFSSJOHTUBUJTUJDTBCPVUQPQVMBUJPOT XIJMFQSFTFSWJOHUIFQSJWBDZPGJOEJWJEVBMT XJUIPVUBOZUSVTUFEFOUJUZ
1SJWBUF4UBUT(BUIFSJOHX-%1 Pr ℳ 𝑥, ∈ 𝑆 ≤ exp 𝜖 Pr ℳ 𝑥- ∈ 𝑆 + 𝛿 𝑥! 𝑥# ℳ ℳ *OEJTUJOHVJTIBCMF (𝝐, 𝜹)-PDBM%1 4UBUT(BUIFSJOH /P3FRVJSFEUP USVTUDVSBUPS

-:$PSQPSBUJPO -PDBM%1'FE4(%"WH 1SJWBUFWFDUPSNFBOFTUJNBUJPOVOEFS-%1DPOTUSBJOUT • &BDIDMJFOUDPNQVUFTUIFJSSBOEPNJ[FEHSBEJFOUCZUIFJSMPDBMEBUB • 4FSWFSFTUJNBUFTUIFNFBOBNPOHBCBUDIPGSBOEPNJ[FEHSBEJFOUTUPVQEBUF UIFHMPCBMNPEFM 𝐚𝐯𝐠.
(SBEJFOU $MJQQJOH 𝑔$ = ∇𝑓(𝑥$ ; 𝜃) 𝝅𝑪 𝒈𝟏 𝑔' = ∇𝑓(𝑥'; 𝜃) 3BOEPN 4BNQMJOH $ 1FSDMJFOU (SBEJFOU (MPCBM.PEFM 6QEBUF 𝑥$, … , 𝑥' ∈ 𝐷 𝑔( = ∇𝑓(𝑥( ; 𝜃) (MPCBM.PEFM 𝜃 1FSUVSCBUJPO 1SJWBDZCVEHFUTIPVMECFDPOTJEFSFE XIFOUIFTBNFDMJFOUQBSUJDJQBUFTJO UIF'-QSPDFEVSFNVMUJQMFUJNFT

-:$PSQPSBUJPO -PDBM3BOEPNJ[FSGPS'FEFSBUFE-FBSOJOH • 3BOEPNJ[FESFTQPOTFJTUIFTUBOEBSEBQQSPBDIUPFOTVSF-%1 • %JTDSFUFOPJTFJTCFDPNJOHQPQVMBSSFDFOUMZTJODFTFDVSFBHHSFHBUJPOSFRVJSFTJU 1SJW6OJU .FDIBOJTN •
3BOEPNMZTBNQMFBHSBEJFOUGSPN UIFVOJUTQIFSF (BVTTJBO.FDIBOJTN %14(%WBSJBOU $BVUJPOOFFEUPNPEJGZOPJTFTDBMFBHBJOTU$%1 3BOEPNJ[F3FTQPOTF $POUJOVPVT/PJTF %JTDSFUF/PJTF • %JTDSFUF-BQMBDF .FDIBOJTN • %JTUSJCVUFE%JTDSFUF (BVTTJBO.FDIBOJTN • 4LFMMBN .FDIBOJTN IUUQTFOXJLJQFEJBPSHXJLJ4LFMMBN@EJTUSJCVUJPO 4LFMMBN EJTUSJCVUJPO #IPXNJDL 1SPUFDUJPO"HBJOTU3FDPOTUSVDUJPOBOE *UT"QQMJDBUJPOTJO1SJWBUF'FEFSBUFE-FBSOJOH IUUQTBSYJWPSHBCT "HBSXBM 5IF4LFMMBN .FDIBOJTNGPS%JGGFSFOUJBMMZ1SJWBUF 'FEFSBUFE-FBSOJOH/FVS*14IUUQTBSYJWPSHBCT

-:$PSQPSBUJPO &NQJSJDBM1SJWBDZ.FBTVSFNFOUJO-%14(% • $MJFOUTJEFFNQJSJDBMQSJWBDZUFTUXJUIJOTUBOUJBUFEBEWFSTBSJFTGPS-%14(% • 6TJOHEVNNZHSBEJFOUXUIFPQQPTJUFEJSFDUJPOSFBDIFTUIFUIFPSFUJDBMCPVOE <.BUTVNPUP >IUUQTBSYJWPSHBCT

-:$PSQPSBUJPO 4DBMBCMF%1'-4JNVMBUPS • QGM1ZUIPOGSBNFXPSLGPS1SJWBUF'FEFSBUFE-FBSOJOHTJNVMBUJPOT "QQMF • IUUQTHJUIVCDPNBQQMFQGMSFTFBSDI • 1ZUIPOGSBNFXPSLUPFNQPXFSSFTFBSDIFSTUPSVOFGGJDJFOUTJNVMBUJPOTXJUIQSJWBDZ
QSFTFSWJOHGFEFSBUFEMFBSOJOH '- BOEEJTTFNJOBUFUIFSFTVMUTPGUIFJSSFTFBSDIJO'- • 4VQQPSUCPUI1Z5PSDI BOE5FOTPS'MPX • *ODMVEJOHDPNNPONFDIBOJTNTGPSMPDBMBOEDFOUSBMEJGGFSFOUJBMQSJWBDZ • '-65&"TDBMBCMFGFEFSBUFEMFBSOJOHTJNVMBUJPOQMBUGPSN .JDSPTPGU3FTFBSDI • IUUQTHJUIVCDPNNJDSPTPGUGMTJNVMBUJPO • l'FEFSBUFE-FBSOJOH6UJMJUJFTBOE5PPMTGPS&YQFSJNFOUBUJPOz '-65& • IJHIQFSGPSNBODFPQFOTPVSDF QMBUGPSNGPSGFEFSBUFEMFBSOJOHSFTFBSDIBOEPGGMJOF TJNVMBUJPOT • JODMVEJOHEJGGFSFOUJBMQSJWBDZ RVBOUJ[BUJPO TDBMJOHBOEBWBSJFUZPGPQUJNJ[BUJPOBOE GFEFSBUJPOBQQSPBDIFT

-:$PSQPSBUJPO -%1'-OFFETMBSHFBNPVOUPGOPJTF • %VFUPUIFBNPVOUPGOPJTFJTWFSZMBSHFUPTBUJTGZ-%1 BDIJFWJOHHPPEGFEFSBUFE MFBSOJOHJTOPUTPFBTZ 𝜖, 𝛿
8,10./ 𝜖, 𝛿 8,10./ <.BFEB %#4++PVSOBM>IUUQTECTKPSHKPVSOBMECTK@KPVSOBM@KECTK@KPVSOBM@WPM@@

-:$PSQPSBUJPO 3FDFOU1BSBEJHN1SJWBDZ"NQMJGJDBUJPO &OIBODFEJGGFSFOUJBMQSJWBDZWJBBOPOZNJ[BUJPOBHHSFHBUJPOPOBUSVTUFEFOUJUZ à "TTVNJOHUIFTFDPOEBSZSBOEPNJ[BUJPO TIVGGMFBHH SFEVDFMPDBMOPJTF 4IVGGMFS QSJWBDZBNQ
WJB BOPOZNJ[BUJPO BOPOZNPVTMPHT "HHSFHBUPS QSJWBDZBNQ WJB BHHSFHBUJPO BHHSFHBUFETUBUT ∑

-:$PSQPSBUJPO 4FDVSF4IVGGMJOH • *OUFSNFEJBUFUSVTUFEFOUJUZlTIVGGMFSz BOPOZNJ[FTMPDBMVTFST`JEFOUJUJFT • 4IVGGMFSDBOBNQMJGZMPDBM%1HVBSBOUFFTCZJUTBEEJUJPOBMSBOEPNJ[BUJPOFGGPSU • 5IFBNQMJGJDBUJPOEFQFOETPOUIFQPQVMBUJPOUIBUQBSUJDJQBUFTJOUIFTIVGGMJOH
4IVGGMFS QSJWBDZBNQ WJB BOPOZNJ[BUJPO BOPOZNPVTMPHT 1SJWBDZ"NQMJGJDBUJPO 𝜖0 = 8 -%1 𝛿 = 10.1 1SJWBDZBNQJTDBMDVMBUFEVTJOH <'FMENBO >IUUQTBSYJWPSHBCT

-:$PSQPSBUJPO /FUXPSL4IVGGMJOH %FDFOUSBMJ[FETIVGGMJOHWJBNVMUJSPVOESBOEPNXBMLT POBHSBQI *OFBDISPVOE FWFSZDMJFOUSFMBZTUIFJSSBOEPNJ[FESFQPSUTUPPOFPGUIFJS OFJHICPST FH GSJFOETPOBTPDJBMOFUXPSL
WJBBOFODSZQUFEDIBOOFM 5IFMBSHFSHSBQIBNQMJGJFTQSJWBDZUIFNPSF <-JFX 4*(.0%>IUUQTBSYJWPSHBCT

-:$PSQPSBUJPO .VMUJNFTTBHF4IVGGMJOH ..4 • $SBGUNVMUJQMFSBOEPNJ[FEGSBHNFOUTGSPNBMPDBMEBUB UIFOBNQMJGZ%1BUTDBMF • 5SBEFPGGCFUXFFODPNNVOJDBUJPODPTUBOEBNQMJGJDBUJPO <(IB[J
>IUUQTBSYJWPSHBCT <(JSHJT >IUUQTBSYJWPSHBCT 4JOHMF.FTTBHF4IVGGMJOH ..4

-:$PSQPSBUJPO 4FDVSF"HHSFHBUJPO 4FD"HH • 4FD"HH JTBDMBTTPGTFDVSFNVMUJQBSUZDPNQVUBUJPOEFTJHOFEUPDPNQVUFBO BHHSFHBUFWBMVF TVDIBTTVN XJUIPVUSFWFBMJOHBOZJOGPSNBUJPOUPPOFBOPUIFS
• 4FD"HH FOBCMFTVTUPHBUIFSMPDBMEBUBXJUIUSVTUà 5SVTUBTTVNQUJPOGPS$%1 • &BDIDMJFOUEJTUSJCVUFTTIBSFTUPUIFPUIFST UIFOBHHSFHBUFTUIFN XEQ OPJTF BHHSFHBUFETUBUT ∑

-:$PSQPSBUJPO %1'53-$PSSFMBUFEOPJTFPOUSVTUFOUJUZ 6OMJLF%14(%BEETJOEFQFOEFOUOPJTFGPSFBDICBUDI %1'53-JOKFDUTDPSSFMBUFE OPJTFBDDPVOUJOHGPSUIFOPJTFBEEJUJPOIJTUPSZ UIFOSFEVDFTUIFOPJTFGPSMBUFS CBUDIFT 𝜃DEF =
𝜃D − 𝜂 𝑔D + 𝑧D 𝜃DEF = 𝜃D − 𝜂 𝑔D + ; GHI D 𝛽D,G 𝑧DJG %14(% %1'53- IUUQTSFTFBSDIHPPHMFCMPHGFEFSBUFEMFBSOJOHXJUIGPSNBMEJGGFSFOUJBMQSJWBDZHVBSBOUFFT *OEFQFOEFOU/PJTF $PSSFMBUFE/PJTF '53-'PMMPX5IF3FHVMBSJ[FE-FBEFS <,BJSPV[ *$.->IUUQTBSYJWPSHBCT

-:$PSQPSBUJPO %JTUSJCVUFE%1PO4FDVSF"HH • 4FDVSFBHHSFHBUJPOFOBCMFTVTUPHBUIFSMPDBMEBUBXJUIUSVTU • %JTUSJCVUFE%1SFEVDFMPDBMOPJTFUPBMFWFMFRVJWBMFOUUP$%1BGUFSBHHSFHBUJPO ∑ "HH 𝐦𝐞𝐚𝐧
= 𝟏 𝒎 Q 𝒊∈ 𝒎 𝒙𝒊 + 𝒛 𝐦𝐞𝐚𝐧 = 𝟏 𝒎 Q 𝒊∈ 𝒎 𝒙𝒊 + 𝒛𝒊 𝒎 -PDBM%1 4FDVSF"HHGPS%JTUSJCVUFE%1 𝐦𝐞𝐚𝐧 = 𝟏 𝒎 Q 𝒊∈ 𝒎 𝒙𝒊 + 𝒛𝒊 $FOUSBM%1 %JTUSJCVUFE%1 .FBOFTUJNBUJPOXJUIUIF(BVTTJBOOPJTF

-:$PSQPSBUJPO %%1'-PO4FDVSF"HH (PPHMF • JNQSPWFUIFQSJWBDZHVBSBOUFFTCZDPNCJOJOH TFDVSFBHHBOEEJTUSJCVUFE%1 • TFDVSFBHHFNQMPZT4.1$ TFDVSFNVMUJQBSUZDPNQVUBUJPO
IUUQTSFTFBSDIHPPHMFCMPHEJTUSJCVUFEEJGGFSFOUJBMQSJWBDZGPSGFEFSBUFEMFBSOJOH

-:$PSQPSBUJPO 'FEFSBUFE"OBMZUJDT 4UBUJTUJDBMBOBMZUJDTPO%1XJUI4FDVSF"HHBSFEFQMPZFEJOSFBMXPSME UPJNQSPWF UIFCBMBODFCFUXFFOQSJWBDZQSPUFDUJPOBOEVUJMJUZPGEBUBVTF 4FDVSF"HH XJUI -PDBM3BOEPNJ[FS 4FDSFU4IBSJOH
IUUQTDPWJETUBUJDDEOBQQMFDPNBQQMJDBUJPOTDPWJEDVSSFOUTUBUJDDPOUBDU USBDJOHQEG&/1"@8IJUF@1BQFSQEG &YQPTVSFOPUJGJDBUJPOCZ"QQMFBOE(PPHMF UPIFMQQVCMJDIFBMUIBVUIPSJUJFTGJHIU$07*%

-:$PSQPSBUJPO 'FE"OBMZUJDTGPS4QBUJBM4UBUT " TDBMBCMFBOEBEBQUJWFEJTUSJCVUFEEJGGFSFOUJBMQSJWBDZBQQSPBDIGPSMPDBUJPO BOBMZUJDTPWFSEFDFOUSBMJ[FEEBUBGSPNNJMMJPOTPGVTFSEFWJDFT PSJHJOBM -PDBM%1 %JTUSJCVUFE%1 <#BHEBTBSZBO
1&54>IUUQTBSYJWPSHBCT

-:$PSQPSBUJPO $PODMVTJPOTBOE3FNBSLT

-:$PSQPSBUJPO 0QFO$IBMMFOHFTJO%1'- • $VSTFPG%JNFOTJPOBMJUZ %1OPJTFUFOETUPCFMBSHFSXIFOUIFNPEFMTJ[FJODSFBTFT • 5SBOTQBSFODZ )PXDBOXFUSVTUUIFFYFDVUJPOPGSBOEPNJ[BUJPOBOEQSJWBDZBDDPVOUJOH •
5FTU7BMJEBUJPO )PXDBOXFUFTUBOEWBMJEBUFGFEFSBUFEMFBSOJOHQFSGPSNBODFJOB%1NBOOFS • 3PCVTUOFTTBHBJOTU%SPQPGGT )PXDBOXFNPEFMESPQPGGT %1HVBSBOUFFTCZTIVGGMJOHEFQFOETPOQPQVMBUJPO • 3PCVTUOFTTBHBJOTUBEWFSTBSJBMDMJFOUT CZ[BOUJOFGBJMVSF %VFUP%1NBLFTBMMJOEJWJEVBMSFQPSUTJOEJTUJOHVJTIBCMF JUJTIBSEUPEFUFDUBOZ BEWFSTBSJBMBUUBDLTGSPNBEWFSTBSJBMDMJFOUT

-:$PSQPSBUJPO 'PVOEBUJPO.PEFM '. .FFUT'- '-FYQBOETUIFBWBJMBCJMJUZPGEBUBGPS'.TBOEFOBCMFTDPNQVUBUJPOTIBSJOH $PNQVUBUJPOTIBSFEBNPOH'-FOUJUJFT 0QQPSUVOJUZBOEGVUVSFEJSFDUJPO <;IVBOH >IUUQTBSYJWPSHBCT

-:$PSQPSBUJPO $PODMVTJPO • 5IJTUVUPSJBMQSPWJEFEZPVJOUSPEVDUJPOPGEJGGFSFOUJBMQSJWBDZBOEJUTEFQMPZNFOU POGFEFSBUFEMFBSOJOHJOUIFDSPTTEFWJDFTFUUJOH • 8FJOUSPEVDFETFWFSBM%1NPEFMTJO'- • $FOUSBMNPEFM
• -PDBMNPEFM • 4IVGGMFENPEFM • %JTUSJCVUFENPEFMXJUI4FDVSF"HH • -BTUQBSUNFOUJPOFEDIBMMFOHFTJO%1'-BOEMBUFTUBQQMJDBUJPOGPSGPVOEBUJPO NPEFMT • 'FEFSBUFEDPNQVUBUJPOLFFQHSPXJOHUPQSPWJEFVTFSTNBDIJOFMFBSOJOHCBTFE GFBUVSFTXJUIIJHIVUJMJUZVOEFSIJHIQSJWBDZTUBOEBSET

-:$PSQPSBUJPO

Secure and Private Federated Learning with Diff...

Secure and Private Federated Learning with Differential Privacy

More Decks by LINEヤフーTech (LY Corporation Tech)

Other Decks in Technology

Featured

Transcript