Share
Embed
Secure and Private Federated Learning with Differential Privacy
Tutorial on DASFAA 2024 (https://www.dasfaa2024.org/tutorials/#tutorial-5)
This tutorial explores the foundational principles and practical applications of differentially private federated learning, highlighting recent advancements that incorporate secure aggregation techniques.
LINEヤフーTech (LY Corporation Tech) PRO
July 08, 2024
Transcript
55 slides
-
-:$PSQPSBUJPO 'FEFSBUFE-FBSOJOHr 0WFSWJFXBOE1SJWBDZ*TTVFT 8IBUJT%JGGFSFOUJBM1SJWBDZ 8IZBOE)PX 'FEFSBUFE-FBSOJOHXJUI%JGGFSFOUJBM1SJWBDZ $PODMVTJPOBOE3FNBSLT
'SPNCBTJTPGEJGGFSFOUJBMMZQSJWBUFGFEFSBUFEMFBSOJOHUPUIFSFDFOUBEWBODFNFOUT 5BCMFPG$POUFOUT -
-:$PSQPSBUJPO 'FEFSBUFE-FBSOJOH • %JTUSJCVUFENBDIJOFMFBSOJOHDPPQFSBUJOHUIFDFOUSBMTFSWFSBOEMPUTPGDMJFOUT • $MJFOUTUSBOTNJUPOMZUIFJSVQEBUFJOGP FH HSBEJFOUT CVUOPUSBXEBUB
à SBXEBUBOFWFSMFBWFTDMJFOU à QSJWBDZBXBSF /POQBSUJDJQBOUTPG'- (MPCBM.PEFM -
-:$PSQPSBUJPO 4UJDLFS4VHHFTUJPOPO-*/& "QQ • %JTQMBZTUJDLFSTUIBUIBWFSFMFWBODFUPUIFVTFSJOQVUUFYUMJLFl͋Γ͕ͱ͏z • 'FEFSBUFE-FBSOJOH BOE%JGGFSFOUJBM1SJWBDZ IBWFCFFOJOTUBMMFEUPGJUVTFST`
QSFGFSFODFTNPSFQSFDJTFMZ 8IJUF1BQFSʢʣ IUUQTMJOFDPSQDPNKBTFDVSJUZBSUJDMF l5IBOLZPVz -
-:$PSQPSBUJPO 1SJWBDZ&OIBODJOH5FDIOPMPHJFT 1&5T /PUPOMZTJOHMF1&5EFQMPZNFOU CVUUIFDPNCJOBUJPOPG1&5TBSFJODSFBTFE SFDFOUMZUPNBJOUBJOVUJMJUZPGEBUBXIJMFQSFTFSWJOHEFTJSFEQSJWBDZ 5&& 5SVTUFE&YFDVUJPO&OWJSPONFOU 4.1$
4FDVSF.VMUJQBSUZ$PNQVUBUJPO 'FEFSBUFE-FBSOJOH %JGGFSFOUJBM1SJWBDZ 4FDVSF$PNQVUJOH -
-:$PSQPSBUJPO $SPTTEFWJDF 'FEFSBUFE-FBSOJOH 1SPDFEVSFPG'FEFSBUFE-FBSOJOH '- 4FSWFSEJTUSJCVUFTUIFHMPCBMNPEFMUPDMJFOUT &BDIDMJFOUDSBGUTBOVQEBUFJOGP
JF HSBEJFOU VTJOH PXOMPDBMEBUBBOEMPDBMNPEFM DPQZPGHMPCBMNPEFM &BDIDMJFOUTFOETUIFVQEBUFJOGPUPUIFTFSWFS 4FSWFSBHHSFHBUFTBCBUDIPGDPMMFDUFEVQEBUFJOGP UIFOVQEBUFTUIFHMPCBMNPEFMVTJOHUIFBHHSFHBUF 1SPQFSUJFTPG'- • 3BXEBUBOFWFSMFBWFTDMJFOUT • 4FSWFSEPOPUNBOBHFUIFSBXEBUB • 1FSTPOBMJ[BUJPODBOCFQSPWJEFECZ VTJOHMPDBMNPEFMUSBJOFECZMPDBMEBUB • $PNQVUBUJPOBMSFTPVSDFMJNJUBUJPOBUDMJFOU • $PNNVOJDBUJPOMJNJUBUJPO JF 8J'J POMZ • $POTJEFSDMJFOUESPQPVUT JF QPXFSPGG /POQBSUJDJQBOUTPG'- (MPCBM.PEFM ̍ -
-:$PSQPSBUJPO '-X%JGGFSFOUJBM1SJWBDZJTBTPMVUJPO • %1JTBTPMVUJPOUPNJUJHBUFUIFJOGFSFODFXJUIUIFPSFUJDBMHVBSBOUFFT • $MJFOUTQSFTFSWFUIFJSQSJWBDZCZFOTVSJOH%1UIFNTFMWFTUISPVHISBOEPNJ[BUJPO %JGGFSFOUJBM 1SJWBDZ 'FEFSBUFE-FBSOJOH
EBUBNJOJNJ[BUJPOXJUIPVUDFOUSBMJ[FE EBUBDPMMFDUJPOBOEQSJWBDZCZEFGBVMU %JGGFSFOUJBM1SJWBDZ EBUBBOPOZNJ[BUJPOQSFWFOUJOHJOGFSFODFT BHBJOTUUIFTFSWFSBOEUIFPUIFSDMJFOUT -
-:$PSQPSBUJPO 8IBUJT%JGGFSFOUJBM1SJWBDZ %POUZPVGFFMMJLFZPVSQSJWBDZJTQSPUFDUFEJGUIFOPJTF JTBEEJUJWF 4UBUJTUJDBM $PNQVUBUJPO /PJTF "EEJUJPO
𝜖 ∞ TUSPOH XFBL ʜ %JGGSFOUJBM1SJWBDZQSPWJEFT • 5IFPSFUJDBMQSJWBDZNFBTVSF WJBOPJTFBEEJUJPO • )PXUPEFSJWFUIFOPJTFSFRVJSFEUP BDIJFWFBHJWFOQSJWBDZQBSBNFUFS𝜖 -
-:$PSQPSBUJPO 5XP1SJWBDZ.PEFMT3FBMXPSME&YBNQMF $FOUSBM %JGGFSFOUJBM1SJWBDZ -PDBM%JGGFSFOUJBM1SJWBDZ 4UBUT3FMFBTF 4UBUT(BUIFSJOH /P3FRVJSFEUP USVTUDVSBUPS
3FRVJSFEUP USVTUDVSBUPS &YBNQMF • (PPHMF$ISPNFTUBUTHBUIFSJOH (PPHMF • J04NBD04TUBUTHBUIFSJOH "QQMF • 4UJDLFS4VHHFTU'- -: &YBNQMF • 64$FOTVT 64$FOTVT • 'VMM63-TEBUBTFU .FUB • /FYUXPSEQSFEJDUJPOJO(CPBSE (PPHMF • "VEJFODF&OHBHFNFOU"1* -JOLFE*O "MJTUPGSFBMXPSMEVTFPGEJGGFSFOUJBMQSJWBDZIUUQTEFTGPOUBJOFTQSJWBDZSFBMXPSMEEJGGFSFOUJBMQSJWBDZIUNM -
-:$PSQPSBUJPO %JGGFSFODF"UUBDL $BOXFFTUJNBUF"MJDF`TTBMBSZ "DPNQBOZSFMFBTFTUIFBWFSBHFTBMBSZFWFSZZFBS "MJDFXBTSFUJSFECZFOEPG5IFPUIFSFNQMPZFFTSFNBJOFEXJUIUIFDPNQBOZ BWHTBMBSZ .+1: ʜ ʜ
"MJDF FOHJOFFST BWHTBMBSZ .+1: ʜ ʜ FOHJOFFST .Yr .Y .+1: "MJDF`TTBMBSZJT -
-:$PSQPSBUJPO 6TFSMFWFM%JGGFSFOUJBM1SJWBDZ 𝝐, 𝜹 %JGGFSFOUJBM1SJWBDZ 5IFEJTUSJCVUJPOPGUIFPVUQVUℳ 𝐷 JT OFBSMZUIFTBNFBTℳ
𝐷! GPSBMMBEKBDFOUEBUBCBTFT𝐷 BOE𝐷′ EJGGFS CZPOFVTFS ℳ ℳ 0VUQVU 1SPCBCJMJUZ Pr ℳ 𝐷 ∈ 𝑆 ≤ exp 𝜖 Pr ℳ 𝐷" ∈ 𝑆 + 𝛿 𝐷 𝐷! ℳ 𝐷 ℳ 𝐷! -
-:$PSQPSBUJPO %1NBLFTBOZEJGGFSFODFTJOEJTUJOHVJTIBCMF ʜ ʜ "MJDF ʜ ʜ ℳ ℳ
0VUQVU 1SPCBCJMJUZ ℳ 𝐷 ℳ 𝐷! . +1: . +1: -
-:$PSQPSBUJPO 4UBUJTUJDBM*OUFSQSFUBUJPOPG%1 • $POTJEFSUIFHBNFPGHVFTTJOHUIFJOQVU𝐷 PS𝐷! GSPNBSBOEPNJ[FEPVUQVU • &NQJSJDBM%1DBOCFEFSJWFEVTJOHUIFJOGFSFODFFSSPSTJOMPUTPGUSJBMT 𝜖"#$
= max log 1 − 𝛿 − FP FN , log 1 − 𝛿 − FN FP &NQJSJDBMEJGGFSFOUJBMQSJWBDZ [Kairouz+, ICML2015] https://arxiv.org/abs/1311.0776 ℳ GSPN𝐷 PS𝐷! 𝐷 𝐷! 3BOEPNJ[FE "MHPSJUIN 𝜖 = 1.0 𝛿 -
-:$PSQPSBUJPO 4UBUJTUJDBM*OUFSQSFUBUJPOPG%1 8PSTUDBTFEJTUJOHVJTIBCJMJUZWBSZJOHQSJWBDZQBSBNFUFS𝜖 𝜖 = 1.0 𝜖 = 0.25
𝜖 = 3.0 8FBL1SJWBDZ1SPUFDUJPO 4USPOH1SJWBDZ1SPUFDUJPO 𝛿 𝛿 𝛿 -
-:$PSQPSBUJPO 3BOEPNJ[BUJPOHJWJOH%1HVBSBOUFFT • /PJTFTDBMFJTEFTJHOFECBTFEPOB IPXNVDIVTFSDPOUSJCVUJPOTBSFCPVOEFE BOEC IPXUPBHHSFHBUFTVDICPVOEFEVTFSEBUB •
6TFSDPOUSJCVUJPOBNBHOJUVEFPGDPOUSJCVUJPOCZTJOHMFVTFS`TEBUBUPPVUQVU • 5IFSBOEPNJ[FENFDIBOJTNFNQMPZTFODPEJOH BHHSFHBUJPO BOEQFSUVSCBUJPO &ODPEJOH "HHSFHBUJPO "MJDF #PC $IBSMJF 1FSUVSCBUJPO . +1: . +1: . +1: . +1: . +1: . +1: . +1: 0 1000 2000 3000 4000 5000 NFBO . +1: #PVOEJOHUIFVTFSDPOUSJCVUJPO BUNPTUDPOTUBOU𝐶 .+1: -
-:$PSQPSBUJPO -BQMBDF.FDIBOJTN .PTUXFMMLOPXOSBOEPNJ[FENFDIBOJTNʢBTTVNJOH𝛿 = 0ʣ ℳ 𝐷 = 𝑓
𝐷 + Lap 0, Δ3 𝜖 -BQMBDF.FDIBOJTN 𝜖 = 10, Δ! = 1 𝜖 = 1, Δ! = 1 4BNQMFBOPJTFGSPNUIF-BQMBDFEJTUSJCVUJPO IBWJOHNFBOɿ TUEɿ 2 "! # Δ# = sup $,$"∈𝒟 𝑓 𝐷 − 𝑓 𝐷! ( ℓ𝟏 TFOTJUJWJUZ Δ)*+,- = 1 Δ./0, = 𝐶 𝑛 &Y 4FOTJUJWJUZ𝚫𝒇 UIFMBSHFTUEJGGFSFODFPGUIFPVUQVU EJGGFSCZPOFVTFS <%XPSL *$"-1> IUUQTMJOLTQSJOHFSDPNDIBQUFS@ -
-:$PSQPSBUJPO 1SPPG%14BUJTGBDUJPOCZ-BQMBDF.FDIBOJTN Pr[𝑀 𝐷 = 𝑦] Pr[𝑀 𝐷! =
𝑦] = Π1 𝑃203 𝑦1 − 𝑓 𝐷 1 Π1 𝑃203 𝑦1 − 𝑓 𝐷! 1 = Π1 exp 𝑏4( 𝑦1 − 𝑓 𝐷 1 − 𝑦1 − 𝑓 𝐷! 1 ≤ Π1 exp 𝑏4( 𝑓 𝐷 1 − 𝑓 𝐷! 1 = exp 𝑏4( C 1 𝑓 𝐷 1 − 𝑓 𝐷! 1 = exp 𝑏4( 𝑓 𝐷 − 𝑓 𝐷! ( = exp 𝜖 Δ# 𝑓 𝐷 − 𝑓 𝐷! ( ≤ exp 𝜖 𝑃203 𝑥 = 1 2𝑏 exp(−𝑏4(|𝑥|) 𝑏 = Δ# 𝜖 Δ# ≥ 𝑓 𝐷 − 𝑓 𝐷! ( 𝑥( − 𝑥5 ≤ |𝑥( − 𝑥5| -
-:$PSQPSBUJPO 7BSZJOHQSJWBDZQBSBNFUFS𝝐 • 4USPOHQSJWBDZ BU𝜖 = 0.01 TIPXTFYUSFNFMZSBOEPNJ[FEVTFMFTTPVUQVUT •
8FBLFSQSJWBDZ BU𝜖 = 10 JTBMNPTUTBNFBTUIFPSJHJOBMIJTUPHSBN 𝜖 = 0.1 𝜖 = 1.0 𝜖 = 0.01 𝜖 = 10 8FBL1SJWBDZ1SPUFDUJPO 4USPOH1SJWBDZ1SPUFDUJPO -
-:$PSQPSBUJPO .BDIJOF-FBSOJOHXJUI%JGGFSFOUJBM1SJWBDZ )PXDBOXFUSBJONBDIJOFMFBSOJOHNPEFMJOBEJGGFSFOUJBMMZQSJWBUFNBOOFS 5XPLFZDPNQPOFOUT BEEJOHOPJTFUPDMJQQFEHSBEJFOUT QSJWBDZDPNQPTJUJPO 1SJWBUJ[FE.PEFM TUCBUDI
OECBUDI 5UI CBUDI %JGGFSFOUJBMMZ 1SJWBUF 5SBJOJOH "MHPSJUIN -
-:$PSQPSBUJPO 1SJWBDZ$PNQPTJUJPOJO-FBSOJOH*UFSBUJPO • %1DPOTJEFSTUIBUDPOUJOVBMEBUBVTBHFTBDDVNVMBUFQSJWBDZDPOTVNQUJPOT • 5IFBDDVNVMBUFEQSJWBDZDPOTVNQUJPODBOCFEFSJWFECZDPNQPTJUJPOPGFBDI𝝐 • 5IFQSJWBDZQBSBNFUFS𝜖' GPSRVFSZ𝑞'
JTBMTPDBMMFEQSJWBDZCVEHFU GPS𝑞' BOEJT BTTJHOFEDPOTJEFSJOHUIFUPUBMQSJWBDZCVEHFU • 4JNQMFTUXBZ4FRVFOUJBM$PNQPTJUJPO • 3FDFOU TPQIJTUJDBUFEXBZT 3ÉOZJ %1 [$%1 𝝐𝟏 𝝐𝟏 𝝐𝟐 𝝐𝟏 𝝐𝟐 𝝐𝒌 ʜ ʜ EFDMJOF QSJWBDZDPOTVNQUJPO CBUDIFT EBUBBDDFTT 1SJWBDZ$ PN QPTJUJPO 𝜖()(*+ = ∑𝜖' 5PUBM 1SJWBDZ #VEHFU TUCBUDI OECBUDI 5UI CBUDI %1 "MHPSJUIN 4FRVFOUJBM$PNQPTJUJPO -
-:$PSQPSBUJPO %14(%ʢ%1-FBSOJOH'SBNFXPSLʣ 6QEBUFNPEFMXJUIUIFOPJTFE DMJQQFE HSBEJFOUXIJMFUIFQSJWBDZCVEHFUSFNBJOT 𝐚𝐯𝐠. (BVTTJBO /PJTF 𝑔$
= ∇𝑓(𝑥$ ; 𝜃) 𝝅𝑪 𝒈𝟏 𝑔' = ∇𝑓(𝑥' ; 𝜃) $ %BUBCBTF𝐷 𝐷 = 𝑛 6QEBUF.PEFM 3FQFBUVOUJMQSJWBDZCVEHFUSFNBJOT TVCTBNQMJOHIFMQTUPTBWFQSJWBDZDPOTVNQUJPO <"CBEJ $44>IUUQTBSYJWPSHBCT (SBEJFOU$MJQQJOH 3BOEPN 4VCTBNQMJOH 1FSTBNQMF (SBEJFOU 𝑥$ , … , 𝑥' ∈ 𝐷 𝑔( = ∇𝑓(𝑥(; 𝜃) 𝜋$ 𝑔% = 𝑔% ⋅ min 1, 𝐶 𝑔% & (SBEJFOU $MJQQJOH $MJQHSBEJFOUℓ𝟐 OPSNBUDPOTUBOU$à 4FOTJUJWJUZPGWFDUPSNFBOJTCPVOEFEBU$C 𝜃' = 𝜃'() − 𝜂 1 𝑏 F %∈ + 𝜋$ 𝑔% ; 𝜃'() + 𝑁 0, 𝜎 ʜ 𝑥! 𝑥" -
-:$PSQPSBUJPO -JCSBSZGPS%14(% • 5FOTPS'MPX1SJWBDZ IUUQTHJUIVCDPNUFOTPSGMPXQSJWBDZ • 0QBDVT IUUQTHJUIVCDPNQZUPSDIPQBDVT •
BMJCSBSZUIBUFOBCMFTUSBJOJOH1Z5PSDI NPEFMTXJUIEJGGFSFOUJBMQSJWBDZ • TVQQPSUTUSBJOJOHXJUINJOJNBMDPEFDIBOHFTSFRVJSFEPOUIFDMJFOU • USBDLUIFQSJWBDZCVEHFU FYQFOEFEBUBOZHJWFONPNFOU -
-:$PSQPSBUJPO %15SBJOJOHJTTFOTJUJWFUPOPJTF • 1SJWBUFEBUBTZOUIFTJT5SBJOBEBUBTZOUIFTJTNPEFM UIBUJNJUBUFTPSJHJOBMEBUBTFU • *TTVFUIFJSDPNQMJDBUFEUSBJOJOHQSPDFTT FH ("/
7"& JTTFOTJUJWFUPOPJTF • "QQSPBDITJNQMJGZUIFQSPDFTTCZVTJOHQSJWBUJ[FEEBUBFNCFEEJOHT 5SBJOXJUI 4ZOUIFTJ[F /BÏWF.FUIPE 1(. PVST 1&"3- PVST <5BLBHJ5BLBIBTIJ *$%&> 1SJWBUJ[FE(FOFSBUJWF.PEFM %FD%11$" (FO%14(% %FD%14(% (FO%14(% %FD3BOE'FBUVSF (FO"EW5SBJO 𝜖, 𝛿 = 1.0,10(, <5BLBHJ5BLBIBTIJ *$%&>IUUQTBSYJWPSHBCT <-JFX *$-3>IUUQTBSYJWPSHBCT <-JFX *$-3> -
-:$PSQPSBUJPO %15SBJOJOH/FFET)JEEFO4UBUF • )JEEFOTUBUFBOBMZTJTDBOTJHOJGJDBOUMZBNQMJGZEJGGFSFOUJBMQSJWBDZ • 8IFOUIFJOUFSOBMTUBUFPGUIFBMHPSJUINJTIJEEFO UIJTSFTFBSDIQSPWJEFEBQSPPG UIBUBDPOWFSHJOHQSJWBDZCPVOEGPSOPJTZTUPDIBTUJDHSBEJFOUEFTDFOU PO
TUSPOHMZDPOWFYTNPPUIMPTTGVODUJPOT <:FBOE4IPLSJ /FVS*14>IUUQTBSYJWPSHBCT -
-:$PSQPSBUJPO 3FDBQ%15SBJOJOH • "EEUIF (BVTTJBO OPJTFUPDMJQQFEHSBEJFOU • "DDPVOUQSJWBDZDPOTVNQUJPOXIJMFJUFSBUJOHUSBJOJOHDPOTJEFSJOHUIFTBNQMJOH SBUFPGCBUDIFTBOEUIFOPJTFTDBMFPGUIF
(BVTTJBO OPJTF TUCBUDI OECBUDI 5UI CBUDI %15SBJOJOH "MHPSJUIN 𝝐𝟏 𝝐𝟏 𝝐𝟐 𝝐𝟏 𝝐𝟐 𝝐𝒌 ʜ ʜ EFDMJOF QSJWBDZDPOTVNQUJPO CBUDIFT EBUBBDDFTT 1SJWBDZ$ PN QPTJUJPO 𝜖()(*+ = ∑𝜖' 5PUBM 1SJWBDZ #VEHFU 𝜃' = 𝜃'() − 𝜂 1 𝑏 F %∈ + 𝜋$ 𝑔% ; 𝜃'() + 𝑁 0, 𝜎 %14(% -
-:$PSQPSBUJPO 'FEFSBUFE-FBSOJOHXJUI-PDBM%1 • %1JTBTPMVUJPOUPNJUJHBUFUIFJOGFSFODFXJUIUIFPSFUJDBMHVBSBOUFFT • $MJFOUTQSFTFSWFUIFJSQSJWBDZCZFOTVSJOH%1UIFNTFMWFTUISPVHISBOEPNJ[BUJPO %JGGFSFOUJBM 1SJWBDZ 'FEFSBUFE-FBSOJOH
EBUBNJOJNJ[BUJPOXJUIPVUDFOUSBMJ[FE EBUBDPMMFDUJPOBOEQSJWBDZCZEFGBVMU %JGGFSFOUJBM1SJWBDZ EBUBBOPOZNJ[BUJPOQSFWFOUJOHJOGFSFODFT BHBJOTUUIFTFSWFSBOEUIFPUIFSDMJFOUT -
-:$PSQPSBUJPO -PDBM%1 1SJWBUF4UBUT(BUIFSJOH • -PDBM%1BTTVNFTUIBUFBDIDMJFOUSBOEPNJ[FTPXOPVUQVUCFGPSFSFQPSUJOHJU • 1SJWBUFTUBUTHBUIFSJOHX-%1BMMPXTJOGFSSJOHTUBUJTUJDTBCPVUQPQVMBUJPOT XIJMFQSFTFSWJOHUIFQSJWBDZPGJOEJWJEVBMT XJUIPVUBOZUSVTUFEFOUJUZ
1SJWBUF4UBUT(BUIFSJOHX-%1 Pr ℳ 𝑥, ∈ 𝑆 ≤ exp 𝜖 Pr ℳ 𝑥- ∈ 𝑆 + 𝛿 𝑥! 𝑥# ℳ ℳ *OEJTUJOHVJTIBCMF (𝝐, 𝜹)-PDBM%1 4UBUT(BUIFSJOH /P3FRVJSFEUP USVTUDVSBUPS -
-:$PSQPSBUJPO -PDBM%1'FE4(%"WH 1SJWBUFWFDUPSNFBOFTUJNBUJPOVOEFS-%1DPOTUSBJOUT • &BDIDMJFOUDPNQVUFTUIFJSSBOEPNJ[FEHSBEJFOUCZUIFJSMPDBMEBUB • 4FSWFSFTUJNBUFTUIFNFBOBNPOHBCBUDIPGSBOEPNJ[FEHSBEJFOUTUPVQEBUF UIFHMPCBMNPEFM 𝐚𝐯𝐠.
(SBEJFOU $MJQQJOH 𝑔$ = ∇𝑓(𝑥$ ; 𝜃) 𝝅𝑪 𝒈𝟏 𝑔' = ∇𝑓(𝑥'; 𝜃) 3BOEPN 4BNQMJOH $ 1FSDMJFOU (SBEJFOU (MPCBM.PEFM 6QEBUF 𝑥$, … , 𝑥' ∈ 𝐷 𝑔( = ∇𝑓(𝑥( ; 𝜃) (MPCBM.PEFM 𝜃 1FSUVSCBUJPO 1SJWBDZCVEHFUTIPVMECFDPOTJEFSFE XIFOUIFTBNFDMJFOUQBSUJDJQBUFTJO UIF'-QSPDFEVSFNVMUJQMFUJNFT -
-:$PSQPSBUJPO -PDBM3BOEPNJ[FSGPS'FEFSBUFE-FBSOJOH • 3BOEPNJ[FESFTQPOTFJTUIFTUBOEBSEBQQSPBDIUPFOTVSF-%1 • %JTDSFUFOPJTFJTCFDPNJOHQPQVMBSSFDFOUMZTJODFTFDVSFBHHSFHBUJPOSFRVJSFTJU 1SJW6OJU .FDIBOJTN •
3BOEPNMZTBNQMFBHSBEJFOUGSPN UIFVOJUTQIFSF (BVTTJBO.FDIBOJTN %14(%WBSJBOU $BVUJPOOFFEUPNPEJGZOPJTFTDBMFBHBJOTU$%1 3BOEPNJ[F3FTQPOTF $POUJOVPVT/PJTF %JTDSFUF/PJTF • %JTDSFUF-BQMBDF .FDIBOJTN • %JTUSJCVUFE%JTDSFUF (BVTTJBO.FDIBOJTN • 4LFMMBN .FDIBOJTN IUUQTFOXJLJQFEJBPSHXJLJ4LFMMBN@EJTUSJCVUJPO 4LFMMBN EJTUSJCVUJPO #IPXNJDL 1SPUFDUJPO"HBJOTU3FDPOTUSVDUJPOBOE *UT"QQMJDBUJPOTJO1SJWBUF'FEFSBUFE-FBSOJOH IUUQTBSYJWPSHBCT "HBSXBM 5IF4LFMMBN .FDIBOJTNGPS%JGGFSFOUJBMMZ1SJWBUF 'FEFSBUFE-FBSOJOH/FVS*14IUUQTBSYJWPSHBCT -
-:$PSQPSBUJPO 4DBMBCMF%1'-4JNVMBUPS • QGM1ZUIPOGSBNFXPSLGPS1SJWBUF'FEFSBUFE-FBSOJOHTJNVMBUJPOT "QQMF • IUUQTHJUIVCDPNBQQMFQGMSFTFBSDI • 1ZUIPOGSBNFXPSLUPFNQPXFSSFTFBSDIFSTUPSVOFGGJDJFOUTJNVMBUJPOTXJUIQSJWBDZ
QSFTFSWJOHGFEFSBUFEMFBSOJOH '- BOEEJTTFNJOBUFUIFSFTVMUTPGUIFJSSFTFBSDIJO'- • 4VQQPSUCPUI1Z5PSDI BOE5FOTPS'MPX • *ODMVEJOHDPNNPONFDIBOJTNTGPSMPDBMBOEDFOUSBMEJGGFSFOUJBMQSJWBDZ • '-65&"TDBMBCMFGFEFSBUFEMFBSOJOHTJNVMBUJPOQMBUGPSN .JDSPTPGU3FTFBSDI • IUUQTHJUIVCDPNNJDSPTPGUGMTJNVMBUJPO • l'FEFSBUFE-FBSOJOH6UJMJUJFTBOE5PPMTGPS&YQFSJNFOUBUJPOz '-65& • IJHIQFSGPSNBODFPQFOTPVSDF QMBUGPSNGPSGFEFSBUFEMFBSOJOHSFTFBSDIBOEPGGMJOF TJNVMBUJPOT • JODMVEJOHEJGGFSFOUJBMQSJWBDZ RVBOUJ[BUJPO TDBMJOHBOEBWBSJFUZPGPQUJNJ[BUJPOBOE GFEFSBUJPOBQQSPBDIFT -
-:$PSQPSBUJPO -%1'-OFFETMBSHFBNPVOUPGOPJTF • %VFUPUIFBNPVOUPGOPJTFJTWFSZMBSHFUPTBUJTGZ-%1 BDIJFWJOHHPPEGFEFSBUFE MFBSOJOHJTOPUTPFBTZ 𝜖, 𝛿
8,10./ 𝜖, 𝛿 8,10./ <.BFEB %#4++PVSOBM>IUUQTECTKPSHKPVSOBMECTK@KPVSOBM@KECTK@KPVSOBM@WPM@@ -
-:$PSQPSBUJPO 3FDFOU1BSBEJHN1SJWBDZ"NQMJGJDBUJPO &OIBODFEJGGFSFOUJBMQSJWBDZWJBBOPOZNJ[BUJPOBHHSFHBUJPOPOBUSVTUFEFOUJUZ à "TTVNJOHUIFTFDPOEBSZSBOEPNJ[BUJPO TIVGGMFBHH SFEVDFMPDBMOPJTF 4IVGGMFS QSJWBDZBNQ
WJB BOPOZNJ[BUJPO BOPOZNPVTMPHT "HHSFHBUPS QSJWBDZBNQ WJB BHHSFHBUJPO BHHSFHBUFETUBUT ∑ -
-:$PSQPSBUJPO 4FDVSF4IVGGMJOH • *OUFSNFEJBUFUSVTUFEFOUJUZlTIVGGMFSz BOPOZNJ[FTMPDBMVTFST`JEFOUJUJFT • 4IVGGMFSDBOBNQMJGZMPDBM%1HVBSBOUFFTCZJUTBEEJUJPOBMSBOEPNJ[BUJPOFGGPSU • 5IFBNQMJGJDBUJPOEFQFOETPOUIFQPQVMBUJPOUIBUQBSUJDJQBUFTJOUIFTIVGGMJOH
4IVGGMFS QSJWBDZBNQ WJB BOPOZNJ[BUJPO BOPOZNPVTMPHT 1SJWBDZ"NQMJGJDBUJPO 𝜖0 = 8 -%1 𝛿 = 10.1 1SJWBDZBNQJTDBMDVMBUFEVTJOH <'FMENBO >IUUQTBSYJWPSHBCT -
-:$PSQPSBUJPO /FUXPSL4IVGGMJOH %FDFOUSBMJ[FETIVGGMJOHWJBNVMUJSPVOESBOEPNXBMLT POBHSBQI *OFBDISPVOE FWFSZDMJFOUSFMBZTUIFJSSBOEPNJ[FESFQPSUTUPPOFPGUIFJS OFJHICPST FH GSJFOETPOBTPDJBMOFUXPSL
WJBBOFODSZQUFEDIBOOFM 5IFMBSHFSHSBQIBNQMJGJFTQSJWBDZUIFNPSF <-JFX 4*(.0%>IUUQTBSYJWPSHBCT -
-:$PSQPSBUJPO .VMUJNFTTBHF4IVGGMJOH ..4 • $SBGUNVMUJQMFSBOEPNJ[FEGSBHNFOUTGSPNBMPDBMEBUB UIFOBNQMJGZ%1BUTDBMF • 5SBEFPGGCFUXFFODPNNVOJDBUJPODPTUBOEBNQMJGJDBUJPO <(IB[J
>IUUQTBSYJWPSHBCT <(JSHJT >IUUQTBSYJWPSHBCT 4JOHMF.FTTBHF4IVGGMJOH ..4 -
-:$PSQPSBUJPO 4FDVSF"HHSFHBUJPO 4FD"HH • 4FD"HH JTBDMBTTPGTFDVSFNVMUJQBSUZDPNQVUBUJPOEFTJHOFEUPDPNQVUFBO BHHSFHBUFWBMVF TVDIBTTVN XJUIPVUSFWFBMJOHBOZJOGPSNBUJPOUPPOFBOPUIFS
• 4FD"HH FOBCMFTVTUPHBUIFSMPDBMEBUBXJUIUSVTUà 5SVTUBTTVNQUJPOGPS$%1 • &BDIDMJFOUEJTUSJCVUFTTIBSFTUPUIFPUIFST UIFOBHHSFHBUFTUIFN XEQ OPJTF BHHSFHBUFETUBUT ∑ -
-:$PSQPSBUJPO %1'53-$PSSFMBUFEOPJTFPOUSVTUFOUJUZ 6OMJLF%14(%BEETJOEFQFOEFOUOPJTFGPSFBDICBUDI %1'53-JOKFDUTDPSSFMBUFE OPJTFBDDPVOUJOHGPSUIFOPJTFBEEJUJPOIJTUPSZ UIFOSFEVDFTUIFOPJTFGPSMBUFS CBUDIFT 𝜃DEF =
𝜃D − 𝜂 𝑔D + 𝑧D 𝜃DEF = 𝜃D − 𝜂 𝑔D + ; GHI D 𝛽D,G 𝑧DJG %14(% %1'53- IUUQTSFTFBSDIHPPHMFCMPHGFEFSBUFEMFBSOJOHXJUIGPSNBMEJGGFSFOUJBMQSJWBDZHVBSBOUFFT *OEFQFOEFOU/PJTF $PSSFMBUFE/PJTF '53-'PMMPX5IF3FHVMBSJ[FE-FBEFS <,BJSPV[ *$.->IUUQTBSYJWPSHBCT -
-:$PSQPSBUJPO %JTUSJCVUFE%1PO4FDVSF"HH • 4FDVSFBHHSFHBUJPOFOBCMFTVTUPHBUIFSMPDBMEBUBXJUIUSVTU • %JTUSJCVUFE%1SFEVDFMPDBMOPJTFUPBMFWFMFRVJWBMFOUUP$%1BGUFSBHHSFHBUJPO ∑ "HH 𝐦𝐞𝐚𝐧
= 𝟏 𝒎 Q 𝒊∈ 𝒎 𝒙𝒊 + 𝒛 𝐦𝐞𝐚𝐧 = 𝟏 𝒎 Q 𝒊∈ 𝒎 𝒙𝒊 + 𝒛𝒊 𝒎 -PDBM%1 4FDVSF"HHGPS%JTUSJCVUFE%1 𝐦𝐞𝐚𝐧 = 𝟏 𝒎 Q 𝒊∈ 𝒎 𝒙𝒊 + 𝒛𝒊 $FOUSBM%1 %JTUSJCVUFE%1 .FBOFTUJNBUJPOXJUIUIF(BVTTJBOOPJTF -
-:$PSQPSBUJPO %%1'-PO4FDVSF"HH (PPHMF • JNQSPWFUIFQSJWBDZHVBSBOUFFTCZDPNCJOJOH TFDVSFBHHBOEEJTUSJCVUFE%1 • TFDVSFBHHFNQMPZT4.1$ TFDVSFNVMUJQBSUZDPNQVUBUJPO
IUUQTSFTFBSDIHPPHMFCMPHEJTUSJCVUFEEJGGFSFOUJBMQSJWBDZGPSGFEFSBUFEMFBSOJOH -
-:$PSQPSBUJPO 'FEFSBUFE"OBMZUJDT 4UBUJTUJDBMBOBMZUJDTPO%1XJUI4FDVSF"HHBSFEFQMPZFEJOSFBMXPSME UPJNQSPWF UIFCBMBODFCFUXFFOQSJWBDZQSPUFDUJPOBOEVUJMJUZPGEBUBVTF 4FDVSF"HH XJUI -PDBM3BOEPNJ[FS 4FDSFU4IBSJOH
IUUQTDPWJETUBUJDDEOBQQMFDPNBQQMJDBUJPOTDPWJEDVSSFOUTUBUJDDPOUBDU USBDJOHQEG&/1"@8IJUF@1BQFSQEG &YQPTVSFOPUJGJDBUJPOCZ"QQMFBOE(PPHMF UPIFMQQVCMJDIFBMUIBVUIPSJUJFTGJHIU$07*% -
-:$PSQPSBUJPO 0QFO$IBMMFOHFTJO%1'- • $VSTFPG%JNFOTJPOBMJUZ %1OPJTFUFOETUPCFMBSHFSXIFOUIFNPEFMTJ[FJODSFBTFT • 5SBOTQBSFODZ )PXDBOXFUSVTUUIFFYFDVUJPOPGSBOEPNJ[BUJPOBOEQSJWBDZBDDPVOUJOH •
5FTU7BMJEBUJPO )PXDBOXFUFTUBOEWBMJEBUFGFEFSBUFEMFBSOJOHQFSGPSNBODFJOB%1NBOOFS • 3PCVTUOFTTBHBJOTU%SPQPGGT )PXDBOXFNPEFMESPQPGGT %1HVBSBOUFFTCZTIVGGMJOHEFQFOETPOQPQVMBUJPO • 3PCVTUOFTTBHBJOTUBEWFSTBSJBMDMJFOUT CZ[BOUJOFGBJMVSF %VFUP%1NBLFTBMMJOEJWJEVBMSFQPSUTJOEJTUJOHVJTIBCMF JUJTIBSEUPEFUFDUBOZ BEWFSTBSJBMBUUBDLTGSPNBEWFSTBSJBMDMJFOUT -
-:$PSQPSBUJPO $PODMVTJPO • 5IJTUVUPSJBMQSPWJEFEZPVJOUSPEVDUJPOPGEJGGFSFOUJBMQSJWBDZBOEJUTEFQMPZNFOU POGFEFSBUFEMFBSOJOHJOUIFDSPTTEFWJDFTFUUJOH • 8FJOUSPEVDFETFWFSBM%1NPEFMTJO'- • $FOUSBMNPEFM
• -PDBMNPEFM • 4IVGGMFENPEFM • %JTUSJCVUFENPEFMXJUI4FDVSF"HH • -BTUQBSUNFOUJPOFEDIBMMFOHFTJO%1'-BOEMBUFTUBQQMJDBUJPOGPSGPVOEBUJPO NPEFMT • 'FEFSBUFEDPNQVUBUJPOLFFQHSPXJOHUPQSPWJEFVTFSTNBDIJOFMFBSOJOHCBTFE GFBUVSFTXJUIIJHIVUJMJUZVOEFSIJHIQSJWBDZTUBOEBSET