clusters leave an imprint on the data that can be measured by (1) repeat observations of each cluster and (2) partial pooling among clusters Predictive perspective: Important source of cluster-level variation, regularize Causal perspective: Competing causes or unobserved confounds
confounds Advantage over “fixed effect” approach: Can include other cluster- level (time invariant) causes Fixed effects: Varying effects with variance fixed at infinity, no pooling Don’t panic: Make a generative model and draw the owl W G1 N2 N1 G2 X1 X2 War Nation Nation Geography Geography
5 6 7 Story Response 0 10 20 30 40 50 1 2 3 4 5 6 7 Participant Response Add clusters: More index variables, more population priors (previous lecture) Add features: More parameters, more dimensions in each population prior (this lecture) Cluster tanks stories individuals departments Features survival treatment effect average response admission rate, bias
¯ α A[i] + α A[i],T[i] + ¯ β B[i] + β B[i],T[i] mean for each actor actor offset for each treatment mean for each block block offset for each treatment
R A , S A ) for j ∈ 1..7 mean + Actor-treatment + Block-treatment prior for covarying actor-treatment effects a vector of 4 parameters for each actor j logit(p i ) = ¯ α A[i] + α A[i],T[i] + ¯ β B[i] + β B[i],T[i]
¯ α A[i] + α A[i],T[i] + ¯ β B[i] + β B[i],T[i] α j ∼ MVNormal([0,0,0,0], R A , S A ) β k ∼ MVNormal([0,0,0,0], R B , S B ) for j ∈ 1..7 for k ∈ 1..6 mean + Actor-treatment + Block-treatment prior for covarying actor-treatment effects a vector of 4 parameters for each actor j prior for covarying block-treatment effects a vector of 4 parameters for each block k
R A , S A ) β k ∼ MVNormal([0,0,0,0], R B , S B ) ¯ α j ∼ Normal(0,τ A ) S A,j , S B,j , τ A , τ B ∼ Exponential(1) R A , R B ∼ LKJcorr(4) for j ∈ 1..7 for k ∈ 1..6 for j ∈ 1..4 mean + Actor-treatment + Block-treatment prior for covarying actor-treatment effects a vector of 4 parameters for each actor j prior for covarying block-treatment effects a vector of 4 parameters for each block k each standard deviation gets same prior one standard deviation for each treatment correlation matrix prior logit(p i ) = ¯ α A[i] + α A[i],T[i] + ¯ β B[i] + β B[i],T[i] ¯ β k ∼ Normal(0,τ B ) priors for actor and treatment means
R A , S A ) β k ∼ MVNormal([0,0,0,0], R B , S B ) ¯ α j ∼ Normal(0,τ A ) S A,j , S B,j , τ A , τ B ∼ Exponential(1) R A , R B ∼ LKJcorr(4) for j ∈ 1..7 for k ∈ 1..6 for j ∈ 1..4 logit(p i ) = ¯ α A[i] + α A[i],T[i] + ¯ β B[i] + β B[i],T[i] ¯ β k ∼ Normal(0,τ B )
¯ α, σ A ) σ A , σ B ∼ Exponential(1) logit(p i ) = β T[i],B[i] + α A[i] β j,k ∼ Normal(0,σ B ) P i ∼ Bernoulli(p i ) logit(p i ) = ¯ α + (z α,A[i] )σ A + (z β,T[i],B[i] )σ B z α,j ∼ Normal(0,1) z β,j ∼ Normal(0,1) σ A , σ B ∼ Exponential(1) ¯ α ∼ Normal(0,1.5) ¯ α ∼ Normal(0,1.5) Centered Non-centered
¯ α, σ A ) σ A , σ B ∼ Exponential(1) logit(p i ) = β T[i],B[i] + α A[i] β j,k ∼ Normal(0,σ B ) P i ∼ Bernoulli(p i ) logit(p i ) = ¯ α + (z α,A[i] )σ A + (z β,T[i],B[i] )σ B z α,j ∼ Normal(0,1) z β,j ∼ Normal(0,1) σ A , σ B ∼ Exponential(1) ¯ α ∼ Normal(0,1.5) ¯ α ∼ Normal(0,1.5) Centered Non-centered
the priors? P i ∼ Bernoulli(p i ) α j ∼ MVNormal([0,0,0,0], R A , S A ) β k ∼ MVNormal([0,0,0,0], R B , S B ) ¯ α j ∼ Normal(0,τ A ) S A,j , S B,j , τ A , τ B ∼ Exponential(1) R A , R B ∼ LKJcorr(4) logit(p i ) = ¯ α A[i] + α A[i],T[i] + ¯ β B[i] + β B[i],T[i] ¯ β k ∼ Normal(0,τ B )
0 0 0 0 S A,2 0 0 0 0 S A,3 0 0 0 0 S A,4 L A Z T,A ⊺ diagonal matrix of standard deviations transpose! flips rows and columns a 7-by-4 matrix Cholesky factor of correlation matrix across treatments matrix of treatment- actor z-scores logit(p i ) = ¯ α A[i] + α A[i],T[i] + ¯ β B[i] + β B[i],T[i]
0 0 0 0 S A,3 0 0 0 0 S A,4 L A Z T,A ⊺ α = (diag(S A )L A Z T,A) ⊺ P i ∼ Bernoulli(p i ) logit(p i ) = ¯ α A[i] + α A[i],T[i] + ¯ β B[i] + β B[i],T[i] Cholesky factor of correlation matrix across treatments
DE RESOLUTION DES EflUA- TIONS NOR~IALES PROVENANT DE L'APPLICATION BE LA METHODE DES IVIOINDRES CARRIES A UN SYSTEME D'EQUATIONS LINP.AIRES EN NOI~IBRE INF~.RIEUR A CELUI DES INCONNUES. -- APPLICATION DE LA MP~- THODE A LA RF.SOLUTION D'UN Su DEFINI D'P.QUATIONS LINEAIRES. (Procdd~ du Commandant CnoLl~S~'~-.) Le Commandant d' krtillerie Cholesky, du Service g6ographi- que de l':krm6e, tu6 pendant la grande guerre, a imagin6, au cours de recherches sur la compensation des r6seaux g6od6si- ques, un proc6d6 tr~s ing,~nieux de r6solution des 6quations dites normales, obtenues par application de la m6thode des moindres carr6s '~ des 6quations lin6aires en hombre inf6rieur h celui des inconnues, lien a conclu une m6thode g6n6rale de r6solution des 6quations lin6aires. Nous suivrons, pour la d6monstration de cette m6thode, la progression m6me qui a ser~i au Commandant Cholesky pour l'imaginer. André-Louis Cholesky (1875–1918)
DE RESOLUTION DES EflUA- TIONS NOR~IALES PROVENANT DE L'APPLICATION BE LA METHODE DES IVIOINDRES CARRIES A UN SYSTEME D'EQUATIONS LINP.AIRES EN NOI~IBRE INF~.RIEUR A CELUI DES INCONNUES. -- APPLICATION DE LA MP~- THODE A LA RF.SOLUTION D'UN Su DEFINI D'P.QUATIONS LINEAIRES. (Procdd~ du Commandant CnoLl~S~'~-.) Le Commandant d' krtillerie Cholesky, du Service g6ographi- que de l':krm6e, tu6 pendant la grande guerre, a imagin6, au cours de recherches sur la compensation des r6seaux g6od6si- ques, un proc6d6 tr~s ing,~nieux de r6solution des 6quations dites normales, obtenues par application de la m6thode des moindres carr6s '~ des 6quations lin6aires en hombre inf6rieur h celui des inconnues, lien a conclu une m6thode g6n6rale de r6solution des 6quations lin6aires. Nous suivrons, pour la d6monstration de cette m6thode, la progression m6me qui a ser~i au Commandant Cholesky pour l'imaginer. NOTE SUR UNE IVIETHODE DE RESOLUTION DES EflUA- TIONS NOR~IALES PROVENANT DE L'APPLICATION BE LA METHODE DES IVIOINDRES CARRIES A UN SYSTEME D'EQUATIONS LINP.AIRES EN NOI~IBRE INF~.RIEUR A CELUI DES INCONNUES. -- APPLICATION DE LA MP~- THODE A LA RF.SOLUTION D'UN Su DEFINI D'P.QUATIONS LINEAIRES. (Procdd~ du Commandant CnoLl~S~'~-.) Le Commandant d' krtillerie Cholesky, du Service g6ographi- que de l':krm6e, tu6 pendant la grande guerre, a imagin6, au cours de recherches sur la compensation des r6seaux g6od6si- ques, un proc6d6 tr~s ing,~nieux de r6solution des 6quations dites normales, obtenues par application de la m6thode des moindres carr6s '~ des 6quations lin6aires en hombre inf6rieur h celui des inconnues, lien a conclu une m6thode g6n6rale de r6solution des 6quations lin6aires. André-Louis Cholesky (1875–1918)
DE RESOLUTION DES EflUA- TIONS NOR~IALES PROVENANT DE L'APPLICATION BE LA METHODE DES IVIOINDRES CARRIES A UN SYSTEME D'EQUATIONS LINP.AIRES EN NOI~IBRE INF~.RIEUR A CELUI DES INCONNUES. -- APPLICATION DE LA MP~- THODE A LA RF.SOLUTION D'UN Su DEFINI D'P.QUATIONS LINEAIRES. (Procdd~ du Commandant CnoLl~S~'~-.) Le Commandant d' krtillerie Cholesky, du Service g6ographi- que de l':krm6e, tu6 pendant la grande guerre, a imagin6, au cours de recherches sur la compensation des r6seaux g6od6si- ques, un proc6d6 tr~s ing,~nieux de r6solution des 6quations dites normales, obtenues par application de la m6thode des moindres carr6s '~ des 6quations lin6aires en hombre inf6rieur h celui des inconnues, lien a conclu une m6thode g6n6rale de r6solution des 6quations lin6aires. Nous suivrons, pour la d6monstration de cette m6thode, la progression m6me qui a ser~i au Commandant Cholesky pour l'imaginer. NOTE SUR UNE IVIETHODE DE RESOLUTION DES EflUA- TIONS NOR~IALES PROVENANT DE L'APPLICATION BE LA METHODE DES IVIOINDRES CARRIES A UN SYSTEME D'EQUATIONS LINP.AIRES EN NOI~IBRE INF~.RIEUR A CELUI DES INCONNUES. -- APPLICATION DE LA MP~- THODE A LA RF.SOLUTION D'UN Su DEFINI D'P.QUATIONS LINEAIRES. (Procdd~ du Commandant CnoLl~S~'~-.) Le Commandant d' krtillerie Cholesky, du Service g6ographi- que de l':krm6e, tu6 pendant la grande guerre, a imagin6, au cours de recherches sur la compensation des r6seaux g6od6si- ques, un proc6d6 tr~s ing,~nieux de r6solution des 6quations dites normales, obtenues par application de la m6thode des moindres carr6s '~ des 6quations lin6aires en hombre inf6rieur h celui des inconnues, lien a conclu une m6thode g6n6rale de r6solution des 6quations lin6aires. André-Louis Cholesky (1875–1918) The artillery commander Cholesky, of the Geographical Service of the army, killed during the Great War, imagined, during research on the compensation of the geodesic networks, a very ingenious process of solving the equations known as normal, obtained by application of the method of least squares to linear equations in lower number than that of the unknowns.
sigma1 <- 2 sigma2 <- 0.5 rho <- 0.6 # independent z-scores z1 <- rnorm( N ) z2 <- rnorm( N ) # use Cholesky to blend in correlation a1 <- z1 * sigma1 a2 <- ( rho*z1 + sqrt( 1-rho^2 )*z2 )*sigma2 que de l':krm6e, tu6 pendant la grande guerre, a imagin6, au cours de recherches sur la compensation des r6seaux g6od6si- ques, un proc6d6 tr~s ing,~nieux de r6solution des 6quations dites normales, obtenues par application de la m6thode des moindres carr6s '~ des 6quations lin6aires en hombre inf6rieur h celui des inconnues, lien a conclu une m6thode g6n6rale de r6solution des 6quations lin6aires. Nous suivrons, pour la d6monstration de cette m6thode, la progression m6me qui a ser~i au Commandant Cholesky pour l'imaginer. x. De l'~krtillerie coloniale, ancien officier g6od6sien au Service g~ographique de l'Xrm@ et au Service g6ographique de l'Indo-Chine, Membre du Comit6 national franc ais de Gdoddsie et G6oph3-sique. 2. Sur le Commandant Cholesky, tu6 h l'ennemi le 3~ ao6t I9~8, voir la notice biographique insdr6e dans le volume du B~dlelin g~o- d~sique de x922 intitul6 : Unior~ 9~od~siq~le et ggophysique inlernalio- hale, Premibre Assemblde 9~n~rale, Rome, mai 1929, Seclion de G~o- dgsie, Toulouse, Privat, I9~, in-8 ~ 2~I p., pp. x59 ~ x6i. 5
sigma1 <- 2 sigma2 <- 0.5 rho <- 0.6 # independent z-scores z1 <- rnorm( N ) z2 <- rnorm( N ) # use Cholesky to blend in correlation a1 <- z1 * sigma1 a2 <- ( rho*z1 + sqrt( 1-rho^2 )*z2 )*sigma2 que de l':krm6e, tu6 pendant la grande guerre, a imagin6, au cours de recherches sur la compensation des r6seaux g6od6si- ques, un proc6d6 tr~s ing,~nieux de r6solution des 6quations dites normales, obtenues par application de la m6thode des moindres carr6s '~ des 6quations lin6aires en hombre inf6rieur h celui des inconnues, lien a conclu une m6thode g6n6rale de r6solution des 6quations lin6aires. Nous suivrons, pour la d6monstration de cette m6thode, la progression m6me qui a ser~i au Commandant Cholesky pour l'imaginer. x. De l'~krtillerie coloniale, ancien officier g6od6sien au Service g~ographique de l'Xrm@ et au Service g6ographique de l'Indo-Chine, Membre du Comit6 national franc ais de Gdoddsie et G6oph3-sique. 2. Sur le Commandant Cholesky, tu6 h l'ennemi le 3~ ao6t I9~8, voir la notice biographique insdr6e dans le volume du B~dlelin g~o- d~sique de x922 intitul6 : Unior~ 9~od~siq~le et ggophysique inlernalio- hale, Premibre Assemblde 9~n~rale, Rome, mai 1929, Seclion de G~o- dgsie, Toulouse, Privat, I9~, in-8 ~ 2~I p., pp. x59 ~ x6i. 5
sigma1 <- 2 sigma2 <- 0.5 rho <- 0.6 # independent z-scores z1 <- rnorm( N ) z2 <- rnorm( N ) # use Cholesky to blend in correlation a1 <- z1 * sigma1 a2 <- ( rho*z1 + sqrt( 1-rho^2 )*z2 )*sigma2 > cor(z1,z2) [1] -0.0005542644 > cor(a1,a2) [1] 0.5999334 > sd(a1) [1] 1.997036 > sd(a2) [1] 0.4989456 que de l':krm6e, tu6 pendant la grande guerre, a imagin6, au cours de recherches sur la compensation des r6seaux g6od6si- ques, un proc6d6 tr~s ing,~nieux de r6solution des 6quations dites normales, obtenues par application de la m6thode des moindres carr6s '~ des 6quations lin6aires en hombre inf6rieur h celui des inconnues, lien a conclu une m6thode g6n6rale de r6solution des 6quations lin6aires. Nous suivrons, pour la d6monstration de cette m6thode, la progression m6me qui a ser~i au Commandant Cholesky pour l'imaginer. x. De l'~krtillerie coloniale, ancien officier g6od6sien au Service g~ographique de l'Xrm@ et au Service g6ographique de l'Indo-Chine, Membre du Comit6 national franc ais de Gdoddsie et G6oph3-sique. 2. Sur le Commandant Cholesky, tu6 h l'ennemi le 3~ ao6t I9~8, voir la notice biographique insdr6e dans le volume du B~dlelin g~o- d~sique de x922 intitul6 : Unior~ 9~od~siq~le et ggophysique inlernalio- hale, Premibre Assemblde 9~n~rale, Rome, mai 1929, Seclion de G~o- dgsie, Toulouse, Privat, I9~, in-8 ~ 2~I p., pp. x59 ~ x6i. 5 α = (diag(S A )L A Z T,A) ⊺
Block-treatment Z T,A ∼ Normal(0,1) Z T,B ∼ Normal(0,1) α = (diag(S A )L A Z T,A) ⊺ β = (diag(S B )L B Z T,B) ⊺ compute alpha from non-centered pieces compute beta from non-centered pieces matrix of treatment-actor z-scores matrix of treatment-block z-scores logit(p i ) = ¯ α A[i] + α A[i],T[i] + ¯ β B[i] + β B[i],T[i]
z¯ B,k ∼ Normal(0,1) mean + Actor-treatment + Block-treatment Z T,A ∼ Normal(0,1) Z T,B ∼ Normal(0,1) α = (diag(S A )L A Z T,A) ⊺ β = (diag(S B )L B Z T,B) ⊺ compute alpha from non-centered pieces compute beta from non-centered pieces matrix of treatment-actor z-scores matrix of treatment-block z-scores logit(p i ) = ¯ α A[i] + α A[i],T[i] + ¯ β B[i] + β B[i],T[i] ¯ α = z ¯ A τ A , ¯ β = z¯ B τ B mean actor and block z-scores compute mean effects
z¯ B,k ∼ Normal(0,1) R A , R B ∼ LKJcorr(4) mean + Actor-treatment + Block-treatment Z T,A ∼ Normal(0,1) Z T,B ∼ Normal(0,1) α = (diag(S A )L A Z T,A) ⊺ β = (diag(S B )L B Z T,B) ⊺ compute alpha from non-centered pieces compute beta from non-centered pieces matrix of treatment-actor z-scores matrix of treatment-block z-scores each standard deviation gets same prior correlation matrix prior logit(p i ) = ¯ α A[i] + α A[i],T[i] + ¯ β B[i] + β B[i],T[i] S A,j , S B,j , τ A , τ B ∼ Exponential(1) ¯ α = z ¯ A τ A , ¯ β = z¯ B τ B mean actor and block z-scores compute mean effects
1 2 3 4 5 6 7 0.0 0.2 0.4 0.6 0.8 1.0 block-treatment probability pull left 1 2 3 4 5 6 0 1 2 3 4 5 0.0 1.0 2.0 standard dev among actors Density actor means by treatment 0 1 2 3 4 5 0.0 1.0 2.0 3.0 standard dev among blocks Density block means by treatment
pooling across features (2) exploit correlations for prediction & causal inference Varying effects can be correlated even if the prior doesn’t learn the correlations! Ethical obligation to do our best