Intro Bregman divergence and submodular function Submodular Bregman Applications of submodular Bregman References 論文紹介：Submodular-Bregman and the Lovász-Bregman Divergences with Application Masanari Kimura 総研大 統計科学専攻 日野研究室 mkimura@ism.ac.jp

Intro Bregman divergence and submodular function Submodular Bregman Applications of submodular Bregman References Intro 2/19

Intro Bregman divergence and submodular function Submodular Bregman Applications of submodular Bregman References Introduction 3/19

Intro Bregman divergence and submodular function Submodular Bregman Applications of submodular Bregman References TL;DR ▶ 集合間のダイバージェンスのクラスである submodular-Bregman dovergences を定義; ▶ Iyer and Bilmes [2012] 4/19

Intro Bregman divergence and submodular function Submodular Bregman Applications of submodular Bregman References Notation ▶ ϕ：凸関数； ▶ f：劣モジュラ関数； ▶ ˆ f：f の Lovász 拡張； ▶ V = {1, . . . , |V|}：基数 n = |V| の ground set； ▶ 1X ∈ {0, 1}V：1X(j) = I(j ∈ X)； ▶ S：集合のドメイン． 5/19

Intro Bregman divergence and submodular function Submodular Bregman Applications of submodular Bregman References Bregman divergence and submodular function 6/19

Intro Bregman divergence and submodular function Submodular Bregman Applications of submodular Bregman References Bregman divergence Definition (Bregman divergence) 微分可能な凸関数 ϕ について， dϕ (x, y) = ϕ(x) − ϕ(y) − ⟨∇(y), x − y⟩. (1) Definition (Generalized Bregman divergence [Kiwiel, 1997]) 凸関数 ϕ について， dHϕ ϕ (x, y) = ϕ(x) − ϕ(y) − ⟨Hϕ (y), x − y⟩. (2) Hϕ (y) = hy ∈ ∂ϕ(y) は劣勾配写像． 7/19

Intro Bregman divergence and submodular function Submodular Bregman Applications of submodular Bregman References Submodular function Definition (Submodular function) ∀S, T ⊂ V について関数 f : 2V → R が f(S) + f(T) ≥ f(S ∪ T) + f(S ∩ T) (3) を満たす時，f は劣モジュラ関数であるという． ▶ 劣モジュラ性は離散のケースでの凸性と凹性に対応； ▶ Bregman divergence は凸関数を用いて定義される； ▶ 劣モジュラ性と凸性の関係性を考えることで集合間の Bregman divergence を定義で きそう． 8/19

Intro Bregman divergence and submodular function Submodular Bregman Applications of submodular Bregman References Submodular Bregman 9/19

Intro Bregman divergence and submodular function Submodular Bregman Applications of submodular Bregman References The Submodular Bregman ▶ Bregman divergence をパラメタライズする関数を劣モジュラ関数にしてあげる； ▶ 劣モジュラ関数はタイトな上界，下界を持つ； ▶ これらを用いて submodular Bregman を定義； 10/19

Intro Bregman divergence and submodular function Submodular Bregman Applications of submodular Bregman References Lower bound submodular Bregman 劣モジュラ関数 f と劣勾配写像 Hf(Y) = hy ∈ ∂f(Y) を用いて， dHf f (X, Y) = f(X) − f(Y) − ⟨Hf(Y), 1X − 1Y⟩ (4) と定義． 11/19

Intro Bregman divergence and submodular function Submodular Bregman Applications of submodular Bregman References The extreme points of ∂f(Y) ▶ 劣モジュラ関数に対応する劣微分は非有界 [Fujishige, 2005]； ▶ その極値であれば貪欲アルゴリズムで容易に計算できる [Edmonds, 2003]; ▶ そこで，Hf を ∂f(Y) の極値を選ぶように制限した dHf f のサブクラスを考える: ▶ dΣ f : Permutation based lower bound submodular Bregman. ▶ ∂f(Y) の極値は以下の貪欲アルゴリズムで与えられる： ▶ σ を V の permutation，Si = {σ(1), σ(2), . . . , σ(i)} とする． ▶ ΣY を S |Y| = Y となるような permutations σY の集合とする． ▶ この時，劣勾配 hY,σY （∂f(Y) の極値）は ∀σY ∈ ΣY, hY,σY (σY(i)) = { f(S1 ) if i = 1 f(Si) − f(Si−1 ) otherwise. (5) ▶ 上記で hY,σY (Y) = f(Y)． 12/19

Intro Bregman divergence and submodular function Submodular Bregman Applications of submodular Bregman References Permutation based lower bound submodular Bregman ある Σ(Y) = σY ∈ σY を選ぶと，submodular Bregman を以下で書き換えられる： dΣ f (X, Y) = f(X) − hY,σY (X) = f(X) − ⟨HΣ f (Y), 1X⟩. (6) こうして定義される dΣ f は dHf f の特殊系になる． 13/19

Intro Bregman divergence and submodular function Submodular Bregman Applications of submodular Bregman References The Lovász Bregman divergence ▶ Lovász 拡張：ベクトル y について，permutationσy を y[σy(1)] ≥ · · · ≥ y[σy(n)] とお き，Yk = {σy(1), . . . , σy(k)} とする．このとき Lovász 拡張は ˆ f(y) = ∑n k=1 y[σy(k)]f(σy(k) |Yk−1 ). ▶ Lovász Bregman divergence dHˆ f ˆ f は dHˆ f f = ˆ f(x) −ˆ f(y) − ⟨hy, x − y⟩. (7) 14/19

Intro Bregman divergence and submodular function Submodular Bregman Applications of submodular Bregman References Applications of submodular Bregman 15/19

Intro Bregman divergence and submodular function Submodular Bregman Applications of submodular Bregman References Applications 二つの応用を例示 ▶ proximal algorithms； ▶ 順序が重要な clustering． 16/19

Intro Bregman divergence and submodular function Submodular Bregman Applications of submodular Bregman References A proximal framework for the submodular Bregman ▶ Proximal algorithm：凸関数 ϕ について，更新則 xt+1 = arg maxx ϕ(x) + λdϕ (x) は大 域最適解に収束する． ▶ 同様のアイディアで，集合関数 F と submodular Bregman d，集合制約 S について以 下の更新則を考えることができる． ▶ このアルゴリズムは関数値の単調減少が保証される． 17/19

Intro Bregman divergence and submodular function Submodular Bregman Applications of submodular Bregman References Clustering framework with the Lovász Bregman ▶ ベクトルの集合が与えられたとき類似の順序を持つベクトルの部分集合へのクラス タリングを考える． ▶ 例：有権者の集合とそれに対応するランク付けされた選好が与えられたとき，ほとん ど同意が取れるような有権者の部分集合を探す． ▶ この問題を K-means clustering with Lovász Bregman で解く． 18/19

Intro Bregman divergence and submodular function Submodular Bregman Applications of submodular Bregman References References I Jack Edmonds. Submodular functions, matroids, and certain polyhedra. In Combinatorial Optimization―Eureka, You Shrink!, pages 11–26. Springer, 2003. Satoru Fujishige. Submodular functions and optimization. Elsevier, 2005. Rishabh Iyer and Jeff A Bilmes. Submodular-bregman and the lovász-bregman divergences with applications. Advances in Neural Information Processing Systems, 25, 2012. Krzysztof C Kiwiel. Free-steering relaxation methods for problems with strictly convex costs and linear constraints. Mathematics of Operations Research, 22(2):326–349, 1997. 19/19