[SODA'18読み会資料] Juntaの性質検査について

SODA'18読み会： https://sites.google.com/view/soda2018reading

読む論文： https://arxiv.org/abs/1607.03938

Transcript

1. Tolerant Junta Testing and the Connection to Submodular Optimization and Function Isomorphism 南 賢太郎 東⼤ 情報理⼯ 数理4研 D2 2018/2/23@SODA’18 Reading Group 1
2. 読む論⽂ Eric Blais, Clément Canonne, Talya Eden, Amit Levi, and Dana Ron. “Tolerant Junta Testing and the Connection to Submodular Optimization and Function Isomorphism” 2
3. 読む論⽂ 1. 何の論⽂？ • 分野： 性質検査 (property testing) • 貢献： ブール関数がk-juntaかどうかの寛容検査のアルゴリズム 2. テクニック • サイズ制約劣モジュラ関数最⼩化に関する検査 • 発表の⽬標： 性質検査とどう関係があるか理解する 3. 応⽤ • 同型性の検査 (今回は紹介しない） 3 注： 発表者は素⼈
4. 発表の流れ 1. 背景 & 問題設定 • 性質検査とは？ Juntaとは？ • 既存研究： Juntaであることの検査 • 寛容検査 • 問題： Juntaであることの寛容検査 2. 主定理 3. Theorem 1.1のアイデア • (A) に依らないサイズの問題へのランダム帰着 • (B) 劣モジュラ関数最⼩化による検査 4
5. ブール関数の性質検査 : −1, 1 ( → {−1, 1} ブール関数 ⽬標： がある性質を満たすかどうかを少ないクエリで判定したい : 性質をもつ の全体 例： 線形関数，単項式，s項からなるDNF，-junta 5
6. ブール関数の性質検査 ∈ であるかどうか厳密に調べるのは難しいかもしれない à 「⾼確率で」「おおよそ」調べるアルゴリズムを考えてみる 6
7. ブール関数の性質検査 • 関数間に距離を導⼊する • また，関数と性質の近さを次で定義する • すると， ∈ は dist , = 0 と同値 7
8. ブール関数の性質検査 「 ∈ であるには程遠い」という概念を距離を使って定義する 定義： -far ∈ (0, 1) に対して dist , > であるとき，はから-farであるという 8
9. ブール関数の性質検査 9 ブール関数全体 -far
10. ブール関数の性質検査 定義： 性質検査アルゴリズム • ∈ (0, 1) とする • アルゴリズム が性質 の-testerであるとは， に対するクエリアクセスに基づいて {受理，棄却} を (ランダムに) 答えるアルゴリズムで，以下を満たすもの： 1. ∈ であるならば，確率 2/3 以上で受理 2. がから-farであるならば，確率 2/3 以上で棄却 10
11. ブール関数の性質検査 定義： 性質検査アルゴリズム • ∈ (0, 1) とする • アルゴリズム が性質 の-testerであるとは， に対するクエリアクセスに基づいて {受理，棄却} を (ランダムに) 答えるアルゴリズムで，以下を満たすもの： 1. ∈ であるならば，確率 2/3 以上で受理 2. がから-farであるならば，確率 2/3 以上で棄却 11 どちらでもない は存在 (0 < dist , ≤ ) à その場合は特に何も 要請しないのがポイント
12. Junta 定義： (Junta) : −1, 1 ( → {−1, 1} が -junta である >?@ B , … , ( の値が⾼々 個の引数にしか依存しない 語源（？） 12
13. Juntaであることの検査 Juntaの検査 要件 • が-juntaのとき⾼確率で受理 • が-juntaから-farのとき⾼確率で棄却 クエリ数 • 上界 (/ + log ) (Blais 2009) • 下界 Ω() (Chockler & Gutfreund 2004) 13 ʹ͸ඇґଘʂ
14. 寛容検査 (Tolerant testing) (1/3) 14 -juntas ブール関数全体 -juntaから-far である関数 à ⾼確率でリジェクトしてほしい ( + 1)-junta à 動作未定義 -junta à ⾼確率でアクセプトしてほしい
15. 寛容検査 (Tolerant testing) (2/3) 何が問題か • はとても⼤きく， ≪ とする • ( + 1)-juntaである関数を -juntaだと思うのは「おしい」(distが⼩さい) • おしい場合に対する挙動が未定義だと，おしい間違いに対する トレードオフについて理論的な⽰唆が得られない 15
16. 寛容検査 (Tolerant testing) (3/3) 16 -juntas ( + 1)-junta 定義 が に -close >?@ dist , ≤ 定義 (寛容検査) 1M. が に M-closeならば⾼確率で受理 2. が から-farならば⾼確率で棄却
17. 問題設定まとめ Juntaの検査 要件 • が-juntaのとき⾼確率で受理 • が-juntaから-farのとき⾼確率で棄却 クエリ数 • 上界 (/ + log ) (Blais 2009) • 下界 Ω() (Chockler & Gutfreund 2004) Juntaの寛容検査 要件 (B < N ) • が-juntaから -closeͷͱ͖⾼確率で受理 • が-juntaからN -farのとき⾼確率で棄却 クエリ数 • 上界 B = N として (exp(/N )) (Chakraborty+ 2012) 17
18. 問題設定まとめ Juntaの検査 要件 • が-juntaのとき⾼確率で受理 • が-juntaから-farのとき⾼確率で棄却 クエリ数 • 上界 (/ + log ) (Blais 2009) • 下界 Ω() (Chockler & Gutfreund 2004) Juntaの寛容検査 要件 (B < N ) • が-juntaから -closeͷͱ͖⾼確率で受理 • が-juntaからN -farのとき⾼確率で棄却 クエリ数 • 上界 B = N として (exp(/N )) (Chakraborty+ 2012) 18 問題意識： • について指数は必要？ • への依存性は？
19. 発表の流れ 1. 背景 & 問題設定 • 性質検査とは？ Juntaとは？ • 既存研究： Juntaであることの検査 • 寛容検査 • 問題： Juntaであることの寛容検査 2. 主定理 3. Theorem 1.1のアイデア • (A) に依らないサイズの問題へのランダム帰着 • (B) 劣モジュラ関数最⼩化による検査 19
20. Theorem 1.1 ∈ (0, 1), ≥ 1 とする． 関数 : −1, 1 ( → {−1, 1} へのクエリアクセスが与えられたもとで， 以下を満たすアルゴリズムが存在する： • が-juntaから/16-closeであれば，確率2/3で受理する • が4-juntaから-farであれば，確率2/3で棄却する クエリアクセスの回数は poly(, 1/) となる． 20
21. Theorem 1.1 ∈ (0, 1), ≥ 1 とする． 関数 : −1, 1 ( → {−1, 1} へのクエリアクセスが与えられたもとで， 以下を満たすアルゴリズムが存在する： • が-juntaから/16-closeであれば，確率2/3で受理する • が4-juntaから-farであれば，確率2/3で棄却する クエリアクセスの回数は poly(, 1/) となる． 21 注1: ではなく4 注2: Y(NZ/Z + N[)
22. Theorem 1.2 ∈ (0, 1), ≥ 1, ∈ (0, 1) とする． 関数 : −1, 1 ( → {−1, 1} へのクエリアクセスが与えられたもとで， 以下を満たすアルゴリズムが存在する： • が-juntaから/16-closeであれば，確率2/3で受理する • が-juntaから-farであれば，確率2/3で棄却する クエリアクセスの回数は \ ]^_ \ `a Bba c となる． 22
23. 主定理について わかったこと • 寛容検査でもクエリ数が の多項式オーダーのものが作れる • B = N のとき，のクエリ数への依存性は B a Bba c • ( ↓ 0 でも悪化するのは不思議…) 証明⽅針 • Theorem 1.2はTheorem 1.1とは異なる⽅法で証明される • 本スライドではTheorem 1.1 についてのみ紹介 （⻑いのでここで⼀旦終わり） 23
24. 発表の流れ 1. 背景 & 問題設定 • 性質検査とは？ Juntaとは？ • 既存研究： Juntaであることの検査 • 寛容検査 • 問題： Juntaであることの寛容検査 2. 主定理 3. Theorem 1.1のアイデア • (A) に依らないサイズの問題へのランダム帰着 • (B) 劣モジュラ関数最⼩化による検査 24
25. 記号： 部分割り当て • : −1, 1 ( → {−1, 1} • ⊆ , ∈ −1, 1 h, ∈ −1, 1 ( ∖h • ( ⊔ ) ⼊⼒の第成分に， ∈ ならば m ， ∉ ならば m を 割り当てたもの 25
26. 集合のinfluence 集合 以外への割り当て を固定して， ( ⊔∗) が れだけ変動しやすいか測ったものをinfluenceという ఆٛɿ Set-influence : −1, 1 ( → {−1, 1} に対して，集合 ⊆ [] のset-influenceを次で定義する ただし， ∼ Unif −1, 1 ( ∖h , , ∼ Unif −1, 1 h 26
27. 集合のinfluence Influenceの性質 (1) 1. ある ⊆ [] が存在して， ≤ かつ @ ∖ = 0 ⇔ は -junta 1. ある ⊆ [] が存在して， ≤ かつ @ ∖ ≤ ⇒ ある-junta が存在して dist , ≤ よって，このような がひとつでも⾒つかれば-juntaに-close 27
28. 集合のinfluence Influenceの性質 (2) • ⾮負性 @ ≥ 0 • 単調性 ⊆ ⇒ @ ≤ @ • 劣モジュラ性 @ + @ ≥ @ ∪ + @ ∩ • see e.g. Goldreich (2016) Lecture Notes on Testing Dictatorships, Juntas, and Monomials http://www.wisdom.weizmann.ac.il/~oded/PDF/pt-junta.pdf 28
29. 集合のinfluence まとめると，サイズ制約劣モジュラ関数最⼩化問題 の解が， • N より⼤きければ-junta から N -far, • B 以下であれば B -close 29
30. 集合のinfluence まとめると，サイズ制約劣モジュラ関数最⼩化問題 の解が， • N より⼤きければ-junta から N -far, • B 以下であれば B -close 30 問題点 (1) Influenceの厳密計算は 2( à 少ないクエリから 推定量を作る 問題点 (2) 制約のサイズが に依存 à もっと⼩さい問題に 帰着したい
31. Theorem 1.1の証明 ロードマップ (A) にしか依らないサイズの問題に帰着 • 変数をランダムに (N) 個のグループに分け， それぞれのグループへの 依存性を調べる (B) 劣モジュラ関数最⼩化 (SFM) についての検査 • サイズ制約SFM (hard) の最⼩値が閾値を超えるかどうかの検査アルゴリズムを， 制約なしSFM (多項式時間) によって作る 31
32. (A) サイズ (N) の問題へのランダム帰着 • [] をランダムに⾼々 ℓ 個のグループ B , … , ℓ に分割する 各 ∈ [] は確率 1/ℓ でグループ … ( ∈ ℓ ) に属するようにする • ⊆ [ℓ] に対して，ℎ() を次で定義 • ↦ ℎ() は劣モジュラ 32 変数をグループごとに まとめて ON / OFF
33. (A) サイズ (N) の問題へのランダム帰着 「粗いjunta」のような概念を考える (-part junta) 定義 1. が -approximate being -part juntaであるとは， = ℓ − である ⊆ [ℓ] が存在して ℎ() ≤ 2 が成り⽴つこと 2. が -violate being -part juntaであるとは， = ℓ − であるような 任意の ⊆ [ℓ] に対して ℎ > 2 が成り⽴つこと 33
34. (A) サイズ (N) の問題へのランダム帰着 Lemma 3.3 は -junta から -close であるとする．ℓ ≥ グループへの任意の分割 について， は -part juntaを 2-approximateする Lemma 3.2 (Blais 2012) が -junta から -far であれば，ℓ = 24N 個のグループへのランダムな 分割に関して，確率 5/6 以上で -part junta を /2 violateする 34
35. 補⾜： 指数時間アルゴリズム = ℓ − である集合を総当たりすれば， クエリが(exp((1 + (1) log )) / N) 回のアルゴリズムは作れる 作り⽅のイメージ • ⊆ [] に対して，独⽴に クエリ投げて平均をとることで， となる推定量 ‹ が作れる． ただし，Hoeffdingの不等式より = ℓ ]^_ ℓ `Œ ととれば⼗分 35
36. 補⾜： 指数時間アルゴリズム • の ℓ ℓ − 個の候補すべてについてこれを計算する Union boundより，確率 5/6 ですべての について /6 近似できている • ランダム分割がうまく取れる確率が 5/6 以上であるから， 全体としては確率 2/3 以上で (棄却 / 受理) を正しく⾏える • 総クエリ数は 36
37. (B) 劣モジュラ関数最⼩化 (SFM) による検査 次の問題の最⼩値が B 以下であれば⾼確率で受理， N より⼤きければ⾼確率で棄却できるような検査アルゴリズムを作りたい： 制約なしSFMは多項式時間で解ける サイズ下界制約SFMは難しいことが知られている (多項式時間で ( ℓ/ log ℓ) 近似解を構成できない (Svitkina & Fleischer 2011)) 37
38. サイズ制約SFMの最⼩値の検査 • 最⼩化を厳密に解かずに，最⼩値が与えられた閾値を超えるか否かだけ ⾼速に検査したい • アイデア： 左の制約あり問題の最⼩値を，右の制約なし問題の最⼩値で⾒積もる 38
39. サイズ制約SFMの最⼩値の検査 与えられていると仮定するもの 1. : 2 ℓ → ℝ の近似オラクル ‘ ±(, , ) • 任意の , ∈ (0, 1) と ⊆ [ℓ] に対して，確率 1 − 以上で − • ≤ となるような推定値 •() を出⼒する 2. 近似SFMアルゴリズム (ASFM) • 1. に繰り返しアクセスし，確率 1 − で − min˜ ≤ となる 最⼩値の推定値 を出⼒する 39
40. サイズ制約SFMの最⼩値の検査 与えられていると仮定するもの 1. : 2 ℓ → ℝ の近似オラクル ‘ ±(, , ) • 任意の , ∈ (0, 1) と ⊆ [ℓ] に対して，確率 1 − 以上で − • ≤ となるような推定値 •() を出⼒する 2. 近似SFMアルゴリズム (ASFM) • 1. に繰り返しアクセスし，確率 1 − で − min˜ ≤ となる 最⼩値の推定値 を出⼒する 40 Influenceのときは 作れる あとで作る
41. サイズ制約SFMの最⼩値の検査 Algorithm 1 Input: š ±(, , ): ℎの近似オラクル，ASFMアルゴリズム Output: {accept, reject} 1. ASFMで右の問題の最⼩値の推定値 を作る ( š› ± , , = š ± , , − ` \ || を使う) 2. ≤ 2 + ℓb\ \ ならばaccept. そうでなければreject. 41
42. サイズ制約SFMの最⼩値の検査 Theorem 4.1 (Algorithm1の妥当性) 1. もし ≥ ℓ − かつ ℎ ≤ である ⊆ [ℓ]が存在するならば Algorithm 1は確率 1 − 以上でacceptを出⼒する 2. もしすべての ⊆ [ℓ] s.t. ≥ ℓ − 4 に対して ℎ ≥ 4 が成り⽴つならば Algorithm 1は確率 1 − 以上でrejectを出⼒する • 証明は略 • 定数4は変更できるが⾒た⽬は複雑になる 42
43. 近似オラクルのもとでの制約なしSFM • 近似オラクルのもとでのSFMアルゴリズム (ASFM) を作りたい • “近似でない” オラクルが与えられているときは，多項式回の呼び出しで 最⼩化できるアルゴリズムが複数知られている（次スライド） à その中で近似オラクルに拡張できそうなものを使う 43
44. 著者 計算量 備考 （連続最適化？） 1. Grötschel, Lovász, Schrijver (1981, 1988) Y(•EO + ) 楕円体法 2. Cunningham (1985) (¡ log ⋅ EO) 3. Schrijver (2000) ([ ⋅ EO + £) 4. Iwata, Fleischer, Fujishige (2000) (• ⋅ EO log ) ( log ⋅ EO) 5. Iwata, Fleischer (2000) ( ⋅ EO + [) 6. Iwata (2003) ((Z ⋅ EO + •) log ) ((¡ ⋅ EO + ) log ) 7. Vygen (2003) ( ⋅ EO + [) 8. Orlin (2007) (• ⋅ EO + ¡) 9. Iwata, Orlin (2009) ( Z ⋅ EO + • log ) ( • ⋅ EO + ¡ log ) 10. Chakrabarty, Jain, Kothari (2014) ( •EO + N) ( の定義略 ) Fujishige—Wolfe 11. Lee, Sidford, Wong (2015) (N log ⋅ EO + ¥ log¦ B ) (¥ logN ⋅ EO + Z log¦ B ) 切除平⾯法 12. Chakrabarty, Lee, Sidford, Wong (2017) Y(¥ ⋅ EO) 勾配降下法 制約なしSFMのアルゴリズムたち : 2 ( → [−, ]
45. 著者 計算量 備考 （連続最適化？） 1. Grötschel, Lovász, Schrijver (1981, 1988) Y(•EO + ) 楕円体法 2. Cunningham (1985) (¡ log ⋅ EO) 3. Schrijver (2000) ([ ⋅ EO + £) 4. Iwata, Fleischer, Fujishige (2000) (• ⋅ EO log ) ( log ⋅ EO) 5. Iwata, Fleischer (2000) ( ⋅ EO + [) 6. Iwata (2003) ((Z ⋅ EO + •) log ) ((¡ ⋅ EO + ) log ) 7. Vygen (2003) ( ⋅ EO + [) 8. Orlin (2007) (• ⋅ EO + ¡) 9. Iwata, Orlin (2009) ( Z ⋅ EO + • log ) ( • ⋅ EO + ¡ log ) 10. Chakrabarty, Jain, Kothari (2014) ( •EO + N) ( の定義略 ) Fujishige—Wolfe 11. Lee, Sidford, Wong (2015) (N log ⋅ EO + ¥ log¦ B ) (¥ logN ⋅ EO + Z log¦ B ) 切除平⾯法 12. Chakrabarty, Lee, Sidford, Wong (2017) Y(¥ ⋅ EO) 勾配降下法 制約なしSFMのアルゴリズムたち : 2 ( → [−, ] Noisy separation oracleを 作ることができれば動く à 今回の⽤途に適する！
46. Lovász拡張 • ℎ: 2 ℓ → ℝ 劣モジュラ関数 • ℒš (): [0, 1]ℓ→ ℝ 凸関数 • 性質： à 最⼩値に興味があるならば，連続凸関数が最⼩化できればよい 46 B # ≥ N # ≥ ⋯ ≥ ℓ # と並び替える
47. 近似オラクル à 近似separation oracle 定義：Lee, et al. (2015) のseparation oracle Input: ℒ: 0, 1 ℓ → ℝ 凸関数， ∈ 0, 1 ℓ, , ≥ 0 Output: 1. ℒ ≤ min¬ ℒ + であるかどうか答える 2. そうでなければ，半空間 ≔ : ° ≤ ° + で， ∈ 0, 1 ℓ: ℒ ≤ ℒ ⊂ となるものを出⼒する． ただし， ∈ 0, 1 ℓ, ≠ 0 かつ ≤ N を満たす． 47
48. 近似オラクル à 近似separation oracle Lemma 5.3 (noisy separation oracle) • , ∈ (0, 1) separation oracleのパラメータ • ∈ (0, 1) 確率パラメータ • ≔ min /4ℓ, /2ℓ とおく š ±(⋅, M, ) の呼び出しにかかる時間を EO(M, ) とおく． このとき，計算時間が ℓ ⋅ EO / ℓ, + ℓ log ℓ のアルゴリズムで， 確率 1 − 以上でseparation oracleの定義を満たすものが作れる 48
49. 近似オラクル à 近似separation oracle 作り⽅ (Algorithm 2) 1. š ±(/ℓ, N/2) に ℓ 回アクセスして，関数値の推定量 を得る ( = 1, … , ℓ) 2. Lovasz拡張の推定量を作る 3. もしすべての = 1, … , ℓ について | •m | < であれば ℒš ≤ min ¬ ℒš + であると判定する． そうでなければ ≔ : •° ≤ ℒ ´ š + 2ℓ • N を出⼒する． 49
50. 近似separation oracle à SFM ノイズなし separation oracleがあるとき à 切除平⾯法 (Lee, et al. (2015)) Theorem (Lee, et al. (2015), Theorem 42) • 凸関数 ℒ: 0, 1 ℓ → ℝ のseparation oracleが与えられているとする • 与えられた ∈ (0, 1) と > 0 に対して， を満たす ∈ 0, 1 ℓ を出⼒するアルゴリズムで，実⾏時間の期待値が 次のものが存在 50
51. 近似separation oracle à SFM ノイズあり separation oracleがあるとき Theorem (Lee, et al. (2015), Theorem 42) • 凸関数 ℒ: 0, 1 ℓ → ℝ のseparation oracleが与えられているとする • 与えられた ∈ (0, 1) と > 0 に対して，確率 1 − 以上で を満たす ∈ 0, 1 ℓ を出⼒するアルゴリズムで，実⾏時間の期待値が 次のものが存在 51
52. 近似separation oracle à SFM ノイズあり separation oracleがあるとき Theorem (Lee, et al. (2015), Theorem 42) • 凸関数 ℒ: 0, 1 ℓ → ℝ のseparation oracleが与えられているとする • 与えられた ∈ (0, 1) と > 0 に対して，確率 1 − 以上で を満たす ∈ 0, 1 ℓ を出⼒するアルゴリズムで，実⾏時間の期待値が 次のものが存在 52 SO呼び出し回数だけ Union boundで保証する 「⾼確率で」に直せる (Markov不等式)
53. まとめ Torelant testing for -juntas ↓ Testing for -part juntas = Testing for cardinality constrained SFM ↓ Unconstrained ASFM ↓ poly , B ` algorithm 53 Random reduction to size (N) Algorithm 1 Cutting plane method
54. 参考⽂献 ࿦จ • Eric Blais, Clément Canonne, Talya Eden, Amit Levi, Dana Ron (2018). Tolerant Junta Testing and the Connection to Submodular Optimization and Function Isomorphism. In SODA 2018. • Eric Blais (2009). Testing juntas nearly optimally. In STOC 2009. • Yin Tat Lee, Aaron Sidford, Sam Chiu-wai Wong (2015). A Faster Cutting Plane Method and its Implications for Combinatorial and Convex Optimization. In FOCS 2015. ੑ࣭ݕࠪͷνϡʔτϦΞϧ • Dana Ron (2010). Algorithmic and analysis techniques in property testing. http://www.eng.tau.ac.il/~danar/Public-pdf/fnt-tcs.pdf 54