テスト駆動開発から証明駆動開発へ #JTF2019 / July Tech Festa 2019

Slide 1

Slide 1 text

#JTF2019 #JTF2019_A Proof. #JTF2019 #JTF2019_A テスト駆動開発から証明駆動開発へチェシャ猫 (@y_taka_23) July Tech Festa 2019 (2019/12/08)

Slide 2

Slide 2 text

#JTF2019 #JTF2019_A 本日のアジェンダ ● 分散システムとテスト ● プログラムと証明の間には ● 定理証明と数学的帰納法 ● 分散システムの証明

Slide 3

Slide 3 text

#JTF2019 #JTF2019_A 分散システムとテスト Lemma 1.

Slide 4

Slide 4 text

#JTF2019 #JTF2019_A Kubernetes https://github.com/kubernetes/kubernetes

Slide 5

Slide 5 text

#JTF2019 #JTF2019_A etcd https://github.com/etcd-io/etcd

Slide 6

Slide 6 text

#JTF2019 #JTF2019_A CloudNative の立役者 etcd ● Kubernetes のバックエンド KVS ○ システム全体の Source of Truth ○ 壊れると Kubernetes が動作不能に ● 分散合意アルゴリズム Raft を利用 ○ クラスタの過半数が生存していれば大丈夫 ○ Paxos と比較して理解可能性を重視

Slide 7

Slide 7 text

#JTF2019 #JTF2019_A 枯れたクラスタリング技術？

Slide 8

Slide 8 text

#JTF2019 #JTF2019_A etcd v3.4 (2019/08) での修正点 ● 新ノードの Join 時に問題が発生 ○ データコピーの際、Leader が高負荷で死ぬ ○ 起動失敗の場合でもメンバとして認識してしまう ○ 1-Node クラスタへの Join に失敗すると即崩壊 ● 新しい状態 Learner の導入 ○ Join 直後は「過半数」にカウントされない

Slide 9

Slide 9 text

#JTF2019 #JTF2019_A 意外と問題があったりする

Slide 10

Slide 10 text

#JTF2019 #JTF2019_A 考えるべき事象が多すぎる ● 通信パケットが入れ替わったら？ ● 通信パケットが重複して送信されたら？ ● 通信パケットが欠落したら？ ● 変なタイミングでノードが死んだら？ ● 実は生きていて通信が遅れて届いたら？

Slide 11

Slide 11 text

#JTF2019 #JTF2019_A 分散システムの検証困難性 ● 各ノードが非同期に動作する ○ 考えるべきパターンが多すぎる ● ノードやネットワークは信頼できない ○ 独立にランダムなタイミングで故障が発生 ● 仕様そのものが複雑になりがち ○ 特定の瞬間ではなく一連の動作が問題に

Slide 12

Slide 12 text

#JTF2019 #JTF2019_A これテスト書くの辛くない？

Slide 13

Slide 13 text

#JTF2019 #JTF2019_A 古典的なテストは「未知」に弱い ● 人間がテストケースを与える ○ 明示した有限個のケースしか保証できない ○ 思いつかない異常系はそもそも考慮外 ● 再現性がある問題しか扱えない ○ 「たまに落ちるテスト」はあまり役に立たない ○ 特にタイミングに依存する問題は難しい

Slide 14

Slide 14 text

#JTF2019 #JTF2019_A 「未知」に対するふたつのアプローチ

Slide 15

Slide 15 text

#JTF2019 #JTF2019_A 1. 未知に素早く反応する

Slide 16

Slide 16 text

#JTF2019 #JTF2019_A Chaos Engineering ● 運用環境であえて障害を発生させる ○ サービス不能状態に陥らないか ○ 障害状態から正しく復旧できるか ● 隠れていた問題点を炙り出せる ○ 意図して発生させることが難しいバグを発見 ○ いわば「未知に素早く反応する」アプローチ

Slide 17

Slide 17 text

#JTF2019 #JTF2019_A Section 1 のポイント ● 流行りの分散システムは留意点が多い ○ タイミング・組み合わせ・ランダム性 ● 古典的なテストの限界 ○ 既知の問題から外れたケースの保証は苦手 ● 未知の事象にどう対処するか ○ Chaos Engineering は「未知に素早く反応」する

Slide 18

Slide 18 text

#JTF2019 #JTF2019_A 2. 未知を既知にする

Slide 19

Slide 19 text

#JTF2019 #JTF2019_A #JTF2019 #JTF2019_A 形式手法 Formal Methods

Slide 20

Slide 20 text

#JTF2019 #JTF2019_A プログラムと証明の間には Lemma 2.

Slide 21

Slide 21 text

#JTF2019 #JTF2019_A 形式手法とは ● システムを数学的対象により表現 ○ その対象の性質に基づいて検証を行う ○ 対象として何を選ぶかでツールの性質が決まる ○ テストケースの抜けや漏れが生じない ● 厳密化した仕様を機械的にチェック ○ いわば「既知の範囲を押し拡げる」アプローチ

Slide 22

Slide 22 text

#JTF2019 #JTF2019_A 形式手法の分類 ● モデル検査 ○ システムが取りうる値を列挙して探索 ○ 有限個のパターンに収まれば自動化できる ● 定理証明（今日のテーマ） ○ いわゆる数学的な証明をプログラム的に表現 ○ 真に無限個のパターンを扱うことができる

Slide 23

Slide 23 text

#JTF2019 #JTF2019_A 型、付けてますか？

Slide 24

Slide 24 text

#JTF2019 #JTF2019_A 静的型による安全性 ● 型は値の不変条件を表す ○ 実行中に int 型が string 型に変わったりしない ○ 指定した関数・メソッドの存在を保証 ● 型システムは言語によって色々 ○ 豊かな型システムは複雑な条件を強制できる ○ 多くの場合、数学的な定式化が与えられている

Slide 25

Slide 25 text

#JTF2019 #JTF2019_A 直積型 ● ふたつの型をペアにする ○ 長さが型レベルで固定されている ○ 異なる種類の型の値をまとめられる # let pi = ("pi", 3.14);; val pi : string * float = ("pi", 3.14) # let pi2 = ["pi", 3.14];; #=> Type Error

Slide 26

Slide 26 text

#JTF2019 #JTF2019_A 直和型 ● ふたつの型のどちらか片方を持つ ○ パターンマッチでもれなく場合分けできる type result = | Success of int | Error of string fun handle r = match r with | Success val -> do_something val | Error msg -> show_message msg

Slide 27

Slide 27 text

#JTF2019 #JTF2019_A 関数型 ● 関数にも値と同じ扱いで型が付く ○ 型を引数にとる高階関数も型で守られる ○ あらかじめ最初の引数のみ与えたりもできる # let plus x y = x + y;; val plus : int -> int -> int = # let answer = plus 42;; val answer : int -> int =

Slide 28

Slide 28 text

#JTF2019 #JTF2019_A プログラムの世界 ● P 型と Q 型の直積型 ○ P 型と Q 型の両方の値が手に入る ● P 型と Q 型の直和型 ○ P 型か Q 型の値の少なくとも片方は手に入る ● P 型から Q 型への関数型 ○ P 型の値を受け取って Q 型の値を作り出す

Slide 29

Slide 29 text

#JTF2019 #JTF2019_A 本日のテーマは定理証明

Slide 30

Slide 30 text

#JTF2019 #JTF2019_A 証明の世界 ● P かつ Q ○ P と Q の両方の証明が手に入る ● P または Q ○ P か Q の証明の少なくとも片方は手に入る ● P ならば Q ○ P の証明を受け取って Q の証明が作り出す

Slide 31

Slide 31 text

#JTF2019 #JTF2019_A プログラムの世界（再掲） ● P 型と Q 型の直積型 ○ P 型と Q 型の両方の値が手に入る ● P 型と Q 型の直和型 ○ P 型か Q 型の値の少なくとも片方は手に入る ● P 型から Q 型への関数型 ○ P 型の値を受け取って Q 型の値を作り出す

Slide 32

Slide 32 text

#JTF2019 #JTF2019_A こいつら何か似てる！

Slide 33

Slide 33 text

#JTF2019 #JTF2019_A Curry-Howard 同型対応証明の世界プログラムの世界命題型命題 P の証明 P 型の値を得るプログラム P かつ Q P と Q の直積型 P または Q P と Q の直和型 P ならば Q P から Q への関数型

Slide 34

Slide 34 text

#JTF2019 #JTF2019_A もうちょっと実例が欲しい

Slide 35

Slide 35 text

#JTF2019 #JTF2019_A 例：三段論法 ● 証明の世界 ○ 前提：ソクラテスならば人間、人間ならば死ぬ、 ○ 帰結：ソクラテスならば死ぬ ● プログラムの世界 ○ 実装済み：f : double -> int、g : int -> string ○ 関数合成：x => g (f x) : double -> string

Slide 36

Slide 36 text

#JTF2019 #JTF2019_A 例：Modus Ponens ● 証明の世界 ○ 前提：P ならば Q である、P は成り立つ ○ 帰結：Q は成り立つ ● プログラムの世界 ○ 実装済み：f : int -> string、x : int ○ 関数適用：f x : string

Slide 37

Slide 37 text

#JTF2019 #JTF2019_A Section 2 のポイント ● 形式手法とは ○ システムを数学的な対象にマッピング ○ 大きく分けてモデル検査と定理証明がある ○ 静的型付き言語も広い意味で形式手法 ● 命題とプログラムの型とが対応する ○ 証明をプログラムにエンコードして扱える

Slide 38

Slide 38 text

#JTF2019 #JTF2019_A 定理証明と数学的帰納法 Lemma 3.

Slide 39

Slide 39 text

#JTF2019 #JTF2019_A 証明、大学受験以来なんだけど

Slide 40

Slide 40 text

#JTF2019 #JTF2019_A 例：0 から n までの和の公式

Slide 41

Slide 41 text

#JTF2019 #JTF2019_A 数学的帰納法 ● 証明を 2 ステップに分割 ○ 出発点となるケースについて成立を示す ○ 任意の場所の「一歩手前」まで成立したと仮定 ○ その仮定の下で「一歩先」での成立を示す ● 無限性のある主張が証明できる ○ 直接計算で「全ての自然数 n について」は不可能

Slide 42

Slide 42 text

#JTF2019 #JTF2019_A n = 0 の場合

Slide 43

Slide 43 text

#JTF2019 #JTF2019_A n = 0 の場合直接計算で成り立つ

Slide 44

Slide 44 text

#JTF2019 #JTF2019_A n = n’ + 1 の場合仮定：結論：

Slide 45

Slide 45 text

#JTF2019 #JTF2019_A n = n’ + 1 の場合仮定：結論：仮定を利用

Slide 46

Slide 46 text

#JTF2019 #JTF2019_A n = n’ + 1 の場合仮定：結論：等式変形

Slide 47

Slide 47 text

#JTF2019 #JTF2019_A n’ に対する命題の証明から n’ + 1 に対する命題の証明を構成

Slide 48

Slide 48 text

#JTF2019 #JTF2019_A n’ に対するプログラムから n’ + 1 に対するプログラムを構成

Slide 49

Slide 49 text

#JTF2019 #JTF2019_A Curry-Howard 同型対応ふたたび証明の世界プログラムの世界命題型命題 P の証明 P 型の値を得るプログラム P かつ Q P と Q の直積型 P または Q P と Q の直和型 P ならば Q P から Q への関数型数学的帰納法再帰関数

Slide 50

Slide 50 text

#JTF2019 #JTF2019_A Coq https://github.com/coq/coq

Slide 51

Slide 51 text

#JTF2019 #JTF2019_A

Slide 52

Slide 52 text

#JTF2019 #JTF2019_A Coq で和を計算する関数 Inductive nat : Type := | O : nat | S : nat -> nat. Fixpoint sum_upto (n : nat) : nat := match n with | O => 0 | S n’ => n + sum_upto n’ end. Compute (sum_upto 100). (* 5050 *)

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

#JTF2019 #JTF2019_A Coq で証明すべき定理 Theorem sum_formula : forall n : nat, 2 * (sum_upto n) = n * S n. Proof. intro n. induction [| n’ H_n’ ] - (* n = 0 の場合の証明 *) ... - (* n = S n’ の場合の証明 *) ... Qed.

Slide 56

Slide 56 text

Slide 57

Slide 57 text

#JTF2019 #JTF2019_A 実際に証明して見せてよ？

Slide 58

Slide 58 text

#JTF2019 #JTF2019_A （ライブ・プルービング）

Slide 59

Slide 59 text

#JTF2019 #JTF2019_A Program Extraction ● Coq 単体では I/O などが記述できない ○ 関数の性質を証明しても実装に組み込めない ● 通常の言語のコードに変換できる ○ 重要な関数のみ証明し、変換して使用する ○ デフォルトでは OCaml、Haskell、Scheme ○ プラグインで拡張することも可能

Slide 60

Slide 60 text

#JTF2019 #JTF2019_A Section 3 のポイント ● 数学的帰納法の利用 ○ プログラム的には再帰関数として実現できる ● Coq による対話的証明 ○ 書き換えによりゴールを引き寄せて進む ● Extraction によるコード生成 ○ 重要な関数を証明してプロダクトに埋め込む

Slide 61

Slide 61 text

#JTF2019 #JTF2019_A 分散システムの証明 Lemma 4.

Slide 62

Slide 62 text

#JTF2019 #JTF2019_A 数学っぽいのじゃなくて「プログラムの証明」が知りたい

Slide 63

Slide 63 text

#JTF2019 #JTF2019_A 例：分散ロックサーバ ● サーバとエージェントが存在 ○ エージェントは LockMsg / UnlockMsg を要求 ○ サーバは LockMsg を先着順で処理 ○ ロックを与える場合は GrantMsg を送信 ● 二重ロックを防ぎたい ○ 非同期リクエストでも正しく処理できるか？

Slide 64

Slide 64 text

#JTF2019 #JTF2019_A Server Agent (A1) Other Process Agent (A2) Other Process Client Client

Slide 65

Slide 65 text

#JTF2019 #JTF2019_A Server Agent (A1) Other Process Agent (A2) Other Process Client Client Lock LockMsg

Slide 66

Slide 66 text

#JTF2019 #JTF2019_A Server Agent (A1) Other Process Agent (A2) Other Process Client Client LockMsg Lock

Slide 67

Slide 67 text

#JTF2019 #JTF2019_A Server Agent (A1) Other Process Agent (A2) Other Process Client Client GrantMsg Grant

Slide 68

Slide 68 text

#JTF2019 #JTF2019_A Server Agent (A1) Other Process Agent (A2) Other Process Client Client Unlock UnlockMsg

Slide 69

Slide 69 text

#JTF2019 #JTF2019_A Server Agent (A1) Other Process Agent (A2) Other Process Client Client GrantMsg Grant

Slide 70

Slide 70 text

#JTF2019 #JTF2019_A これゼロから書くの辛くない？

Slide 71

Slide 71 text

#JTF2019 #JTF2019_A Verdi https://github.com/uwplse/verdi

Slide 72

Slide 72 text

#JTF2019 #JTF2019_A 証明フレームワーク Verdi ● Coq 用のフレームワーク ○ 分散システムを体系的に証明できる ○ Extraction してランタイムに組み込み可能 ● ユーザが定義するシステムの動作 ○ ノード、外部入出力、内部メッセージ ○ 外部入力、内部メッセージに対するハンドラ

Slide 73

Slide 73 text

#JTF2019 #JTF2019_A Server Agent (A1) Other Process Agent (A2) Other Process Client Client 外部入出力内部メッセージ

Slide 74

Slide 74 text

#JTF2019 #JTF2019_A 外部入力ハンドラ（エージェント） HandleInp (n: Name) (s: State n) (inp: Inp) := match n with | Server => nop | Agent n => match inp with | Lock => send (Server, LockMsg) | Unlock => if s == true then ( s := false;; send (Server, UnlockMsg))

Slide 75

Slide 75 text

Slide 76

Slide 76 text

Slide 77

Slide 77 text

#JTF2019 #JTF2019_A メッセージハンドラ（サーバ） HandleMsg (n: Name) (s: State n) (src: Name)(msg: Msg) := match n with | Server => nop match msg with | LockMsg => if s == [] then send (src, GrantMsg);; s := s ++ [src] | UnlockMsg => s := tail s;; if s != [] then send (head s, GrantMsg)

Slide 78

Slide 78 text

Slide 79

Slide 79 text

#JTF2019 #JTF2019_A メッセージハンドラ（エージェント） HandleMsg (n: Name) (s: State n) (src: Name)(msg: Msg) := match n with | Agent n => match msg with | GrantMsg => s := true;; output Grant

Slide 80

Slide 80 text

#JTF2019 #JTF2019_A メッセージハンドラ（エージェント） HandleMsg (n: Name) (s: State n) (src: Name)(msg: Msg) := match n with | Agent n => match msg with | GrantMsg => s := true;; output Grant サーバから返事が来たら自分の持つフラグを立てて外部システムに Grant 通知

Slide 81

Slide 81 text

#JTF2019 #JTF2019_A ノードの動作はわかった。証明は？

Slide 82

Slide 82 text

#JTF2019 #JTF2019_A Verdi によるシステムの定式化 ● 三つ組 (Σ, P, T) で「世界」を定義 ○ Σ : 各ノードが持つ内部状態 ○ P : 通信路の途中にいるパケットの多重集合 ○ T : 外部入出力イベントの列（トレース） ● 世界間の到達可能関係を考える ○ システムの挙動はグラフ構造として表される

Slide 83

Slide 83 text

#JTF2019 #JTF2019_A Σ = { Server : [], A1: false, A2: false } P = { (A1, LockMsg), (A2, LockMsg)} T = [ , ] Σ = { Server : [], A1: false, A2: false } P = { (A1, LockMsg) } T = [ ] Σ = { Server : [], A1: false, A2: false } P = {} T = []

Slide 84

Slide 84 text

Slide 85

Slide 85 text

Slide 86

Slide 86 text

#JTF2019 #JTF2019_A Σ = { Server : [A1, A2], A1: false, A2: false } P = {} T = [ , , ] Σ = { Server : [A1], A1: true, A2: false } P = { (A2, LockMsg) } T = [ , , ] Σ = { Server : [A1], A1: false, A2: false } P = { (A1, GrantMsg), (A2, LockMsg) } T = [ , ] Server が A1 を Grant

Slide 87

Slide 87 text

Slide 88

Slide 88 text

Slide 89

Slide 89 text

#JTF2019 #JTF2019_A Σ = { Server : [A2], A1: false, A2: true } P = { () } T = [ , , , , ] Σ = { Server : [A2], A1: false, A2: false } P = { (A2, GrantMsg) } T = [ , , , ] Σ = { Server : [A1, A2], A1: true, A2: false } P = { (A1, UnlockMsg) } T = [ , , , ] A1 が Unlock を要求

Slide 90

Slide 90 text

Slide 91

Slide 91 text

Slide 92

Slide 92 text

#JTF2019 #JTF2019_A 実際に何が証明できる？

Slide 93

Slide 93 text

#JTF2019 #JTF2019_A Verdi による仕様記述 ● トレース T に対して仕様を定義 ○ システムの内部メッセージには言及しない ● 例：二重ロックしない ○ 任意の a1, a2 を考えたとき、 T = t1 ++ [] ++ t2 ++ [] ++ t3 の形で表せるなら、t2 はを含む

Slide 94

Slide 94 text

#JTF2019 #JTF2019_A Verdi による証明 ● 世界間の遷移に対して数学的帰納法 ○ 初期状態の世界で仕様が成立 ○ ある世界で仕様が成立すると仮定したとき、そこから 1 ステップ進んだすべての世界で成立仮定 World World World World 証明証明証明

Slide 95

Slide 95 text

#JTF2019 #JTF2019_A 形式手法の分類（再掲） ● モデル検査 ○ システムが取りうる値を列挙して探索 ○ 有限個のパターンに収まれば自動化できる ● 定理証明 ○ いわゆる数学的な証明をプログラム的に表現 ○ 真に無限個のパターンを扱うことができる

Slide 96

Slide 96 text

#JTF2019 #JTF2019_A 参考：モデル検査の場合 ● 世界の遷移が作るグラフに対して探索 ○ 条件を満たさない T を持つ世界を探す ○ 世界が有限個になるようにモデル化する必要 Initial World World World World World World T が不正 World World World World

Slide 97

Slide 97 text

#JTF2019 #JTF2019_A 分散システムの不安定さの話は？

Slide 98

Slide 98 text

#JTF2019 #JTF2019_A 例：メッセージ重複への対処 ● Verdi が自動でラッパを適用 ○ メッセージにユニークな ID 番号を振る ○ 各ノードに「すでに読んだ ID」を記憶させる ○ すでに読んだ ID のメッセージは無視する ● 二重ロック禁止の仕様は守れるか？ ○ 重複なしの場合の証明が成り立たない可能性

Slide 99

Slide 99 text

#JTF2019 #JTF2019_A Σ = { Server : [], read: { 000, … } A1: false, read: { 001, … } A2: false, read: { 002, … } } P = { (042, A1, LockMsg), } T = [ ..., ] Σ = { Server : [], read: { 000, … } A1: false, read: { 001, … } A2: false, read: { 002, … } } P = { (042, A1, LockMsg), (042, A1, LockMsg), } T = [ ..., ] 重複ありの場合重複なしの場合

Slide 100

Slide 100 text

Slide 101

Slide 101 text

Slide 102

Slide 102 text

#JTF2019 #JTF2019_A Initial World 重複ありの場合重複なしの場合証明済：到達可能な任意の世界でトレース T は条件を満たす World World World Initial World World World World World

Slide 103

Slide 103 text

#JTF2019 #JTF2019_A Initial World 重複ありの場合重複なしの場合証明済：到達可能な任意の世界でトレース T は条件を満たす World World World Initial World World World World World 対応する遷移が存在 = ラップした状態でも到達可能性は変わらない

Slide 104

Slide 104 text

#JTF2019 #JTF2019_A Initial World 重複ありの場合重複なしの場合証明済：到達可能な任意の世界でトレース T は条件を満たす World World World Initial World World World World World 実は読み替え可能：到達可能な任意の世界でトレース T は条件を満たす

Slide 105

Slide 105 text

#JTF2019 #JTF2019_A Verified System Transformer ● より複雑な意味論への変換 ○ メッセージとハンドラを自動でラップ ○ 故障への対応について改めて考える必要がない ● 実装だけでなく証明も変換可能 ○ 意味論の間にある模倣関係を利用 ○ 仕様をトレースに制限したのが効いている

Slide 106

Slide 106 text

#JTF2019 #JTF2019_A 故障を含む Verdi の意味論（一部） ● Duplicating Semantics ○ メッセージが通信路上で複製される ● Dropping Semantics ○ メッセージが消失、タイムアウトする ● Node Failure ○ ノードが落ちたり、勝手に復活したりする

Slide 107

Slide 107 text

#JTF2019 #JTF2019_A vard: 証明された Raft ベース KVS https://github.com/uwplse/verdi-raft

Slide 108

Slide 108 text

#JTF2019 #JTF2019_A Section 4 のポイント ● Verdi による分散システムの証明 ○ Runtime とセットで実行可能コードを生成 ● システムのトレースで仕様を表現 ○ 複雑に見えるが本質は数学的帰納法 ● Verified System Transformer ○ 故障に対応したバージョンに変換できる

Slide 109

Slide 109 text

#JTF2019 #JTF2019_A 本日のまとめ Theorem.

Slide 110

Slide 110 text

#JTF2019 #JTF2019_A 本日のまとめ ● 形式手法による検証 ○ テストでは扱いづらい分散システムにも使える ● Coq による定理証明 ○ プログラムと証明との Curry-Howard 対応 ● 証明フレームワーク Verdi ○ 分散システムの証明が可能、Raft も証明済み

Slide 111

Slide 111 text

#JTF2019 #JTF2019_A おまけ：モデル検査について Corollary.

Slide 112

Slide 112 text

#JTF2019 #JTF2019_A 【PR】分散システム + モデル検査 https://speakerdeck.com/ytaka23/builderscon-tokyo-2019

Slide 113

Slide 113 text

#JTF2019 #JTF2019_A 【PR】モデル検査ハンズオンハッシュタグ「#モデル検査ハンズオン」で検索

Slide 114

Slide 114 text

#JTF2019 #JTF2019_A Qed. #JTF2019 #JTF2019_A Prove Your Distributed Systems! Presented By チェシャ猫 (@y_taka_23)