scalaprops

Property Based Testing
scalapropsとscalacheckとその他色々

https://connpass.com/event/16052/
https://togetter.com/li/852254
https://xuwei-k.github.io/slides/scalaprops/
https://xuwei-k.hatenablog.com/entry/20150725/1437809042

Transcript

1. Property Based Testing scalaprops とscalacheck とその他色々 1 / 152
2. twitter @xuwei_k github @xuwei-k blog https://xuwei-k.hatenablog.com 2 / 152
3. 本題と全く関係ない近況報告 数日前・・・ 3 / 152
4. 4 / 152
5. 今後も日本語の普及のために、グローバルレベルで 有用なScala 情報を日本語で発信していきたい( ぇ 5 / 152
6. 今日の内容 property based testing とscalacheck の簡単な説明 scalacheck の不満点とscalaprops 作成に至る経緯 scalaprops の紹介 主にHaskell の、その他様々なproperty based testing の手法紹介 6 / 152
7. https://github.com/scalaprops 7 / 152
8. Property Based Testing とは？ 8 / 152
9. Property = 特質、特性、性質 テストデータを ( 半) 自動生成 する ( 個人的な感覚としては) 証明と普通のテストの中間 のような? 9 / 152
10. 半 自動生成？ or 全 自動生成？ ここ重要なところ( 後半で話す予定) 10 / 152
11. https://hackage.haskell.org/package/QuickCheck 11 / 152
12. https://scalacheck.org/ https://github.com/rickynils/scalacheck 12 / 152
13. https://www.artima.com/shop/scalacheck 13 / 152
14. https://github.com/rickynils 14 / 152
15. ＿人人人人人人人人＿ ￣ ￣ 15 / 152
16. Scalacheck とは かなり古くからあるライブラリ(2007 年?) 単体でも使用可能だし、specs2 やscalatest と組み合 わせても可能 Scala 本体のテストにも使われている( コレクション など) 実質Scala 界隈で唯一のProperty Based Test のライ ブラリだったが、最近は新しいものを作る動きがい くつか 16 / 152
17. アンケート結果 scalacheck を使用していますか？ 仕事でも趣味でも使ってる 7 仕事で使っている 4 趣味で使っている 17 使っていない 94 17 / 152
18. 最近社内でもscalacheck 使ってます 自分のチームでは、json やmsgpack へのシリアライ ズ、デシリアライズあたり 18 / 152
19. scalacheck のテストの書き方の例 forAll { l: List[String] => l.reverse.reverse == l } 19 / 152
20. List[String] は半自動で生成される 事前に関数を定義しておけば、任意の型の値が生成 可能 デフォルトだと100 回テスト ちなみに自作のscalaprops も基本は同じほぼ書き方 可能 20 / 152
21. Scalacheck が既にある。 しかし再発明したくなった。 なぜか？ 21 / 152
22. 22 / 152
23. 23 / 152
24. 24 / 152
25. 2013, 2014 Scalaz コミット数1 位 このままだと2015 年も1 位 Scalaz のテストはScalacheck のみで書かれている 25 / 152
26. さんは 誰よりもScalacheck でテストを 書いている? 26 / 152
27. バグ見つけるおじさんダヨー #scalaz special forces officer @xuwei_k once again demonstrates prowess tracking down insidious lawbreakers is.gd/mzUQUp 1:44 PM - Nov 17, 2013 1 See Stephen Compall's other Tweets Stephen Compall @S11001001 OptionT and LazyOptionT does not satisfy the "`a… xuwei-k/scalaz@7659278 rickynils/scalacheck#75 htt… github.com 27 / 152
28. 「@xuwei_k は普通に読んでても気付かないような細かいバグ に気付いてる。どうやっているんだ? 」みたいなことを Scalaz の他のコミッタが nescala 後の懇親会で言ってた。あと「彼は nescala に来るべきだった」 1:53 PM - Mar 11, 2014 3 See eugene yokota's other Tweets Mar 11, 2014 Kenji Yoshida @xuwei_k Replying to @xuwei_k まぁそもそもScalaz の開発が特にゆっくりというかそれほど互換 性壊す変更が急に入らないし、英語できないというのもあって妙 にコードだけで意図が伝わるように慎重にpull req する癖が他人よ りついたので、余計にあれ eugene yokota @eed3si9n_ja 28 / 152
29. Scalacheck に対する不満 29 / 152
30. CoArbitrary がない つい最近実装されはじめた 自分が煽ったおかげ？ 巨大な値を生成してテストが終わらないときの対策 タイムアウト パラメータの細かい指定が不可能 30 / 152
31. seed を指定して、ランダムだけど予測可能なテスト Gen とArbitrary があまり意味なく2 つあって面倒 Scalaz のTypeclass の階層と重複テストの問題 先例 discipline Gen Monad Transformer 31 / 152
32. Align Functor Applicative Apply ApplicativePlus PlusEmpty Bind Cobind Comonad ComonadStore Contravariant InvariantFunctor Distributive Divide Divisible Foldab IsEmpty Monad MonadError MonadListen MonadTell MonadPlus MonadReader MonadState Plus Traverse Travers 32 / 152
33. https://xuwei-k.github.io/scalaz7.1.4.svg scalaz のTraverse とState モナドを使ってTree の重複を 削除( もしくはdirected acyclic graph をtree に変換) す る話 33 / 152
34. CoArbitrary って何？ 34 / 152
35. CoArbitrary 35 / 152
36. Monad ↕ Comonad 36 / 152
37. Arbitrary ↕ CoArbitrary 37 / 152
38. CoArbitrary はArbitrary の双対？ 38 / 152
39. Arbitrary って何？ 39 / 152
40. Arbitrary 日本語に訳すと " 任意の" という意味 ランダムな値を生成するための型クラス (Scala の場合)Arbitrary 自体がMonad 40 / 152
41. CoArbitrary 関数自体の値をランダムに自動生成 するために使うもの 41 / 152
42. 　　　　　　 ＿＿＿_ 　 　 　 　 ／　　　　　＼ 関数をランダムに自動生成？ 　　　 ／　 　⌒　　⌒ ＼　　 何言ってんだこいつ 　　／　 　 （•） 　（•） ＼ 　 | 　 　､" 　) （__ 人__ ）" 　 　）　 　　＼　 　 　 ｡｀ ⌒´ 　, ／ ＿／　　　　　　　　　　 ＼　 42 / 152
43. class CoArbitrary a where coarbitrary :: a -> Gen b -> Gen b 43 / 152
44. scalaprops.Cogen abstract class Cogen[A] { def cogen[B](a: A, g: CogenState[B]): CogenState[B] } case class CogenState[A](rand: Rand, gen: Gen[A]) 44 / 152
45. scalaprops.Cogen Gen との対称性的にCoArbitrary ではなくCogen とい う名前に 名前違うだけで同じもの Rand( 不変な乱数生成器) も状態として引き回す そうしないと関数の生成がうまくいかなかったのでこうなった 45 / 152
46. 当初の課題は大体解決( 実装) できた 46 / 152
47. scalaprops の大雑把な歴史 2014 年以前 scalacheck に対する不満がたまり続ける 2015 年 2 月 scalacheck にCoArbitrary 入れようと試し挫折 3 月 functional java をscala へ移植し始める 4 月 移植自体は大体できたが、実験や改良や新機能追加 5 月 0.1.0 公開 6 月 やること色々残ってたので週一ぐらいでリリース 7 月25 日現在0.1.11 が最新 47 / 152
48. 言ってなかったけど Functional Java にはCoArbitary があります ソースコードはこのあたり Functional Java のコードはScalacheck より綺麗と いうか素直で読みやすい 48 / 152
49. Scalaprops の機能 CoArbitrary(Cogen) 実装完了 タイムアウトとパラメータの細かい指定機能つけた seed 指定可能機能ついた immutable なメルセンヌツイスタ (scalaz の) 型クラスの重複テスト回避機能 最初からTree としてテストを階層構造化 Gen とArbitrary は、Gen だけにした 49 / 152
50. Scalaprops のサンプルコード https://github.com/scalaprops/scalaprops- examples 50 / 152
51. 作ってる途中に 思いついたものなど テスト結果もTree として表示 進捗をできるだけ細かく表示 間違って大きすぎる値を生成した場合、無限ループしていた場合 の、検知のしやすさのため Scalaz のlaw チェック用モジュールも作った sbt plugin 51 / 152
52. 52 / 152
53. scalaz のlaw のcheck モジュール scalaz のscalacheck-binding に相当 ソースコードだとこのあたり scalaz 本体側にないものもテストしてる Arrow, MonadTrans など 53 / 152
54. libraryDependencies += "com.github.scalaprops" %% "scalaprops-scalazlaws" % "0.1.13" % "test" 54 / 152
55. scalaprops 作成の動機として、scalaz 自体のテスト をすることも目的 なのでscalaz のテストを半分以上書き直してる https://github.com/scalaprops/scalaprops/tree/v0.1.13/scalaprops/src/test/scala/scalaprops 55 / 152
56. 56 / 152
57. package scalaprops import scalaz.IList import scalaz.std.anyVal._ object IListTest extends Scalaprops { val testLaws = Properties.list( scalazlaws.order.all[IList[Byte]], scalazlaws.monadPlusStrong.all[IList], scalazlaws.traverse.all[IList], scalazlaws.cobind.all[IList], scalazlaws.isEmpty.all[IList], scalazlaws.align.all[IList], scalazlaws.zip.all[IList] ) } https://github.com/scalaprops/scalaprops/tree/v0.1.13/scalaprops/src/test/scala/scalaprops/IListTest.scala 57 / 152
58. 出来る限りすべてのscalaz のデフォルトのGen や Cogen のインスタンスも組み込み そのせいでGen.scala のファイルが巨大に・・・( 現 在881 行) 58 / 152
59. 59 / 152
60. sbt plugin 作った https://github.com/scalaprops/sbt-scalaprops 「クラス内の特定のテストのみ」の実行が可能 しかもそれがsbt のコンソールでtab 補完効く 60 / 152
61. sbt plugin project/plugin.sbt addSbtPlugin("com.github.scalaprops" % "sbt-scalaprops" % "0.1.0") build.sbt scalapropsSettings scalapropsVersion := "0.1.13" 61 / 152
62. ここからが本題 (Scala に直接関係ない話をしていく) 62 / 152
63. 実装したことにより 新たな課題(?) も見えてきた 63 / 152
64. Property Based Testing とは何か？ を一から考え直す 64 / 152
65. 1. できるだけ色々なケースをテストしてバグを見つけ る役割 2. 見つけたバグが、人にとってわかりやすくなってい るべき( わかりづらかったらわかりやすい形に変換) 3. 関数の扱い 65 / 152
66. 2 の「わかりづらかったらわかりやすい形に変換」を Shrinking ということにする 66 / 152
67. 現状のQuickcheck やScalacheck, Scalaprops におけるやり方 67 / 152
68. 一定の範囲でランダムに生成 ランダムに生成するためのGen も心を込めて1 つ1 つ定義 バグ見つかった場合、手動で作ったShrink が定義さ れてれば、それを使ってバグの最小ケース抽出を試 みる 68 / 152
69. バグを見つける、とは 色々なケースをランダムに生成すればよい？ 単純なものならそれでうまくいくが、うまくいかな い場合がある 69 / 152
70. うまくいかないケース List がネストしてるようなやつ 構文木のような再帰的データ型 List もある意味再帰的データ型だが 70 / 152
71. Tree のscalaprops.Gen の定義つらい implicit def treeGen[A](implicit A: Gen[A]): Gen[Tree[A]] = { def loop(size: Int): Gen[Tree[A]] = size match { case n if n <= 1 => A.map(a => Tree.leaf(a)) case 2 => Gen[(A, A)].map{case (a1, a2) => Tree.node(a1, Stream(Tree.leaf(a2))) } case 3 => Gen[(A, A, A)].flatMap{case (a1, a2, a3) => Gen.elements( Tree.node(a1, Stream(Tree.leaf(a2), Tree.leaf(a3))), Tree.node(a1, Stream(Tree.node(a2, Stream(Tree.leaf(a3))))) ) } case _ => val max = size - 1 import scalaz.std.stream._ Applicative[Gen].sequence( Stream.fill(max)(Gen.choose(1, max - 1)) ).flatMap{s => val ns = Traverse[Stream].traverseS(s){ n => for{ sum <- State.get[Int] r <- if(sum >= max){ State.state[Int, Option[Int]](None) }else if((sum + n) > max){ State((s: Int) => (s + n) -> Option(max - sum)) }else{ State((s: Int) => (s + n) -> Option(n)) } } yield r }.eval(0).flatten Applicative[Gen].sequence(ns.map(loop)).flatMap(as => A.map(a => Tree.node(a, as)) ) } } Gen.sized(n => Gen.choose(0, n).flatMap(loop) ) } 71 / 152
72. scalaz.Tree は2 分木ではなくRose Tree 72 / 152
73. Tree のGen の生成の方法の例( つらい) ① 100 個以下の要素のTree 生成したい ② 0 から 100 の間のランダム値N( たとえば80) を生成 ③ M をランダムに生成(80 に対してなんとなく小さめの 数字。たとえば5) ④ N をM 個にランダムに分割( たとえば、80 を12, 30, 3, 9, 26) ⑤ node1 は12 個、node2 は30 個・・・自身と子供を含 めて生成していいよ、みたいにする ⑥ ゼロになるまでそれぞれのnode で手順3 から繰り返 し 73 / 152
74. Tree 生成してそれをSVG で表示するコード https://gist.github.com/xuwei- k/6135bcca86a52bb346e5 74 / 152
75. 一定数以上のleaf があるnode の場合だけバグる、み たいなのを見つけられるか？ 一定数以上の深さの場合だけバグる、みたいなのを 見つけられるか？ それらを考えると、なんなく小さいって具体的にど のくらいだよ。たまには大きくもないといけないだ ろ、その割合どうするんだ という不安や気持ち悪さとの戦い 75 / 152
76. scalaz 本体だともっと雑 implicit def TreeArbitrary[A: Arbitrary]: Arbitrary[Tree[A]] = import scalaz.Tree._ def tree(n: Int): Gen[Tree[A]] = n match { case 0 => arbitrary[A] map (leaf(_)) case _ => { val nextSize = n.abs / 2 Apply[Gen].apply2(arbitrary[A], resize(nextSize, contain } } Gen.sized(tree _) } 76 / 152
77. うまくいかないと 具体的にどうなる？ 生成にとても時間がかかる 生成できずにプログラムが固まったようにみえる メモリ足りずに死ぬ 77 / 152
78. なんとなく一定の大きさ以上のものを生成しないよ うに頑張る Gen を調節しておく 再帰的になってたら、Parameter 調整して頑張る 78 / 152
79. 人力で頑張るのつらい、ださい もっといい方法無いのか？ 79 / 152
80. 発想の転換？ 80 / 152
81. 小さいものから 順番にテストする という方法 81 / 152
82. 小さい・・・とは・・・？ 82 / 152
83. https://hackage.haskell.org/package/smallcheck 83 / 152
84. Smallcheck の論文 (2008 年) 84 / 152
85. とにかく頑張って、すべてのデータ型に大きさ( 深 さ) という概念を持たせるらしい 小さい順にテストしていけば、自然に最小限のもの になるので、Shrinking 自体が必要ない 85 / 152
86. smallcheck が依存してるLogicT というライブラリにバ グがある気がするんですが誰か助けて https://hub.darcs.net/dolio/logict/issue/1 https://github.com/pocketberserker/scala- logic/issues/5 86 / 152
87. Smallcheck の問題点 もしくは別の手法 87 / 152
88. 結局小さいものしかテストできなくて柔軟性がな い？ 大きい場合だけバグ発生するパターンだったらどう するの？ 88 / 152
89. https://hackage.haskell.org/package/testing- feat https://github.com/JonasDuregard/testing-feat 89 / 152
90. Functional Enumeration of Algebraic Types (2012 年の論文) 90 / 152
91. 91 / 152
92. 92 / 152
93. Quickcheck とSmallcheck のいいとこ取り というか上位互換？ 大きさという概念を定義する、というSmallcheck の 方式はある意味受け継ぐ 93 / 152
94. ここから、わざと数学な用語を使って説明してみる ( 論文の導入がそんな感じの書き方されてたので) 94 / 152
95. 所詮、プログラム中で作れるデータ型の集合なんて アレフゼロ な濃度でしかないはずですよね？ 95 / 152
96. https://ja.wikipedia.org/wiki/ アレフ数 96 / 152
97. アレフゼロ ↓ 自然数と一対一の対応付け可能 つまり全単射 97 / 152
98. feat の考え方 まず、生成したいデータ型の順序付けをする( 何らか の基準により小さい順) Smallcheck は、小さい順にテストしたが、feat はそ うではなく・・・ 98 / 152
99. 「自然数 → それに対応したデータ」 という関数を作る かつ、その関数は、引数の自然数が大きくても 一定の現実的な時間 で 戻り値が返ってくるようにする 99 / 152
100. 小さい順にテストすれば、smallcheck と同じことが できる かつ、大きいものもテスト可能なので、適当に大き いものもいくつかテストする 100 / 152
101. 関数の扱い 101 / 152
102. CoArbitrary を実装すれば、関数も自動生成できる ↓ バグが見つかる 102 / 152
103. ん？関数をprint すること自体が基本不可能？ ↓ バグが見つかっても、根本的な原因がよくわからな い・・・ 103 / 152
104. 関数のドメインと、コドメインが無限でなければ、 Map として表示すればいいじゃない 104 / 152
105. scala.Function1[引数 型, 戻 値 型] scala.Map[引数 型, 戻 値 型] 105 / 152
106. 関数自体の集合の数 " 戻り値の型の集合の数" の " 引数の型の集合の数" 乗 106 / 152
107. 例 Boolean => Boolean 2 の2 乗 = 4 通り Map(true -> true , false -> false) Map(true -> true , false -> true) Map(true -> false, false -> true) Map(true -> false, false -> false) 107 / 152
108. Option[Boolean] => Boolean 2 の3 乗 = 8 通り 108 / 152
109. Map(Some(true) -> true , Some(false) -> true , None -> true) Map(Some(true) -> true , Some(false) -> true , None -> false) Map(Some(true) -> true , Some(false) -> false, None -> true) Map(Some(true) -> true , Some(false) -> false, None -> false) Map(Some(true) -> false, Some(false) -> true , None -> true) Map(Some(true) -> false, Some(false) -> true , None -> false) Map(Some(true) -> false, Some(false) -> false, None -> true) Map(Some(true) -> false, Some(false) -> false, None -> false) 109 / 152
110. Int => Int 2147483647 の 2147483647 乗 110 / 152
111. ＿人人人人人人人人＿ 組 合 爆発 ￣ ￣ 111 / 152
112. 『フカシギの数え方』 おねえさんといっしょ！ みんなで数えてみよ… 112 / 152
113. 愚直にMap にしてたら いくらメモリがあっても足りない 113 / 152
114. 関数をShrink すればいいじゃな い？ 114 / 152
115. 　　　　　　 ＿＿＿_ 　 　 　 　 ／　　　　　＼ 関数をShrink ？ 　　　 ／　 　⌒　　⌒ ＼　　 何言ってんだこいつ 　　／　 　 （•） 　（•） ＼ 　 | 　 　､" 　) （__ 人__ ）" 　 　）　 　　＼　 　 　 ｡｀ ⌒´ 　, ／ ＿／　　　　　　　　　　 ＼　 115 / 152
116. 関数をShrink できるんです。そう、Quickcheck ならね Test.QuickCheck.Function 116 / 152
117. "shrinking and showing functions" という論文があるらしいが無料で公開されてなさそう だったので読んでない 117 / 152
118. 動画ある(Haskell Symposium 2012) Haskell Symposium 2012. Koen Claessen: Shrinking and showing fun… 118 / 152
119. 119 / 152
120. 関数をLazy な特殊な(?) データ構造に変換 それに変換すると、なぜかShrink できる そのデータ構造は、また関数に戻すこともできる 120 / 152
121. data a :-> c where Pair :: (a :-> (b :-> c)) -> ((a,b) :-> c) (:+:) :: (a :-> c) -> (b :-> c) -> (Either a b :-> c) Unit :: c -> (() :-> c) Nil :: a :-> c Table :: Eq a => [(a,c)] -> (a :-> c) Map :: (a -> b) -> (b -> a) -> (b :-> c) -> (a :-> c) 121 / 152
122. sealed abstract class :->[A, B] case class Pair[A, B, C](a: A :-> (B :-> C)) extends (LazyTuple2[A, B] :-> C) case class :+:[A, B, C]( x: (A :-> C), y: (B :-> C) ) extends ((A \/ B) :-> C) case class Unit[A](a: A) extends (scala.Unit :-> A) case class Nil[A, B]() extends (A :-> B) case class Table[A: Equal, B]( a: Stream[LazyTuple2[A, B]] ) extends (A :-> B) case class Map[A, B, C]( x: A => B, y: B => A, z: (B :-> C) ) extends (A :-> C) 122 / 152
123. 123 / 152
124. 124 / 152
125. イカ？ 125 / 152
126. scalaprops に Test.QuickCheck.Function は最低限 実装できて別branch にあるけどmaster に入れてな い ライブラリのAPI 設計として使い勝手よくするの難 しい、そもそもshrink 以外の方法を頑張っていきた い、という理由 126 / 152
127. ここからまた別の話 127 / 152
128. 新たなるShrink の方法のご提案 128 / 152
129. SmartCheck の論文 Automatic and Efficient Counterexample Reduction and Generalization 2014 年 129 / 152
130. https://github.com/leepike/SmartCheck https://hackage.haskell.org/package/smartcheck 130 / 152
131. Haskell 2014: SmartCheck: Automatic and E cient Counterexample R… 131 / 152
132. 名前見間違いやすい件 Smallcheck Smartcheck 132 / 152
133. Smartcheck Smart に( 賢く)Shrink を実行する 133 / 152
134. SubHask https://github.com/mikeizbicki/subhask#automated- testing 134 / 152
135. 135 / 152
136. SubHask SubHask is a radical rewrite of the Haskell Prelude. The goal is to make numerical computing in Haskell fun and fast. The main idea is to use a type safe interface for programming in arbitrary subcategories of Hask. 136 / 152
137. SubHask そもそもtype class の階層を一から作りなおそう!? と いう、すごく気合を感じる何か テストという観点以外からも面白そう わりと新しい( 作り始めてから1 年くらい?) テスト自動生成するの？ 137 / 152
138. 調べれば調べるほど、Haskell 界隈のテストの資料無 限に出てくる・・・ おそらく、まだまだ紹介してない面白い手法たくさ んありそう 138 / 152
139. その他Haskell 以外 139 / 152
140. EasyCheck — Test Data for Free curry という言語 140 / 152
141. curry とは・・・？ 141 / 152
142. Haskell Brooks Curry さん(1900 ~ 1982) 142 / 152
143. 日本語wikipedia ハスケル・カリー https://wiki.haskell.org/Haskell_Brooks_Curry 143 / 152
144. ハスケル・カリーさん。wikipedia より ハスケル・ブルックス・カリー（Haskell Brooks Curry 、1900 年9 月12 日 - 1982 年9 月1 日）はアメリカの数学者、論理学者。 マサチューセッツ州ミ リスで教育者サミュエル・サイラス・カリーの子として生まれる。ハーバ ード大学を卒業後、1930 年、ゲッティンゲン大学でダフィット・ヒルベル トに師事し、博士号を得た。 144 / 152
145. 145 / 152
146. curry Functional Logic Language らしい https://www-ps.informatik.uni-kiel.de/currywiki/ https://www-ps.informatik.uni- kiel.de/currywiki/tools/easycheck お客様の中にcurry に詳しい方はいらっしゃいませ んか？ 146 / 152
147. 今までに紹介したHaskell の使用ライブラリの話など Test.QuickCheck.Poly Template Haskell feat Template Haskell Smartcheck GHC.Generics 147 / 152
148. 黒魔術多い？ Scala に移植可能なのか不明( 移植したい) 148 / 152
149. ところで、GCH.Generics といえば・・・ 149 / 152
150. ＿人人人人人人人＿ ￣ ￣ 150 / 152
151. さんのblog 記事 代数的データ型とshapeless のマクロによる型クラス のインスタンスの自動導出 shapeless.TypeClass とGHC.Generic 151 / 152
152. 結論(?) みんなshapeless を覚えて、Haskell のもっとすごいラ イブラリの移植をscalaprops に入れよう！( ぇ 152 / 152