單元測試經驗談

從開始撰寫安源測試以後，發現並不是所有的程式都有辦法寫測試。
先撰寫優良的程式碼，才能建立完整的測試。

tag: software testing, unit test, OOP principle, design pattern

Transcript

1. 軟體測試經驗談 日落 Zero 2020/09/27
2. Agenda  軟體測試  單元測試  撰寫可測試的程式
3. About me  日落 Zero  @zeroplex  PHP  Linux  Music
4. Working at ERP eCommerce CRM
5. 軟體測試
6. 軟體測試  Garbage In Garbage Out (GIGO)  透過測試能及早發現程式、環境異動或錯誤  交接速度快，不怕同事請假 ( 程式寫錯就會發出警告 )  好的測試可以當作程式說明文件使用 (test case as document)
7. 軟體測試  黑箱測試：看不到程式碼  白箱測試：看得到程式碼並針對其做測試
8. 軟體測試  黑箱測試  整合測試 (integration test)  系統測試 (system test)  效能測試 (performance test)  猴子測試 (monkey test) .... etc.
9. 軟體測試  白箱測試  單元測試 (Unit test)  功能測試 (functional test)  整合測試 (integration test)
10. 軟體測試  白箱測試  單元測試 (Unit test)  功能測試 (functional test)  整合測試 (integration test) 本次介紹的內容 以 PHP 作範例
11. 單元測試
12. 單元測試 (Unit Test)  "Unit" 代表最小的程式單位  一個簡單的 function / method  簡單的判斷或迴圈  小檔案
13. 單元測試 (Unit Test) function getBmi(height, weight) { return weight / pow(height / 100, 2); } one unit
14. 單元測試 (Unit Test) class Counter { function getBmi() { } function isTooFat() {} } not only one unit
15. 單元測試 (Unit Test)  程式碼越單純，測試越好寫 function getString($input) { return "$input"; } function testStringGetter() { $result = getString(123); $this- >assertTrue(is_string($result)); }
16. 單元測試 (Unit Test)  使用正確的資料進行測試 y = x + 1 , 2 <= x <= 5 y x 2 5
17. 單元測試 (Unit Test)  找臨界值進行測試 y = x + 1 , 2 <= x <= 5 y x 2 5
18. 單元測試 (Unit Test)  使用錯誤的資料進行測試 y = x + 1 , 2 <= x <= 5 y x 2 5
19. 單元測試 (Unit Test) function checkInputScope($x) { return (2 <= $x) && ($x =< 5); } function testBiggerThen5() { } function testSmallerThen2() { } ..... 一個條件判斷式 就需要二個或是以上的測試
20. 單元測試 (Unit Test)  撰寫測試 (test case) 通常會花掉比寫原始碼更多的時間  程式的設計、開發 會影響到撰寫測試的困難度
21. 單元測試 (Unit Test)  還需要測試：  try ... catch & exceptions  in & out data structure  不同的 data type (weak data typing language)
22. 單元測試 (Unit Test) function checkInputScope($x) { if (($x <= x) && ($x =< 5)) { throws new \Exception(); } } /** @expectedException \Exception */ function testExceptionThrows() { }
23. 單元測試 (Unit Test) function range($min, $max, $step) { ...... return $numberList; } function testOutputDataType() { $this->assertTrue( is_array(range(1, 10, 1)) ); }
24. 單元測試 (Unit Test)  Type Hint, with PHP >= 7.1 declare(strict_types=1); function range( int $min, int $max, int $step, ):array { }
25. 單元測試 (Unit Test)  PHP unit test 工具  PHPUnit  Mockery  AspectMock
26. 撰寫單元測試 class MyTest extends TestCase { public function testGetter() {} public function testSetter() {} }
27. 撰寫單元測試 use PHPUnit\Framework\TestCase; class MyTest extends TestCase { public function testGetter() {} public function testSetter() {} }
28. 撰寫單元測試  使用 assertion 判斷測試結果 public function testGetter() { $this->assertTrue($success); }
29. 撰寫單元測試  常用的 assertions  assertTrue / False  assertEquals  assertGreaterThen  assertLessThen  assertEmpty  assertInstanceOf  assertIsArray  assertContains  assertNotContains
30. 撰寫單元測試  測試案例 (test case) 的寫法 public function testGetter() { $o = new MyLib(); $result = $o->get(); $this->assertEquals(null, $result); }
31. 撰寫單元測試  測試案例 (test case) 的寫法 public function testGetter() { $o = new MyLib(); $result = $o->get(); $this->assertEquals(null, $result); } 執行一次 測試對象
32. 撰寫單元測試  測試案例 (test case) 的寫法 public function testGetter() { $o = new MyLib(); $result = $o->get(); $this->assertEquals(null, $result); } 驗證預期結果與直營結果是否相符合
33. 撰寫單元測試  Test case 會出現的東西  Expected result: 預期結果  Actual result: 實際執行結果
34. 撰寫單元測試 $stack = new SplStack(); $stack->push(); $stack->pop();
35. 撰寫單元測試 $stack = new SplStack(); $stack->push(); $stack->pop(); 這二者會互相影響 ( 狀態變化 )
36. 撰寫單元測試 public function testPush() { $stack->push('some thing'); $this->assertTrue( 1, $stack->count(), ); return $stack; }
37. 撰寫單元測試 public function testPush() { $stack->push('some thing'); $this->assertTrue( 1, $stack->count(), ); return $stack; }
38. 撰寫單元測試 /** @depends testPush */ public function testPop($stack) { $out = $stack->pop(); // assertion return $out; } 前一個測試後的執行結果
39. 撰寫單元測試 /** @depends testPush */ public function testPop($stack) { $out = $stack->pop(); // assertion return $out; } 繼續往下接 ....
40. 撰寫單元測試 /** @depends testPop */ public function testPopResult($out) { // assert: // $out should be int(1) }
41. 撰寫單元測試  為何不在 testPoP() 中 將 $stack 與 $out 一次測試完成？  可以，做得到！  一個測試案例應該只負責一件工作 ( 好維護 )  若有特殊狀況 也盡可能在測試案例中維持個位數的 assertion ( 測試結果比較容易看懂 )
42. 撰寫單元測試 其中一個 assertion 出現預期外的狀況 整個測試案例就會被中斷
43. 撰寫單元測試  測試多組不同的資料  正確的資料  錯誤的資料  .....
44. 撰寫單元測試  測試多組不同的資料 使用 data provider 來自動餵資料
45. 撰寫單元測試 testIntegerChecker($expected, $input) { $this->assert( $expected, is_int($input), ); }
46. 撰寫單元測試 testIntegerChecker($expected, $input) provideIntegerChecker() { return [ ['expected', 'input data'], [true, 1], [false, 'string'], ]; }
47. 撰寫單元測試 /** @dataProvider provideIntegerChecker */ testIntegerChecker($expected, $input) provideIntegerChecker() { return [ ['expected', 'input data'], [true, 1], [false, 'string'], ]; }
48. 撰寫單元測試  除了輸入錯誤的資料 還需要檢查程式是否會如預期傳回錯誤訊息  測試程式的是否會丟 exception  在刻意發生錯誤，程式是否會因為 error / warning 中 斷
49. 撰寫單元測試 預期測試時會遇到 exception $this->expectException( InvalidArgumentException::class );
50. 撰寫單元測試 預期測試時會遇到 error $this->expectWarning(); // Warning: Division by zero $a = 2 / 0;
51. 撰寫單元測試  Fixtures  建立待測對象 (data structure / object) 並初始化  測試對象需要在每個 test case 執行前 reset  測試開始前給定測試用資料  降低不同 test case 互相影響 ( 依賴 ) 產生的問題
52. 撰寫單元測試 public function setUp() { $this->stack = new SplStack(); $this->stack->push(1); $this->stack->push(2); } public function tearDown() { $this->stack = null; }
53. 撰寫單元測試 public function setUp() { $this->stack = new SplStack(); $this->stack->push(1); $this->stack->push(2); } public function testStack() { $this->stack->count(); // int(2) }
54. 撰寫單元測試 public function test1() { $this->stack->push('str'); $this->stack->count(); // int(3) } public fcuntion test2() { $this->stack->count(); // int(2) } ---- $this->stack 會在 test case 執行完成以後被 reset -----
55. 撰寫單元測試  會用到 fixture 的情形  受測對象中不同的狀態 (state) 例如： NEW, DRAFT, PUBLISHED  Test case 執行後會導致受測對象狀態異動  受測對象需要初始化 或是要事先給定資料
56. Private Method / Property  使用 Reflection 來更改 visibility
57. Private Method / Variable class User { private height = 160; } $c = new ReflectionClass($user); $p = $c->getProperty('height'); $p->setAccessible(true); $this->assertEquals(160, $p->getValue());
58. Private Method / Property  Private method / property 不需另外測試  另一派的解釋  一般情況下會被其他 public method 呼叫  public method 所有 condition 走完一次 也表示 private method 也被執行過一遍 ( 高內聚 )
59. Test Doubles  doubles => 替身  減少依賴關係  取代真實的物件已便控制變因
60. Test Doubles  Dummy Object  Fake Object  Stub  Mock
61. Dummy Object  應付特定需求 (data type ... etc.)  對測試沒什麼影響 class DummyUser extends User {} $user = new DummyUser(); checkUserInfo(User $user);
62. Fake Object  行為相同  不影響正式環境 $pdo = new PDO('sqlite::memory:'); class FakeMemcache { .... }
63. Stub  固定的動作、行為 $stub = $this->createStub(User::class); $stub->method('height')- >willReturn('160'); $stub->method('weight')->willReturn('60'); $bmi = new Bmi($stub); $this->assertEquals(23.4375, $bmi- >count())
64. Mock  會驗證與其他物件的互動行為 $mock = $this->createMock(User::class); $mock->expects($this->once()) ->method('height') ->willReturn('160');
65. Test Doubles  功能越簡單越好  不要為了 test doubles 再寫 unit test class FakeMemcacahe { function get($key) {}; function set($key, $val) {}; function keys() {}; ..... }
67. 單元測試 (Unit Test)  並非所有的 code 都有辦法建立 test case  Unit test 通過只能表示各項小功能正確 無法代表整個專案可以正確執行  靠整合測試來檢查整體行為是否如預期
69. 撰寫可測試的程式
70. 過於複雜的 constructor  Constructor 指負責資料初始化  不要與其他 class 、資料掛勾 function __construct() { try { $this->user = Order::last()->UID(); } catch (Exception $e) { throw $e; } }
71. Static  Static class / function 無法被 mock function __construct() { try { $this->user = Order::last()->UID(); } catch (Exception $e) { throw $e; } }
72. Conditions / Loops  巢狀 conditions / loops if ($id = 'xxx') { if ($password = 'xxx') { return true; } else { return false; } } else { return false; } 4 個測 試
73. Conditions / Loops 複雜度為 O(n^m)
74. Conditions / Loops  使用 short-circuit 改寫 if ($id != 'xxx') { return false; } if ($password != 'xxx') { return false; } // login successed 提早跳脫
75. Globals  可以使用全域變數，但有 side effect 較難測試 function isUserValid() { global $uid; $list = getAllUser(); return in_array($uid, $list); } 會改到 $uid ？
76. Globals function getUserInfo($uid) { $user = User::find($uid); $_POST['user'] = $user; } 麥來亂 XD
77. Singleton  好的 pattern ，但無法被測試  new 出來的物件，會被儲存在： private static variable 中
78. Singleton  好的 pattern ，但無法被測試  new 出來的物件，會被處存在： private static variable 中 要改 visibility
79. Singleton  好的 pattern ，但無法被測試  new 出來的物件，會被處存在： private static variable 中 無法 mock
80. SOLID Principles in OOP  Single responsibility  Open-closed  Liskov Substitution  Interface Segregation  Dependency Inversion
81. Single responsibility  單一職責原則  物件指處理單一類型的工作  高內聚
82. Single responsibility Class User { function getUserById(); function getUserByName(); function createUser(); } 僅處理 user
83. Single responsibility Class User { function getUserById(); function getUserByName(); function createUser(); function getUserByOrderId(); } 歪了 可能要建立 stub
84. Open-closed  類別應該是可以、且容易擴充功能的  類別對外部使用應該保持封閉 並透過 interface 規範操作方法
85. Open-closed class User { protected $users = []; } class UserList extends User implements Traversable { protected $currentIndex = 0; function current(); function next(); ....
86. Open-closed class TaskQueue { public $tasks; function pop(); function push(); } $queue->$task[] = new Task();
87. Open-closed class TaskQueue { public $tasks; function pop(); function push(); } $queue->$task[] = new Task(); 違反封閉原則
88. Open-closed class TaskQueue { private $tasks; function pop(); function push(); } $queue->push(new Task()); 透過 interface 操作
89. Liskov Substitution  繼承相同父類別的物件，應該要有相同的行為  input / output 資料應相同  資料處理的行為應相同
90. Liskov Substitution class Animal {} class Food {} class DogFood extends Food {} class CatFood extends Food {}
91. Liskov Substitution class Dog extends Animal { public function eat($food) { if (!$food instanceof DogFood) { throw new DogFoodException(); } class Cat extends Animal { public function eat(Food $food) { ... throw new CatFoodException();
92. Liskov Substitution $dog = new Dog(); $cat = new Cat(); try { $dog->eat($food); $cat->eat($food); } catch (DogFoodException $de) { ... } } catch (CatFoodException $ce) { ... }
93. Liskov Substitution class Animal { public function eat (Food $food) {} } class Dog extends Animal { public function eat($food) { if (!$food instanceof DogFood) { parent::eat(); } }
94. Liskov Substitution  維持相同的行為、 interface  不需要多餘的判斷  caller 較容易測試
95. Interface Segregation  不要定義不會使用的 interface  建立多個精確、簡單的 interface
96. Interface Segregation  不要定義不會使用的 interface  建立多個精確、簡單的 interface
97. Interface Segregation interface DogInterface() { function walk(); function sleep(); }
98. Interface Segregation class Dog implements DogInterface { public function walk() { return 'walking ...'; } public function sleep() { return '.. zz ZZ'; } }
99. Interface Segregation class RobotDog implements DogInterface { public function walk() { return 'walking ...'; } public function sleep() { throw new Exception(); } }
100. Interface Segregation interface walkable () { function walk(); } interface sleepable () { function sleep(); }
101. Interface Segregation class Dog implements walkable, sleepable { } class RobotDog implements walkable { }
102. Dependency Inversion  將依賴關係建立在抽象層，而非實體層 (abstraction) (concretion)  解耦合、降低依賴關係 (decouple)  和 dependency injection 是不同的東西
103. Dependency Inversion class User { function getByFile(File $reader) {} function getByAws(AwsS3 $reader) {} function getByDb(MySQL $reader) {} }
104. Dependency Inversion class User { function getByFile(File $reader) {} function getByAws(AwsS3 $reader) {} function getByDb(MySQL $reader) {} } User 類別需要知道各種 reader 的實作方 式
105. Dependency Inversion User File AWS S3 MySQL User 與 3 個類別相依
106. Dependency Inversion Interface ReaderInterface { function open(); function read(); function save(); } class File implements ReaderInterface; class AwsS3 implements ReaderInterface; class MySQL implements ReaderInterface;
107. Dependency Inversion class User { function get(ReaderInterface $reader){ $reader->open(); $users = $reader->read(); } }
108. Dependency Inversion User File AWS S3 MySQL ReaderInterface 每個類別只和 1 個 interface 有相依關係
109. Dependency Inversion  僅相依在 interface ，容易 mock  上層類別 (User) 不需考慮底層類別 (reader) 如何實作  底層類別改變實作方式不影響上層類別
110. Dependency Injection  一種 clean code 的實作方法  向外部要資料，而非自己找資料
111. Dependency Injection class User { function get() { $dbConn = new PDO(); $users = $dbConn->exec('...'); } }
112. Dependency Injection class User { function get() { $dbConn = new PDO(); $users = $dbConn->exec('...'); } } 不要自己 new 東西來用
113. Dependency Injection class User { function get(UserReader $reader) { $users = $reader->read(); } } 請外部提供資料、方法
114. Dependency Injection  自己實作需要承擔維護、修改成本  較容易寫測試 $mock = $this->createMock(); $mock->expect('read')- >willReturn([...]); $user->get($mock);
115. Q & A
116. Thanks for your attention