テスト自動化のツボ

Transcript

1. テスト自動化のツボ ～システムテスト自動化の失敗と成功～
2. 自己紹介 名前：髙橋耕平 人種：ソフトウェアテストエンジニア 主なミッション： アジャイルテスティング 品質指標の分析と活用 システムテスト自動化 Twitter:@tak_kohei mailto:tak.kohei@gmail.com
3. 「テスト自動化」 してますか？
4. 「テスト自動化」 続いてますか？
5. 生存期間の理想形 開発 運用 改修 運用 自動システムテスト Check Check Check Check Check Check Check Check Check 製 品 と 共 に 生 き 続 け る Check Check Check Check Check Check
6. でも続けていくのは難しい 気付かずに 踏んじゃう 罠 多数！
7. 失敗した自動テストの末路
8. テスト自動化失敗の原因 失敗原因の多くは 技術面 ではなく
9. 期待と現実のギャップ ≠
10. 失 敗 を ど う や っ て 克 服 し て き た の か メ イ ン テ ー マ
11. 目次 過去 現在 未来
12. 目次 過去 現在 未来
13. 過去の失敗事例 1. スコープ 2. コスト 3. 品質と納期
14. 過去の失敗事例 1. スコープ 2. コスト 3. 品質と納期
15. 何を自動化対象とするか 手動テストケースを再利用？ 過去の手動テストを自動化？ 手動回帰テストを不要にする？
16. 期待 「人の作業が置換できる」 「人と交代してくれる」
17. 現実 テストケースの変換が必要 無意味な自動テストケースの量産 “自動化率”というバズワード
18. 結論 手動テストケースは人間用 知恵は自動化できない 知恵抜きでは意義が失われる
19. TIPS：TestingとChecking 自動テストはChecking Testingは賢く人間が行う 自動テストの設計にこそ賢さを
20. 過去の失敗事例 1. スコープ 2. コスト 3. 品質と納期
21. 費用対効果をどう見積るか 手動テスト＝実施工数×回数 自動テスト＝開発工数 ＋(実行工数×回数) 実行回数が多ければコスト回収？
22. 期待 「人手を減らせる」 「時間を短縮できる」
23. 現実 運用コストが置き去り どれだけメンテナンスが必要か テスト結果ＮＧの場合のコストも
24. 結論 実行回数の多さはＲＯＩと無関係 運用コスト全体で考える メンテコストは技術で抑制できる
25. 過去の失敗事例 1. スコープ 2. コスト 3. 品質と納期
26. 品質と納期への効果 テスト自動化で品質が良くなる？ テスト自動化で納期が早まる？
27. 期待 「デグレを検出できる」 「品質が上がる」
28. 現実 影響範囲を深堀りはしてくれない デグレが頻発するとお手上げ
29. 結論①：品質 品質を上げるのは設計と実装 自動テストはコラボレーション基盤 必要なテストケースを皆で考える
30. 結論②：納期 自動化してもバグが多ければ崩壊 納期は品質が生みだす 品質が上がれば納期も短くなる
31. 目次 過去 現在 未来
32. 成功を拾い集めた現在 1. テスト範囲 2. 自動化範囲 3. メンテナンス性 4. 継続性
33. 成功を拾い集めた現在 1. テスト範囲 2. 自動化範囲 3. メンテナンス性 4. 継続性
34. 担保する範囲を明確にする 手動テスト再利用論は妖しい香り 危なっかしい部分をテストする 単体テストと共闘しよう
35. 成功を拾い集めた現在 1. テスト範囲 2. 自動化範囲 3. メンテナンス性 4. 継続性
36. 半自動テストはやらない 実行前準備を全て自動にする 結果判定も全て自動にする 全て自動化できないなら諦める
37. 誤解しないで欲しいこと 全自動を簡単に諦めちゃダメ 自動化する手段は生みの苦しみ 手段が無ければ自分で作ろう
38. 成功を拾い集めた現在 1. テスト範囲 2. 自動化範囲 3. メンテナンス性 4. 継続性
39. メンテコストを小さくする 脱キャプチャリプレイツール 製品を自動テストにあわせる テストから仕様を分離する
40. TIPS：テストと仕様の分離 テスト対象 アプリケーション 要求理解と 画面操作 テスト スクリプト テスト対象 アプリケーション テスト スクリプト 仕 様 変 更 が 入 っ た 場 合
41. TIPS：仕様変更時のメンテ テスト対象 アプリケーション 要求理解と 画面操作 テスト スクリプト テスト対象 アプリケーション テスト スクリプト 修 正 は １ 個 所 の み
42. 成功を拾い集めた現在 1. テスト範囲 2. 自動化範囲 3. メンテナンス性 4. 継続性
43. 小さく作って繰り返す 理想は高くしておこうよ でも一度に多くはやらない 後戻りできるようにね
44. 小さく作るのも難しい 歩幅と方角は常に確認する 優先順位を正しく見極める 崩さずに積み上げる為の設計
45. 目次 過去 現在 未来
46. テスト自動化の恩恵 無駄や退屈からの解放 素早いフィードバック プロダクトに対する自信
47. 自動テストを育む４Ｃ活動 Communication Collaboration Cultivation Continuation
48. 現場はまだまだ問題だらけ 業務委託構造の壁 顧客との認識のズレ 人材の不足
49. 諦 め ず に 走 り 続 け る それでもやっぱり大切な事
50. 書籍のご紹介
51. Happy Test Automation for Our Future To Be Continued …