WACATE2012WinterBPPsession

かえる井の中ふりかえる 私の自動化経験
WACATE2012冬 BPPセッション
2012年12月

Transcript

1. かえる 井の中 ふりかえる 私の自動化経験 はたけやま さつき
2. とある井戸に １匹のかえるがいました
3. 畠山 さつき（May） テスト担当者暦８年 うち、テストの自動化を７年。 かえるさん紹介 テストエンジニアを目指そう！
4. JSTQB FL取得。さて次は。 周りに同志もいない… Google先生助けてー！ かえるさん紹介
5. かえる井戸を飛び出す
6. 祝！ WACATE2012夏 テストコミュニティデビュー！ 同志がたくさん！ 世界が広がる感覚！ 楽しい！！！
7. …そんな経緯と熱意を ポジションペーパーに書いたら、 BPP賞をいただいてしまいました。 かえるさん紹介
8. ・井戸の外は広い！ ・経験をふりかえる -テストの自動化 -テスト自動化経験 -テストと自動化 ・かえる大海原に船を出す -6か月の軌跡 -初心者からの脱却 自分用ナビゲーションですm(_ _)m アジェンダ アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
9. 井戸の外は広い！
10. テスト計画、テスト分析、テストレベル、 テストタイプ、テスト設計、テスト技法、エビデンス、 インシデントレポート、レビュー、構成管理、、、 JaSST、ASTER、智美塾、SqiP、ツールWG、 TEF、テスト自動化研究会、 SQuBOK、TABOK、、、 外の世界 アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
11. テスト自動化研究会 「テスト自動化エンジニアに必要な知識」 「テスト自動化技術における高度なスキル」 とは何かを考え定義し、世に広める 外の世界 アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
12. Automated Testing Institute が発表した、世界初の テスト自動化の知識体系 外の世界 TABOK アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
13. 自動化経験しかない 外の世界 テスト自動化経験がある！ アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
14. かえる井の中ふりかえる
15. テストの自動化ふりかえる
16. テスト支援ツール等を使うことにより、 ソフトウェアテストを自動化すること。 （Wikipediaより）←内容薄い… テスト自動化とは アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
17. テストレベル テストプロセス テストタイプ により、 使われるテスト支援ツールは様々。 テスト自動化とは アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
18. Selenium、QTP、Junit、DBUnit、Jenkins、 JMater、LoadRunner、PictMaster… テスト自動化とは アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる テストレベル ユニットテスト、統合テスト、 システムテスト、受け入れテスト テストプロセス 計画、分析、設計、実装、 実行、報告 テストタイプ 機能テスト、非機能テスト、 構造テスト、回帰テスト
19. ・◦000万人の顧客を管理するシステム。 ・一時は60人体制にもなった試験グルー プの中のテスト自動化チームに所属。 ・３ヶ月サイクルでサービス追加に伴う リリースが行われる。 ・2005年4月～2011年2月までのお話。 背景 アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
20. ・HP社の製品 （当時はMercury社製） ・キャプチャ＆リプレイツー ル。 ・Web、Java、PHPなど各種 言語でできた画面に対応。 使用したツール QuickTestProfessional アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
21. 使用したツール アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
22. ボタン操作、入力操作など の操作を、１操作１クラスと してスクリプトを加工。 実行順や入力内容は DataTableを参照して動作す るような仕組みを作る。 ＜記録したスクリプト＞ DataTableから実行順を並べ替え 並べ替えた順にクラスを実行 ログインクラス WinEdit("ID").Type "ABC" WinEdit("PSW").Type "abc" WinButton("LOGIN").Click 名前クラス UserName = DataTable.Value("名前_DATA","Global") WinEdit("UserName").Type UserName 女クラス WinComboBox("UserSex").select "女" 男クラス WinComboBox("UserSex").select "男" : : : WinEdit("ID").Type "ABC" WinEdit("PSW").Type "abc" WinButton("LOGIN").Click WinEdit(“UserName”).Type “はなこ” WinComboBox(“UserSex”).select “女” WinComboBox(“Era”).select “平成” WinComboBox(“Year”).select “22” WinComboBox(“Month”).select “5” WinComboBox(“Day”).select “5” WinButton(“Submit").Click : : 私たちの使い方 ＜加工したスクリプト＞ アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
23. DataTableは、Excelで作成した パラメータを、VBAで作成した ツールを使って変換する。 パラメータはスクリプトがわか らない人でも理解しやすい、日本 語で記述した操作手順。 ＜パラメータ＞ 私たちの使い方 アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる 平成 ▼ 年 月 日 登録 名前 女性 男性 ログイン ID PASS
24. 変換 読込む DataTableから実行順を並べ替え 並べ替えた順にクラスを実行 ログインクラス WinEdit("ID").Type "ABC" WinEdit("PSW").Type "abc" WinButton("LOGIN").Click 名前クラス UserName = DataTable.Value("名前 _DATA","Global") WinEdit("UserName").Type UserName 女クラス WinComboBox("UserSex").select "女" 男クラス WinComboBox("UserSex").select "男" : : : 読込む ＜パラメータ＞ ＜DataTable＞ ＜スクリプト＞ ＜QTP＞ 私たちの使い方 アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
25. レベル１ Linear Script Frameworks レベル２ Data-driven Frameworks Functional Decomposition Frameworks レベル３ Keyword-Driven Frameworks Model-based Framework TABOK Segment 2: Macroscopic Process Skills Skill Category 4: Test Automation Frameworks 機能テスト自動化レベル アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
26. これって Keyword-Driven Frameworks だったのか！ 私たちの使い方 アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
27. 2010.11 新システムでの自動化FW導入（5名） 2009.4 新システムに向けて自動化FW再開発（5名） 2007.4 回帰テスト運用（4名） 2006.4 テスト対象範囲拡張、回帰テストでの導入（7名） 2005.8 受け入れテストでの導入（10名） 2005.1 立ち上げ（15名） 自動化経験の変遷 アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
28. Mission１ アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる 結合テストの自動化
29. Mission２ アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる 複雑なシナリオテストの 自動化
30. Mission３ アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる 外部装置の操作
31. Mission４ アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる 複数の端末を利用した操作
32. Mission４ ＜A＞ ＜B＞ ＜C＞ S1-3 S1-4 S1-5 S1-2 S1-6 S1-7 S1-8 S1-1 ＜シナリオ1＞ 1 A環境 2 B環境 3 C環境 4 C環境 5 C環境 6 B環境 7 B環境 8 A環境 アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
33. Mission４ ＜S1＞ ＜A＞ ＜B＞ ＜C＞ S1-1 S1-2 S1-3 S1-4 S1-5 S1-6 S1-7 S1-8 ＜S2＞ 1 A環境 2 B環境 3 C環境 4 C環境 5 C環境 6 B環境 7 B環境 8 A環境 1 B環境 2 B環境 3 A環境 4 A環境 5 B環境 6 C環境 7 C環境 S2-1 S2-2 S2-3 S2-4 S2-5 S2-6 S2-7 アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
34. Mission５ アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる 回帰テスト の自動化
35. Mission６ アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる 試験書からの パラメータ自動生成
36. Mission７ アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる 単調な仕込み作業
37. Mission８ アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる 性能測定の自動化
38. 再現率の低い不具合の 再現 Mission９ アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
39. Mission10 アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる 新システムへの移行
40. Maintainability 保守性 Portability 移植性 Flexibility 柔軟性 Robustness 堅牢性 Scalability 拡張性 Reliability 信頼性 Usability 使用性 Performance 性能 自動テストFWの品質特性 TABOK Segment 2: Macroscopic Process Skills Skill Category 7: Quality Attribute Optimization アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
41. Maintainability 保守性 ◦ Portability 移植性 ◦ Flexibility 柔軟性 ◎ Robustness 堅牢性 ◦ Scalability 拡張性 ◦ Reliability 信頼性 ◦ Usability 使用性 △ Performance 性能 △ TABOK Segment 2: Macroscopic Process Skills Skill Category 7: Quality Attribute Optimization 自動テストFWの品質特性 アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
42. ソフトウェアテストの原則 不具合が出なく なってきたから、 新しいテストを 追加して！ アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
43. １：テストは「欠陥」があることしか示せない ２：全数テストは不可能 ３：初期テスト ４：欠陥の偏在 ５：殺虫剤のパラドクス ６：テストは条件次第 ７：「バグゼロ」の落とし穴 ソフトウェアテストの原則 アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
44. 自動化は テストの目的ではなく 手段のひとつ テストに関する知識は必須！ テスト自動化の前提 アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
45. かえる大海原に船を出す
46. ☆ テスト自動化研究会への参加 ☆ PPT 作って自社で報告 ☆ ドリル本の読書会で簡単なプレゼン ☆ ラーメンラルフチャートを描いてもらった ☆ モバイル端末への興味が UP ☆ フルーツをたらふく食べた ☆ Gihyo.jp にレポートを寄稿 ☆ ASTER、智美塾、SqiP、ツールWGなどの 存在を知った WACATE後６ヶ月の軌跡 アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
47. ☆ 業務でのラルフチャートの活用 ☆ コミケや同人誌への誤解が解けた ☆ マインドマップを書いてみた ☆ WACATE2012 夏スタートの同期会開催 ☆ 初めて海外サイトで通販 ☆ SkypeID の取得 ☆ TEF に登録（承認待ち） ☆ 組込システムのテスト設計と実施 WACATE後６ヶ月の軌跡 アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
48. ☆ てすバナ語るっcha!を観戦 ☆ 中規模開発のマネジメントに触れる ☆ テスト設計コンテストにWACATE新人メン バーで挑む ☆ 初めてテスト計画を立てる ☆ 対立解消図なるものを学ぶ ☆ テスト設計コンテストで発表し見事玉砕 ☆ いい肉をたらふく食べた ☆ JaSST東京の枠が取れたからよろしくと言 われる WACATE後６ヶ月の軌跡 アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
49. 先輩 同期 学習！ 挑戦！ 仲間 切磋琢磨 アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
50. 半年前、初めて外に飛び出して、 隣の芝は青いとばかりに、 あれもできないこれもできないと 自分の未熟さを自分で決めつけて嘆いていた。 確かにできないことだらけ… でも、もう一歩！ 初心者からの脱却 アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
51. 勉強を深める中で、 自分が今まで経験してきたことが ソフトウェアテストの大海原では どういう位置づけなのかを 把握することができるようになる。 未来へ視線を向けられる 意識の変化に気づく 初心者からの脱却 アジェンダ 外の世界 テスト自動化 私の自動化経験 テストと自動化 初心者からの脱却 アジェンダ STAR 基礎 FW Missionたち 品質属性 6原則 6か月の軌跡 視点をかえる
52. I continue to accelerate!