実プロジェクトにおけるサーバテスト効率化ツールの話 / efficient-infrastruncture-test-for-real-pj

OSC2018 Tokyo/Fall ライトニングトーク新人戦 発表資料

Transcript

1. Copyright © 2018 TIS Inc. All rights reserved. 0 IT基盤技術本部 IT基盤エンジニアリング第1部 小針 千春 実プロジェクトにおけるサーバテスト効率化ツールの話
2. Copyright © 2018 TIS Inc. All rights reserved. 自己紹介 • 氏名: 小針千春 • 所属: TIS株式会社 1 開発 コンテナ技術推進 運用×機械学習
3. Copyright © 2018 TIS Inc. All rights reserved. SHIFT ware（宣伝） OSCブース内で展示中 IaCの技術を統合した自動化のフレームワーク 2
4. Copyright © 2018 TIS Inc. All rights reserved. ★今日話すこと 3
5. Copyright © 2018 TIS Inc. All rights reserved. 今日話すこと 4 案件支援（実プロジェクト）で行った 膨大なサーバ手動テストを効率化した話
6. Copyright © 2018 TIS Inc. All rights reserved. 今日話すこと 5 案件支援（実プロジェクト）で行った 膨大なサーバ手動テストを効率化した話 インフラのテスト アプリのテスト
7. Copyright © 2018 TIS Inc. All rights reserved. 背景：案件支援の内容（差し支えない範囲で） 新規サーバ構築／テストを行うチームの支援 • サーバ台数、200台 • 構築、8割Ansible、2割手動（特に苦労せず） • テスト、1台3時間！！！（ほぼ目視） • 3時間×200台＝６００・・・？（※要員は6人くらい） 6
8. Copyright © 2018 TIS Inc. All rights reserved. テスト長時間化の主な原因 • 手作業 • 曖昧な合格条件 • 膨大なエビデンス 7 非効率！ オペミス！ 属人化！ 見落とし！
9. Copyright © 2018 TIS Inc. All rights reserved. Serverspec等で効率化したいが・・・ • テスト仕様書は決定（顧客合意）済み – テストコマンドは変更不可 – エビデンスは手動での実行結果と同じ形式 既存ツールに合わせた効率化は不可 『テスト仕様書に合わせた』効率化が必要 8
10. Copyright © 2018 TIS Inc. All rights reserved. ツール作りました！！ 9
11. Copyright © 2018 TIS Inc. All rights reserved. テスト長時間化を解消するために • 手作業 • 自動化 • 曖昧な合格条件 • 明確化 • 膨大なエビデンス • ビジュアライズ 10
12. Copyright © 2018 TIS Inc. All rights reserved. ツール1「テスト自動並列実行ツール」 11 コマンドリスト(csv)作成 シェルスクリプト生成 Ansibleで配布・実行 結果を取得 コマンドリスト シェルスクリプト 生成 エビデンス
13. Copyright © 2018 TIS Inc. All rights reserved. テスト長時間化を解消するために • 手作業 • 自動化 • 曖昧な合格条件 • 明確化 • 膨大なエビデンス • ビジュアライズ 12 テスト実施の効率化、オペミスの排除
14. Copyright © 2018 TIS Inc. All rights reserved. ツール2「差分抽出ツール」 事前に正解データ作成 差分比較 合否判定＋差分抽出 13 エビデンス 正解 ？
15. Copyright © 2018 TIS Inc. All rights reserved. テスト長時間化を解消するために • 手作業 • 自動化 • 曖昧な合格条件 • 明確化 • 膨大なエビデンス • ビジュアライズ 14 テスト実施の効率化、オペミス排除 厳密で高速なテスト
16. Copyright © 2018 TIS Inc. All rights reserved. ツール3「エビデンス並列閲覧ツール（Viewer）」 15 ブラウザ画面
17. Copyright © 2018 TIS Inc. All rights reserved. ツール3「エビデンス並列閲覧ツール（Viewer）」 16 ブラウザ画面 サーバ1 サーバ2 サーバ3
18. Copyright © 2018 TIS Inc. All rights reserved. 厳密で高速なテスト テスト長時間化を解消するために • 手作業 • 自動化 • 曖昧な合格条件 • 明確化 • 膨大なエビデンス • ビジュアライズ 17 テスト実施の効率化、オペミス排除 作業操作が簡易化、確認が容易
19. Copyright © 2018 TIS Inc. All rights reserved. After Before 成果 – 6人で終電までひたすらテスト – 3人でも定時帰り 18
20. Copyright © 2018 TIS Inc. All rights reserved. まとめ • 構築自動化は良いが・・・ ⇒ テストの効率化・自動化も事前に考えておくべき • 大規模なエビデンス確認 ⇒ もはやビッグデータ処理、人がやることではない 19 人海戦術 効率的な 分析・可視化