Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Launchable and efficient test execution
Search
shibuiwilliam
March 17, 2022
Technology
0
130
Launchable and efficient test execution
test execution efficiency with predictive test selection by machine learning and Launchable
shibuiwilliam
March 17, 2022
Tweet
Share
More Decks by shibuiwilliam
See All by shibuiwilliam
2024年生成AI新年会登壇資料
shibuiwilliam
0
170
Creative as Software Engineering
shibuiwilliam
2
470
Kubernetesクラスターを引き継ぐ技術
shibuiwilliam
3
170
機械学習システム構築実践ガイド
shibuiwilliam
1
620
GPT, Langchain, Faiss, FastAPIを組み合わせた Chat検索システム開発
shibuiwilliam
4
4k
機械学習を実用化するエンジニアリングスキル
shibuiwilliam
12
4.1k
Generative AIと検索を組み合わせた新たな体験の模索
shibuiwilliam
3
930
Machine learning system development
shibuiwilliam
1
390
機械学習でテスト実行を効率化するLaunchable
shibuiwilliam
0
190
Other Decks in Technology
See All in Technology
One engineer company with Ruby on Rails
rstankov
2
430
20分で完全に理解するGrafanaダッシュボード
hamadakoji
5
890
【NW X Security JAWS#3】L3-4:AWS環境のIPv6移行に向けて知っておきたいこと
shotashiratori
1
630
M5stackで使用できるpHセンサの開発
shinrinakamura
0
120
社内アプリで Cloudflare D1を プロダクト運用してみた体験談(Tokyo)
haochenx
0
120
Azureの基本的な権限管理の勉強会
yhana
1
2.1k
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
5
37k
Grafana x PagerDuty Better Together
jacopen
1
260
Azure Container Apps + Bicep 〜 こんな感じで運用しています
kaz29
3
620
AWS学習者向けにAzureの解説スライドを作成した話
handy
3
190
チームでロジカルシンキングに改めて向き合っている話 〜学習環境と実践⽅法〜
sansantech
PRO
3
3.3k
プロンプトエンジニアリングでがんばらない-Agentic Workflow へ-近藤憲児
kenjikondobai
6
1.2k
Featured
See All Featured
How To Stay Up To Date on Web Technology
chriscoyier
782
250k
Designing for humans not robots
tammielis
248
25k
Pencils Down: Stop Designing & Start Developing
hursman
117
11k
Fantastic passwords and where to find them - at NoRuKo
philnash
39
2.5k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
228
16k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
21
1.9k
Fashionably flexible responsive web design (full day workshop)
malarkey
398
65k
The Invisible Customer
myddelton
114
12k
YesSQL, Process and Tooling at Scale
rocio
165
13k
Design by the Numbers
sachag
274
18k
Writing Fast Ruby
sferik
622
60k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
104
6.6k
Transcript
Launchableで始める テスト実行効率化 2022/03/15 Launchable Inc. shibui yusuke
shibui yusuke • いろいろ → Launchable(いまここ) • MLOpsとかいろいろエンジニア • もともとクラウド基盤の開発、運用
• ここ6年くらいMLOpsとバックエンドと インフラとたまにデータ分析と Androidで仕事 • Github: @shibuiwilliam • FB: yusuke.shibui • Meety: https://meety.net/matches/OPJgijxiEMHE cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2 物体検知
猫が物欲しそうな表情をしています。 3 1. 餌を上げる 2. 遊ぶ 3. 撫でる 4. ほっとく
A. 全部試して反応をみる B. 経験から可能性の 高いものを選ぶ 答えはLTの最後で!
CI/CDの次へ 4 テストを書く テストを自動実行する 必要なテストを実行する
5 – エンジニアの声 コードを1行変えただけなのに テストをすべて実行しないと マージできない・・・。 “ “
6
Predictive test selection by machine learning 7 学習 推論 教師データ
実行するテスト Tests Test results Tests Test pass/fail probability Feature engineering Model training Evaluation Model serving Deploy judgement
Launchableの仕組み 8 Launchable git push CI/CD Collect tests Important and
effective tests Analyse and filter tests Test records
Launchableの仕組み 9 Launchable Analyse and filter tests Test records ML
テスト実行の課題 時間の課題 全テスト実行時間を短縮したい ▶ 並列実行、リソース追加・・・ ▶ 失敗しやすいテストを優先して実行 10 安定性の課題 同一コミットでもランダムに失敗するテスト
(Flaky test) ▶ Flakinessを評価し修正可能なテストを 明確化
実行する必要のあるテストを並び替え 11 Low Medium High T8 T4 T3 T6 T2
T5 T7 T1 Time to First Failure (TTFF) 失敗する可能性の高い テストを優先して実行する ように並び替えることで テスト実行を効率化
まとめ ▶ 機械学習による実行すべきテストのフィルタリング ▶ テストの失敗が判明するまでのテスト実行時間を評価 ▶ Flakinessによる直すべきテストの明確化 12 「盗んできたおやつを 開けられなくて
悲しい顔をしていた」 が正解
Thank you! 13