Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Launchable and efficient test execution
Search
shibuiwilliam
March 17, 2022
Technology
0
170
Launchable and efficient test execution
test execution efficiency with predictive test selection by machine learning and Launchable
shibuiwilliam
March 17, 2022
Tweet
Share
More Decks by shibuiwilliam
See All by shibuiwilliam
AI人生苦節10年で会得したAIがやること_人間がやること.pdf
shibuiwilliam
1
210
LayerXのApplied R&D
shibuiwilliam
2
25
LLM時代の検索
shibuiwilliam
2
800
生成AIを作るエンジニアリングと使うエンジニアリング
shibuiwilliam
2
81
AI Agentのキャッシュ、再利用、Ops
shibuiwilliam
2
110
生成AIのためのデータ収集とデータエンジニアリング
shibuiwilliam
5
620
LLMで推論するライブラリを整理する
shibuiwilliam
6
1.6k
生成AIの研究開発を事業につなげる データ、仕組み、コミュニケーション
shibuiwilliam
2
110
デプロイして本番システムで使うことから考えるAI
shibuiwilliam
3
750
Other Decks in Technology
See All in Technology
CSPヘッダー導入で実現するWebサイトの多層防御:今すぐ試せる設定例と運用知見
llamakko
1
270
マルチモーダル基盤モデルに基づく動画と音の解析技術
lycorptech_jp
PRO
2
260
[MIRU2025]Preference Optimization for Multimodal Large Language Models for Image Captioning Tasks
keio_smilab
PRO
0
100
なぜAI時代に 「イベント」を中心に考えるのか? / Why focus on "events" in the age of AI?
ytake
2
800
隙間時間で爆速開発! Claude Code × Vibe Coding で作るマニュアル自動生成サービス
akitomonam
2
200
claude codeでPrompt Engineering
iori0311
0
530
スプリントレビューを効果的にするために
miholovesq
9
1.7k
経験がないことを言い訳にしない、 AI時代の他領域への染み出し方
parayama0625
0
260
AI工学特論: MLOps・継続的評価
asei
10
2k
手動からの解放!!Strands Agents で実現する総合テスト自動化
ideaws
3
390
MCPと認可まわりの話 / mcp_and_authorization
convto
2
290
生成AIによる情報システムへのインパクト
taka_aki
1
200
Featured
See All Featured
Why Our Code Smells
bkeepers
PRO
337
57k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.8k
GitHub's CSS Performance
jonrohan
1031
460k
GraphQLとの向き合い方2022年版
quramy
49
14k
Testing 201, or: Great Expectations
jmmastey
43
7.6k
Writing Fast Ruby
sferik
628
62k
A designer walks into a library…
pauljervisheath
207
24k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.6k
Into the Great Unknown - MozCon
thekraken
40
1.9k
Thoughts on Productivity
jonyablonski
69
4.8k
Statistics for Hackers
jakevdp
799
220k
Navigating Team Friction
lara
187
15k
Transcript
Launchableで始める テスト実行効率化 2022/03/15 Launchable Inc. shibui yusuke
shibui yusuke • いろいろ → Launchable(いまここ) • MLOpsとかいろいろエンジニア • もともとクラウド基盤の開発、運用
• ここ6年くらいMLOpsとバックエンドと インフラとたまにデータ分析と Androidで仕事 • Github: @shibuiwilliam • FB: yusuke.shibui • Meety: https://meety.net/matches/OPJgijxiEMHE cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2 物体検知
猫が物欲しそうな表情をしています。 3 1. 餌を上げる 2. 遊ぶ 3. 撫でる 4. ほっとく
A. 全部試して反応をみる B. 経験から可能性の 高いものを選ぶ 答えはLTの最後で!
CI/CDの次へ 4 テストを書く テストを自動実行する 必要なテストを実行する
5 – エンジニアの声 コードを1行変えただけなのに テストをすべて実行しないと マージできない・・・。 “ “
6
Predictive test selection by machine learning 7 学習 推論 教師データ
実行するテスト Tests Test results Tests Test pass/fail probability Feature engineering Model training Evaluation Model serving Deploy judgement
Launchableの仕組み 8 Launchable git push CI/CD Collect tests Important and
effective tests Analyse and filter tests Test records
Launchableの仕組み 9 Launchable Analyse and filter tests Test records ML
テスト実行の課題 時間の課題 全テスト実行時間を短縮したい ▶ 並列実行、リソース追加・・・ ▶ 失敗しやすいテストを優先して実行 10 安定性の課題 同一コミットでもランダムに失敗するテスト
(Flaky test) ▶ Flakinessを評価し修正可能なテストを 明確化
実行する必要のあるテストを並び替え 11 Low Medium High T8 T4 T3 T6 T2
T5 T7 T1 Time to First Failure (TTFF) 失敗する可能性の高い テストを優先して実行する ように並び替えることで テスト実行を効率化
まとめ ▶ 機械学習による実行すべきテストのフィルタリング ▶ テストの失敗が判明するまでのテスト実行時間を評価 ▶ Flakinessによる直すべきテストの明確化 12 「盗んできたおやつを 開けられなくて
悲しい顔をしていた」 が正解
Thank you! 13