Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Macインスタンスを活用したアプリE2Eテストの実現
Search
coconala_engineer
June 20, 2024
Technology
1
710
Macインスタンスを活用したアプリE2Eテストの実現
AWS Summit Japan 2024ミニステージの登壇資料。
https://aws.amazon.com/jp/summits/japan/
coconala_engineer
June 20, 2024
Tweet
Share
More Decks by coconala_engineer
See All by coconala_engineer
ココナラのセキュリティ組織の体制・役割・今後目指す世界
coconala_engineer
0
250
SIEMによるセキュリティログの可視化と分析を通じた信頼性向上プロセスと実践
coconala_engineer
1
3.8k
WafCharm導入で激変!プロダクトの未来を守るためのTips
coconala_engineer
0
29
多様なロール経験が導いたエンジニアキャリアのナビゲーション
coconala_engineer
1
280
未来を創るエンジニアを採用・育成するための制度とマインドセット
coconala_engineer
0
52
VPoE Meetup Vol.1 VPoEとして実践してきたことと反省点
coconala_engineer
4
360
エンジニアマネージャーになった理由を振り返ってみた
coconala_engineer
0
660
Developer Experienceを向上させる基盤づくりの取り組み事例集
coconala_engineer
0
240
Vue.jsで入力フォームにリアルタイムハイライト機能を自前実装した話
coconala_engineer
0
160
Other Decks in Technology
See All in Technology
開発組織を進化させる!AWSで実践するチームトポロジー
iwamot
1
320
RayでPHPのデバッグをちょっと快適にする
muno92
PRO
0
190
エンジニアリング価値を黒字化する バリューベース戦略を用いた 技術戦略策定の道のり
kzkmaeda
6
2.5k
OCI Success Journey OCIの何が評価されてる?疑問に答える事例セミナー(2025年2月実施)
oracle4engineer
PRO
2
130
Apache Iceberg Case Study in LY Corporation
lycorptech_jp
PRO
0
300
LINEギフトにおけるバックエンド開発
lycorptech_jp
PRO
0
260
(機械学習システムでも) SLO から始める信頼性構築 - ゆる SRE#9 2025/02/21
daigo0927
0
260
Exadata Database Service on Cloud@Customer セキュリティ、ネットワーク、および管理について
oracle4engineer
PRO
2
1.5k
Raycast Favorites × Script Command で実現するお手軽情報チェック
smasato
1
140
依存パッケージの更新はコツコツが勝つコツ! / phpcon_nagoya2025
blue_goheimochi
3
210
What's new in Go 1.24?
ciarana
1
110
いまからでも遅くない!コンテナでWebアプリを動かしてみよう!コンテナハンズオン編
nomu
0
150
Featured
See All Featured
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Rebuilding a faster, lazier Slack
samanthasiow
80
8.9k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
114
50k
What's in a price? How to price your products and services
michaelherold
244
12k
Automating Front-end Workflow
addyosmani
1368
200k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
10
1.3k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.3k
Music & Morning Musume
bryan
46
6.4k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
46
2.3k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.2k
Statistics for Hackers
jakevdp
797
220k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
Transcript
Copyright coconala Inc. All Rights Reserved. Macインスタンスを活用した アプリE2Eテストの実現 株式会社ココナラ 川崎
雄太 2024/06/21 AWS Summit Japan 2024 ミニステージ
Copyright coconala Inc. All Rights Reserved. 自己紹介 2 川崎 雄太 Yuta
Kawasaki @yuta_k0911 株式会社ココナラ システムプラットフォーム部 部長 / Head of Information SRE / 情シス / セキュリティ領域のEM SRE NEXT 2024のコアメンバー 去年の自慢: PR TIMESに3回載った✨
Copyright coconala Inc. All Rights Reserved. 3 ココナラの事業内容
Copyright coconala Inc. All Rights Reserved. ココナラのエンジニア数の変遷 4 事業拡大に合わせて 3年で約3倍の組織規模に成長
2020年 2023年 フェーズ 上場前 上場後 エンジニア数 20人強 70人強 リポジトリ数 45 170以上
Copyright coconala Inc. All Rights Reserved. 5 Agenda アプリE2Eテスト導入の背景 ココナラ流アプリE2Eテスト
導入してみてどうだったか? 2 1 3
Copyright coconala Inc. All Rights Reserved. アプリE2Eテスト導入の背景 Chapter 01 6
Copyright coconala Inc. All Rights Reserved. もともとココナラでは、ある時期まで アプリのリグレッションテストを すべて手動 で行っていた。
アプリの機能数が少なかった頃は あまり問題になっていなかったが、 アプリの機能は増える一方🤔 7
Copyright coconala Inc. All Rights Reserved. プロダクトはどんどん成長していき、 アプリの機能がどんどん増え続け、 手動テストに要する時間も延びた 💦
さらには手動でテストしきれず、 品質面での問題が顕在化 する こともあった。 8
Copyright coconala Inc. All Rights Reserved. 今後はどうなっていく予測になるか? 9 自動化による範囲が大きくなればなるほど、効率化が大事 前述の通り、もともとは手動テストで何
とかなっていたものの、プロダクトの成 長により、手段としての自動テスト の効果が大きくなる構図となった。 このような状況をふまえて、ココナラで はアプリのE2Eテスト自動化に大き く舵を切っていくこととなった。
Copyright coconala Inc. All Rights Reserved. ココナラ流アプリ E2Eテスト Chapter 02
10
Copyright coconala Inc. All Rights Reserved. アプリE2Eテストの環境 11 Amazon EC2(Macインスタンス)などを組み合わせて構成
AWS Chatbot AWS Lambda Amazon EC2
Copyright coconala Inc. All Rights Reserved. アプリE2Eテストの処理の流れ 12 さまざまなものをインテグレートして、実現している 1.
Slack上でデバイス、テスト内容などを入力。入力後、AWS Chatbotが起動し、AWS Lambdaを呼び出す。 2. AWS LambdaがExpressにリクエストを送信。 3. Expressがテスト制御プロセスを起動し、メッセージを送信。 4. テスト制御プロセスがアプリをビルドし、デバイスやAppium を起動。テストランナーであるJestを実行。 5. テスト状況がSlack、ReportPortalにレポートされる。
Copyright coconala Inc. All Rights Reserved. 採用した技術 13 役割 採用したもの
採用理由 オートメーション Appium Detoxと比較し、アプリの対応度合い・相 性が良かった。 WebdriverIO Appiumのクライアントで使用。 テストランナー Jest 拡張性を重視。 テスト言語 TypeScript テストの書きやすさを重視。 テスト結果可視化 ReportPortal Allureと比較し、大量のテスト結果可視 化に優れていた。 テストサーバー Amazon EC2 mac2 各種CIサービスと比較し、コストパフォー マンスに優れていた。
Copyright coconala Inc. All Rights Reserved. アプリE2Eテストの内容 14 リリース前に手動で行っていたテストの約 85%を自動化
• たとえば、以下のテストを自動化。 ◦ メールで会員登録できること ◦ Googleで会員登録できること ◦ ログインできること ◦ サービスが出品できること ◦ サービスをクレジットカードで購入できること ◦ サービスをポイントで購入できること
Copyright coconala Inc. All Rights Reserved. アプリE2Eテストのコードサンプル 15
Copyright coconala Inc. All Rights Reserved. E2Eテストが実際に動いているところ 16 1. Slackのフォームを開き、テスト対
象のデバイス、ブランチ、テスト内 容などを入力します。
Copyright coconala Inc. All Rights Reserved. E2Eテストが実際に動いているところ 17 2. 入力をトリガーにテストが開始さ
れます。
Copyright coconala Inc. All Rights Reserved. E2Eテストが実際に動いているところ 18 3. テストの進行状況がリアルタイ
ムで表示されます。
Copyright coconala Inc. All Rights Reserved. E2Eテストが実際に動いているところ 19 4. テストが完了すると、結果のサ
マリとレポートのリンクが表示さ れます。
Copyright coconala Inc. All Rights Reserved. E2Eテストが実際に動いているところ 20 5. レポートのリンクを開くと、
ReportPortalで操作内容とスク リーンショットが確認できます。
Copyright coconala Inc. All Rights Reserved. E2Eテストが実際に動いているところ 21 6. 録画データをダウンロード、再
生することもできます。
Copyright coconala Inc. All Rights Reserved. E2Eテストが実際に動いているところ 22 7. さらに、過去のテスト結
果を含めた統計データ を確認することもできま す。
Copyright coconala Inc. All Rights Reserved. E2Eテストが実際に動いているところ 23 8. ReportPortalでは実施
したテストの属性の設定 や、FAILED内容の分類 もできます。
Copyright coconala Inc. All Rights Reserved. E2Eテストが実際に動いているところ 24 9. 設定した属性やFail内
容の分類を用いて、 E2Eテストの成功率や FAILED内容の割合な どのメトリクスを可視化 しています。
Copyright coconala Inc. All Rights Reserved. 導入してみてどうだったか? Chapter 03 25
Copyright coconala Inc. All Rights Reserved. 定量的に効果を得ることができた! 26 工数削減だけでなく、品質向上に寄与することができた •
リリース前にバグを検知できた回数:5回 ◦ サービス詳細画面が開けない ◦ サービス検索で絞り込みできない。 ◦ 見積もり相談に対して提案できない • リリース後、早期にバグを検知できた回数:3回
Copyright coconala Inc. All Rights Reserved. テックブログの記事もたくさんの方に見てもらえた! 27 「アプリ e2e」で検索すると
1位と4位に記事が載っている
Copyright coconala Inc. All Rights Reserved. Web E2Eテストにも同じ仕組みを展開した! 28 実は「web
e2e」で検索しても 1位に記事が載っている
Copyright coconala Inc. All Rights Reserved. アプリのE2Eテスト基盤に Amazon EC2(Macインスタンス)を 採用することで、費用対効果の高い
E2Eテストを実現できました!💡 ぜひ、参考になれば幸いです!😁 29
Fin
Copyright coconala Inc. All Rights Reserved. Appendix 31
Copyright coconala Inc. All Rights Reserved. 参考資料 32 • E2Eテストに関する記事
◦ Android / iOSアプリのE2Eテスト全部で250シナリオを 自動化しました! 第1回 全体像 ◦ Android / iOSアプリのE2Eテスト自動化の運用保守で 日々格闘しているお話 ◦ WebのE2Eテスト自動化〜ツール選定編〜 • E2Eテストに関する登壇資料 ◦ WebのE2Eテスト自動化 〜導入から運用・評価までの 道のり編〜 - Speaker Deck