What I've learned using mabl

this is my talk slide of mabl hands-on event https://techplay.jp/event/723661.

Transcript

1. noteにmablを導入してみてわ かったこと masuhara 株式会社ピースオブケイク
2. 自己紹介 • 増原賢秀(ますはらたかひで) @masalajpn • 2018年10月から現職。一人目のQAエンジニア • 2018年ようやくJSTQB FL取得 • 先週やっていた#SeConfTokyoのオーガナイザをやっていました
3. noteの紹介 • コンセプトは「つくる、つながる、とどける。」 • 記事を書いて売ったり、連載したり、他のクリエイターを応援したりできます • テスト界隈だと湯本剛さんも書いてくれてたり • #ソフトウェアテスト を盛り上げていきたい
4. note開発チームの現状 • 人数構成 ◦ dev engineer 18?ぐらい ◦ designer 4 ◦ test eng 1(私) • 毎日productionデプロイ • 採用目標年内eng 10名(test engは入ってません)
5. mablの紹介 • ブラウザで使えるテスト自動実行saas • 特徴 ◦ chrome extensionでシナリオ作成 ◦ auto-healingで利用するロケータの修正 ◦ 見た目の変更も検知 ▪ 動的コンテンツを自動で検知してくれる • 詳しくはwebで！
6. mablとの出会い • mablの存在自体はtwitterの広告か何かで見て知っていた • 2018年8月頃 試しに少しだけ使ってみた • TestingCommunityJP(Slackグループ)に感想を投稿した
7. 当時のSlackログ
8. 導入までの流れ • まずはトライアルで使ってみる • mablのセールス, エンジニア等に質問するvideoミーティング実施 • クレジットカードを登録して導入
9. mablの現状 • 2018年年末にPro plan(今はGrowth plan?)を利用開始 • journey 約30 ◦ ノート投稿、外部URLのembedなど • plan 約3 ◦ production, 動作確認環境 • deployment api によるproduction, 動作確認環境デプロイ時の自動実行 • 実行にかかる時間 ◦ 動作確認環境で約3min
10. mablこんなところで使ってます • tweetのURLを埋め込んで、投稿後に表示されてるか、とか。。
11. mablの利用状況 • 実行数はこんな感じ
12. 良いところ(一部) • chrome extensionが使いやすい • ステップ毎のスクリーンショットが撮られていて、トラブルシューティングがしやすい • アップデートが非常に頻繁に行われる　 ◦ https://help.mabl.com/v1.0/blog/ で更新をチェック！ • バグの報告から対応までが速い • jenkinsからの自動実行設定もcurlコマンドビルダーがあるので楽 • ドキュメントやヘルプ動画が充実している • 実行環境のメンテをしなくて良い • ユーザーアカウント数でプランが上がらない ◦ mablを開発者にオープンにできる • Dark modeがある
13. これから?なところ(一部) • chrome extensionの使い心地をもう少し改善してほしい ◦ シナリオの最後にカーソルを動かせるようにならないかな • サーバーが海外にあるので手元で動いてもmabl上で実行するとエラーになること がある ◦ 自動化を諦めたシナリオ、あります • slack通知をもう少し充実させてほしい ◦ deployment apiで実行したときや正常に終わったときの通知がないので、ちゃんと動いてるか ちょっと不安 • メンテする人が増えたらどうなる？多人数でのメンテに向いてるのか？ ◦ 未知の領域
14. 今後の課題 • mablをさらに効率良くつかう ◦ result APIを使ったCI連携と実行対象の絞り込み • mablを使える人を増やす ◦ 開発者を招待したけど、結局メンテしてるのは現状自分ひとり • E2E以外の足りてないテストを足す
15. このへんは頑張ってください • journey, plan, flowなどmablで使う機能の理解 • ドキュメントもサポートのやりとりも全部英語 ◦ バグ報告もチャットで英語で打つ必要があります ◦ onboardingのミーティングが 1 on 3でした • サポートとのやりとりで、時差によるタイムラグが発生する ◦ オンボーディング時はストレスが多少あるかもしれないが、運用が始まればそこまで大きな問題に はならないと思っています • 結局、ブラウザ自動テストのお作法をわかってないと効果的に使えない ◦ 機能的に不十分なところで JavaScriptを使う、共通処理はflowにまとめておく、トラブルシューティン グなど
16. わかったこと • 完璧なツールはない • 自前で実装しようがツール使おうが運用は手間がかかる
17. さいごに(メッセージっぽいもの) • POCでもまだまだ試行錯誤中です • 試して失敗して学びましょう
18. thanks!