noteにmablを導入してみてわ かったこと masuhara 株式会社ピースオブケイク 

自己紹介 ● 増原賢秀(ますはらたかひで) @masalajpn ● 2018年10月から現職。一人目のQAエンジニア ● 2018年ようやくJSTQB FL取得 ● 先週やっていた#SeConfTokyoのオーガナイザをやっていました 

noteの紹介 ● コンセプトは「つくる、つながる、とどける。」 ● 記事を書いて売ったり、連載したり、他のクリエイターを応援したりできます ● テスト界隈だと湯本剛さんも書いてくれてたり ● #ソフトウェアテスト を盛り上げていきたい 

note開発チームの現状 ● 人数構成 ○ dev engineer 18?ぐらい ○ designer 4 ○ test eng 1(私) ● 毎日productionデプロイ ● 採用目標年内eng 10名(test engは入ってません) 

mablの紹介 ● ブラウザで使えるテスト自動実行saas ● 特徴 ○ chrome extensionでシナリオ作成 ○ auto-healingで利用するロケータの修正 ○ 見た目の変更も検知 ■ 動的コンテンツを自動で検知してくれる ● 詳しくはwebで！ 

mablとの出会い ● mablの存在自体はtwitterの広告か何かで見て知っていた ● 2018年8月頃 試しに少しだけ使ってみた ● TestingCommunityJP(Slackグループ)に感想を投稿した 

当時のSlackログ 

導入までの流れ ● まずはトライアルで使ってみる ● mablのセールス, エンジニア等に質問するvideoミーティング実施 ● クレジットカードを登録して導入 

mablの現状 ● 2018年年末にPro plan(今はGrowth plan?)を利用開始 ● journey 約30 ○ ノート投稿、外部URLのembedなど ● plan 約3 ○ production, 動作確認環境 ● deployment api によるproduction, 動作確認環境デプロイ時の自動実行 ● 実行にかかる時間 ○ 動作確認環境で約3min 

mablこんなところで使ってます ● tweetのURLを埋め込んで、投稿後に表示されてるか、とか。。 

mablの利用状況 ● 実行数はこんな感じ 

良いところ(一部) ● chrome extensionが使いやすい ● ステップ毎のスクリーンショットが撮られていて、トラブルシューティングがしやすい ● アップデートが非常に頻繁に行われる　 ○ https://help.mabl.com/v1.0/blog/ で更新をチェック！ ● バグの報告から対応までが速い ● jenkinsからの自動実行設定もcurlコマンドビルダーがあるので楽 ● ドキュメントやヘルプ動画が充実している ● 実行環境のメンテをしなくて良い ● ユーザーアカウント数でプランが上がらない ○ mablを開発者にオープンにできる ● Dark modeがある 

これから?なところ(一部) ● chrome extensionの使い心地をもう少し改善してほしい ○ シナリオの最後にカーソルを動かせるようにならないかな ● サーバーが海外にあるので手元で動いてもmabl上で実行するとエラーになること がある ○ 自動化を諦めたシナリオ、あります ● slack通知をもう少し充実させてほしい ○ deployment apiで実行したときや正常に終わったときの通知がないので、ちゃんと動いてるか ちょっと不安 ● メンテする人が増えたらどうなる？多人数でのメンテに向いてるのか？ ○ 未知の領域 

今後の課題 ● mablをさらに効率良くつかう ○ result APIを使ったCI連携と実行対象の絞り込み ● mablを使える人を増やす ○ 開発者を招待したけど、結局メンテしてるのは現状自分ひとり ● E2E以外の足りてないテストを足す 

このへんは頑張ってください ● journey, plan, flowなどmablで使う機能の理解 ● ドキュメントもサポートのやりとりも全部英語 ○ バグ報告もチャットで英語で打つ必要があります ○ onboardingのミーティングが 1 on 3でした ● サポートとのやりとりで、時差によるタイムラグが発生する ○ オンボーディング時はストレスが多少あるかもしれないが、運用が始まればそこまで大きな問題に はならないと思っています ● 結局、ブラウザ自動テストのお作法をわかってないと効果的に使えない ○ 機能的に不十分なところで JavaScriptを使う、共通処理はflowにまとめておく、トラブルシューティン グなど 

わかったこと ● 完璧なツールはない ● 自前で実装しようがツール使おうが運用は手間がかかる 

さいごに(メッセージっぽいもの) ● POCでもまだまだ試行錯誤中です ● 試して失敗して学びましょう 

thanks!