Upgrade to Pro — share decks privately, control downloads, hide ads and more …

担当者を困らせるほどAutifyを使い込んだ経験談

 担当者を困らせるほどAutifyを使い込んだ経験談

2021.04.26 ANDPAD TechLive #14 担当者を困らせるほどAutifyを使い込んだ経験談

ANDPAD inc

April 27, 2021
Tweet

More Decks by ANDPAD inc

Other Decks in Programming

Transcript

  1. 2021/04/26 Autifyの事を語る会 Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. Proprietary & Confidential 無断転載・無断複製の禁止
  2. 登壇者紹介 Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 2020年02月にアンドパッドに参画。 前職では第三者検証の会社で新規事業開発のQAとして 複数のサービスの立ち上げに従事。 アンドパッドではQC(Quality Control)に所属。 現在はリニューアル案件のQAをしつつ、 E2Eテストにも挑戦中 (`・ω・´) 最近はねこがすき🐈 佐藤 瞳 hitomi sato 
 
 株式会社アンドパッド QA Engineer  VP of Autify
  3. 登壇者紹介 Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 gessy0129 新卒でヤフーに入社。 VOYAGE GROUPやサイバーエージェントなどを経て、曽祖父や姉、義理 の兄が建築関係の職に就いていたこともあり、建築に親和性を感じアンド パッドにジョイン。 元々はtoCのサービスをメインとしていたが、業務プラットフォームに近 い仕事がしたい。業界の「負」を改善する仕事がしたい。 という気持ちが 強くなり、toB SaaSの領域へ。 検索、広告、ECなどの多種多様なサービス開発・運営経験を持ち、フロン トからインフラまでを幅広く担当。 サーバーサイドやインフラの方が若干得意。 VPoEに就任し、現在に至る。 下司 宜治 Yoshiharu Geshi
 
 株式会社アンドパッド 執行役員 VPoE
  4. 登壇者紹介 Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 ebizo-0202 1994年生まれ。東京都出身。 早稲田大学人間科学部情報科学科を2017年に卒業後、VOYAGE GROUPに 新卒入社。 to C サービスの Web フロントエンド、バックエンド、iOS アプリの開 発、社内異動により学生エンジニアの就活支援事業にも携わる。 求人メディア開発会社に転職後、2020年9月に ANDPAD へジョイン。 市川 夕貴 Yuki Ichikawa
 
 株式会社アンドパッド Frontend Enginner
  5. 登壇者紹介 Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 soeda_jp 新規サービス立ち上げを中心に色々やるエンジニアをしながら 新卒採用〜研修とかやって、気づいたらANDPADに。 ある新規サービスのフロントエンドを担当しながら色々したい。 これから Autify をガンガン使おうとしている。 添田 悠央 Yusuke soeda
 
 株式会社アンドパッド Frontend Enginner
  6. 登壇者紹介 Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 Nagafuchik 新卒でCIerのサーバーワークスに入社。2017年にAIベンチャーのABEJAに 移籍。 2019年5月ごろからAutifyを副業でお手伝いをはじめ、同年11月に吸い込 まれるようにしてAutifyにフルタイムでJOIN. 日本側のセールスマーケティングがいまだに1人で自分の魅力が足りないの かと日々悩んでいます。誰か良い営業さん、マーケターがお近くにいらっ しゃいましたらぜひご紹介ください。w 好きなもの: 🐱 & 🍔 ぎょり
 
 オーティファイ株式会社 Sales & Marketing
  7. 登壇者紹介 Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 __macoril__ ガラケー向けゲームの開発に企画開発職として従事したのち、スマート フォン向けの受託開発会社に転職。 Autifyを知ったのは転職活動をはじめた頃にタイミングよく代表近澤が 「どなたか助けてください(切実)」 とツイートしているのを見かけたのがきっかけ。 ミッションに共感し2021年9月にジョイン。 カスタマーサポートとカスタマーサクセスを担当しています。 花より団子の食い道楽だけど三度の飯より馬が好き。 好きな肉はクジャク。 佐藤 舞姫子 makiko satoh
 
 オーティファイ株式会社 Customer Success Lead
  8. Autifyに期待したこと〜導入の経緯 Copyright © 2020 Present ANDPAD Inc. This information is

    confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. Proprietary & Confidential 無断転載・無断複製の禁止
  9. 導入のきっかけ Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 前提として・・・ • ANDPADの定期リリース前は、開発メンバー全員でテストしている きっかけ・・・ • 定期リリース前の主要動線テストが大変・・・!という声がエンジニアさんからあがった ◦ リリースのたびに開発者の工数を使っている (´・ω・`) ◦ 毎回同じテストなので自動化したい (´・ω・`)
  10. Autifyに期待したこと Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 なぜ Autify ?? • 一ヶ月間トライアルのキャンペーン中だった • テストコードを書かなくてもテスト自動化できる 期待したこと • エンジニア以外もテストシナリオを作成できる • 定期リリース前の手動テストの削減 ANDPAD Tech Blog でも紹介しています ..! -> Autifyを導入して3ヶ月経ったので振り返ってみる
  11. 契約までの流れ〜トライアルまで Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 セミナー参加(導入のきっかけの時系列です) • 2020/04/24 弊社エンジニアの一人がAutifyのセミナー参加 • 2020/04/27 セミナー参加のFBを元にディスカッション • 2020/05/14 やる事を決意。トライアル申請の稟議 • 2020/05/20 エンジニア陣でWebiner 参加 申し込み〜トライアル • 2020/05/26 Autify トライアル申し込み ◦ 以後、毎週定例 怒涛のようなサポートへの連絡 ◦ やりすぎて、上限突破 <NEW> 開始から1週間ほどで実行回数を使い切る!!! • 2020/06/10 もうこれ以上はトライアルでの上限突破は無理 ◦ Autify社もアンドパッド社も (´・ω・`) • 2020/06/11 緊急打ち合わせ • 2020/06/12 Autify社から有償版見積書提案(質疑応答で何周かやりとり) • 2020/06/18 アンドパッド社稟議決済完了。三ヶ月ほど有償版でスタート ◦ 今日から適用して下さい!(無茶振り)
  12. 契約までの流れ〜正式契約 Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 トライアル中・・ • 大量に流したいけど並列数が足りない!増やして欲しい! • でもアンドパッド社が夏休みだから、それ以後にして欲しい! • プロジェクトも増やして欲しい! ◦ 本日からお願いします!!(無茶振り) 正式契約まで • 2020/08/21 Autify社から見積提案 • 2020/08/27 稟議に時間かかってるけどおまけでオプションがONのママ!(大感謝) • 2020/08/27 社内的には稟議完了 • 2020/09/03 申し込みフォームから正式に申込 反省点 • 月末月初の社内事務処理に追われて正式申込が遅れた • 時系列にすると土日挟むことが多くて、時間かかってるように見えちゃう • 普段、全くメール見ないので、Facebookで友達になってればもっと早かったかも
  13. 実際の使われ方 Copyright © 2020 Present ANDPAD Inc. This information is

    confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. Proprietary & Confidential 無断転載・無断複製の禁止
  14. Confidential Copyright © 2020 Present ANDPAD Inc. This information is

    confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 リリース時の主要機能テストの自動化 施工管理チーム(WEB)における Autify の使われ方
  15. 施工管理チーム(WEB)の主要機能テストとは Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 • What ◦ リグレッションテスト ▪ PC: 5ブラウザ 201 ケース ▪ SP: 3ブラウザ 74 ケース ▪ 合計: 275 ケース ◦ ※ 施工管理すべての機能を網羅しているわけではなくQA エンジニアである   瞳さんの判断によって主要機能と定義された機能に対するテスト • When / Where ◦ 週1回のリリース作業時に、本番反映前の社内公開状態のプロダクトで行う • Why ◦ リリース前の社内公開段階でリリース予定内容の影響によって ユーザが今まで使えていた主要機能に不具合が発生していないかを確認したい
  16. 施工管理チーム(WEB)の主要機能テストとは Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 • Who ◦ エンジニア 6 ~ 7人 • How ◦ Autify + 手動 ◦ Autify ▪ 177 ケース ▪ PC で必要なテスト 201 ケース中の 88 % を自動化済み ◦ 手動 ▪ Autify で自動化していないケース + SP のテスト
  17. 施工管理チーム(WEB)における Autify で未然に防げた障害たち Confidential Copyright © 2020 Present ANDPAD Inc.

    This information is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 • 工程表のサイドバーに工程名が表示されない • 案件新規作成時にチャットを開くと読み込み中のままになる ◦ Rails のバージョンアップによるデグレに気づけた
  18. 施工管理チーム(WEB)に Autify を導入してよかったこと Confidential Copyright © 2020 Present ANDPAD Inc.

    This information is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 • エンジニアの手動テストの工数の削減 ◦ 自動化前は 1 ブラウザ 20 ~ 30 分程度、手動テストに使っていた ◦ Autify で自動化することによって 手動テストが 1 ブラウザ 5 ~ 10 分程度で済むようになった! • テストの再現性の担保 ◦ 明確なテスト仕様書があるわけではないので、テストの内容に個人差があった ▪ 「案件の編集」というテスト • A さんはタイトルだけちょろっと編集してテスト完了 • B さんは案件の全ての項目を編集してテスト完了 ◦ Autify でレコーディングすることによってテストの再現性が保たれた
  19. 受発注 Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 まずは受発注のシステムの 基本的な使われ方を説明します
  20. 受発注フロー Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 見積依頼 見積作成 発注作成 請負確認 納品完了 検収完了 請求送信 請求承認 支払完了 発注側 受注側 見積 発注 納品・検収 請求・支払 [Autify] 受発注は、発注側と受注側のキャッチボール キャッチボールをしながら一つのボールを見積から支払まで持っていく流れを管理するプロダクト
  21. 受発注におけるAutifyの使い方 Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 • ユーザーシナリオテスト(Regression Test) ◦ すべてのケース・ブラウザの組み合わせをテストするのは非現実的 ◦ ユーザー影響大なところを担保したい! ◦ Spreadsheetにユーザー運用シナリオをパターン化 • Ready for Business ◦ プロダクトがユーザーに使用可能状態にあることを定点監視したい! ◦ システム的な外形監視だけだと本当に使って大丈夫か保証できていない・・・ • リリース後テスト ◦ 主要導線を本番環境で毎回テストするより”リリースされたもの”・”気になるところ” を確認するだけにしたい! [Autify] [推奨環境]
  22. 受発注におけるAutifyで未然に防げた障害たち Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 • Internet Explorerが動かない! [slack] ◦ ライブラリアップグレード時にわりとよくあるので重宝している • 受注側ユーザーがログインするとエラー [slack] [autify] ◦ 通知未読数のAPIを実装したときに受注側のテスト漏れに気づけた • 不定期にログイン・ログアウトのテストがエラー [slack] [autify] [ref] ◦ 認証の仕様変更時に処理タイミング次第でエラーが起こる実装があることに気づけた (障害ではなくAutifyで仕様想定ケース漏れに気づいたケース) • 並列シナリオによる同時ログイン操作エラー [slack] [autify] ◦ 並列実行無効で解決
  23. 今後の取り組み Copyright © 2020 Present ANDPAD Inc. This information is

    confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. Proprietary & Confidential 無断転載・無断複製の禁止
  24. 得られた効果 Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 • テスト自動化が誰でも出来る時代に...! ◦ 例えばプロダクトマネージャーでもバンバン作れる ◦ よりユーザー視点にたったテストをジャンジャン充実化できる • リグレッションテストを厚く → 攻めた開発ができる ◦ 時間の問題で厚くできなかったリグレッションテストに力を入れられる ◦ 既存機能に意識を取られずにどんどん機能開発 ◦ プロダクトコードのリファクタリングを加速させることができる (単体テストはリファクタリング時に一緒に変更することが多い)
  25. 導入ステップ Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 • ポイント ◦ 開発スケジュールに組み込む ◦ staging に専用アカウントを用意 (他の操作の影響をうけないように) • ステップ ◦ ログイン/ログアウトだけ作る (ページ表示だけでも「IEだけで落ちてる」に気付ける) ◦ 簡単なCRUD操作だけの画面に導入 ◦ 主要動線のテストに使う
  26. 導入ステップ Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 まずは一つの動線に 導入してみては?
  27. Autifyから見たANDPAD Copyright © 2020 Present ANDPAD Inc. This information is

    confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. Proprietary & Confidential 無断転載・無断複製の禁止
  28. AutifyからみたANDPAD Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 ダメ出しありますか...?
  29. AutifyからみたANDPAD Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 上手に使えているポイント
  30. • 2021/04/20時点でお問い合わせ合計 約70件 !! (総やり取り500レス!!) ◦ 実際のお問い合わせ内容 ▪ タイムゾーンが日本時間になりません (´;ω;`)

    ▪ IE のみ画面サイズが小さくてシナリオが失敗します (´;ω;`) ▪ windows環境で並列実行できないのでしょうか..? お問い合わせたくさんしました Confidential Copyright © 2020 Present ANDPAD Inc. This information is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止
  31. お問い合わせ数 Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 • 2021/04/20時点でお問い合わせ合計 約450 件 !! ◦ 実際にお問い合わせした内容 ▪ タイムゾーンが日本時間になりません (´;ω;`) ▪ IE のみ画面サイズが小さくてシナリオが失敗します (´;ω;`) ▪ windows環境で並列実行できないのでしょうか..? • たくさんお問い合わせがきて迷惑じゃなかった・・・? • 今後の気になっていること ◦ ビジュアルテスト ◦ ネイティブアプリの自動テスト  
  32. お問い合わせしすぎ・・? Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 • たくさんお問い合わせがきて迷惑じゃなかった・・・? • 今後の気になっていること ◦ ビジュアルテスト ◦ ネイティブアプリの自動テスト  
  33. ビジュアルリグレッションテスト Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 Autifyが ディープラーニングを どのように活用してるかに ついての ブログポスト
  34. ネイティブアプリの自動テスト Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 βテストの申し込み 受け付け中!
  35. 最後に Confidential Copyright © 2020 Present ANDPAD Inc. This information

    is confidential and was prepared by ANDPAD Inc. for the use of our client. It is not to be relied on by and 3rd party. 無断転載・無断複製の禁止 一緒に働こうよ!