Upgrade to Pro — share decks privately, control downloads, hide ads and more …

システムテスト自動化カンファレンス2018.pdf

Koichi Nishide
December 08, 2018

 システムテスト自動化カンファレンス2018.pdf

Koichi Nishide

December 08, 2018
Tweet

More Decks by Koichi Nishide

Other Decks in Technology

Transcript

  1. 4 創業からIPOまで、中小企業活性化のためのサービスを一気通貫で提供 freee会社概要 ❂ 納税する ↗ 育てる ↻ 運営する ✩

    はじめる 会社設立 freee 開業 freee クラウド会計ソフト freee 人事労務 freee (マイナンバー管理 freee 含む) クラウド申告 freee 161億603万円 (資本準備金等含む) 従業員数 事業内容 クラウド型バックオフィスサービスの開発・販売 資本金 設立年月日 2012年7月 465名(2018年6月末時点) 2017年「働きがいのある会社」 ランキング3位
  2. 5 会計・給与共に法人シェアNo.1 * BCN調べ * MM総研調べ * 2017年8月より、クラウド給与計算ソフト freeeは、機能を強化し、新たに 「人事労務

    freee」というサービス名に変更しました。   クラウド給与ソフト 市場 40% クラウド会計ソフト 市場 35.2%
  3. 7 465人 従業員数 豊富な人員で、開発・導入支援・サポートを強化 freee従業員数推移 2013 2014 2015 2016 2018

    2017年「働きがいのある会社」 ランキング3位 2017 2018年7月1日時点、アルバイト契約社員インターンを含む 業務委託、派遣、出向を含めると614名
  4. 8 QAチーム • ミッション ◦ 品質トゥギャザーでハッピー流出を防ぐ • とにかくトゥギャザーが重要である • ハッピーは不具合のこと

    • やっていること ◦ リスクを洗い出してテストする(プロダクトを知る) ◦ テスト自動化 ◦ 品質向上に関する施策・リファクタリング etc
  5. 11 どんなハッピーが起きてるか、が見えずらい • 当時のハッピーの集計にはいくつか課題があった ◦ スプレッドシート上でGAS + 手動操作で集計していて、属人性が高かった ◦ 時間もそれなりにかかる

    ▪ 約30h / 1month ◦ 集計したい項目を追加しづらい • でも、現状の品質を知るために、起きてるハッピーをいろいろな角度でみたい ◦ 機能別 ◦ ユーザ種別 ◦ 優先度別 ◦ 残ハッピー数 ◦ 作成数 vs 解消数 など
  6. 22 現状のE2Eテスト その1 • PRコミット→PRテストや静的解析がCircle CIでまわる→stagingにデプロイ→E2E(自動 実行)→開発者動作確認→productionデプロイ • ほぼ毎日リリースしているので、E2E自動テストは必須 staging環境

    production環境 development環境 (ローカル) 静的解析 Unit・Serviceテスト E2Eテスト integration環境 x N個 QAテスト用 リリース前の長期検証が 必要な場合に使う
  7. 23 現状のE2Eテスト その2 • Rspec x SitePrism x Capybara x

    Selenium • 構成の理由 ◦ プロダクトがrailsなので、みんなrspecには慣れている ◦ SitePrismはページオブジェクトパターンを簡単に使える ◦ Capybaraはいい感じのDSLがある • その他 ◦ E2Eテストコードは各プロダクトのリポジトリにある ▪ QAだけでなく、エンジニアも気軽に修正できるようにするため(ユニットテスト感覚) ◦ どういう時にシナリオを足しているか ▪ 新機能リリース後が多い ◦ テストデータどうしてる? ▪ 秘伝のテストデータをもったアカウントを使ってるところもある ▪ デモデータ事業所のバリエーションを増やしていくことで対応していきたい