Upgrade to Pro — share decks privately, control downloads, hide ads and more …

DevOpsのチームの QAエンジニアの取り組み

DevOpsのチームの QAエンジニアの取り組み

2023/03/10のJaSST'23 Tokyo サイボウズのミニセッションで発表した資料です。

JaSST'23 Tokyo ソフトウェアテストシンポジウム 2023 東京
日程:2023年3月9日(木)~10日(金)
場所:オンライン開催
https://www.jasst.jp/symposium/jasst23tokyo.html

Cybozu
PRO

March 24, 2023
Tweet

More Decks by Cybozu

Other Decks in Technology

Transcript

  1. DevOpsのチームの
    QAエンジニアの取り組み
    - 本番ログを活⽤した品質向上 -
    JaSST’23 Tokyo
    サイボウズ株式会社
    ⽮引達教

    View Slide

  2. ⾃⼰紹介
    • ⽮引達教
    • サイボウズ株式会社 開発本部 QAエンジニア
    • 新卒⼊社11年⽬
    • Twitter: @yabbysan
    ▼過去のJaSSTでの登壇経験︓
    JaSST'18 Tokyo - Agile Japan x JaSST コラボ企画
    「開発がスクラム導⼊するんだって︕試験どーしよ︕︖」-サイボウズQAスクラム奮闘記-

    View Slide

  3. チームワークあふれる
    社会を創る
    サイボウズの理念は「チームワークあふれる社会を創る」こと。
    私たちはその理念に沿ってチームワークを⽀えるソフトウェアを
    開発し続けてきました。
    サイボウズという会社

    View Slide

  4. 開発の知識がなくても
    業務に合わせたシステムを
    かんたんに作成できる
    クラウドサービス
    主⼒製品

    View Slide

  5. 本番ログを活⽤した
    品質向上の取り組みについて

    View Slide

  6. Claraとは
    オンラインストア
    Kintoneのユーザーが、
    Kintoneの購⼊
    関連サービスの購⼊
    ⽀払⽅法の設定 な ど
    を ⾏ う こ と が で き る
    販売管理システム
    弊社のオペレーターが、
    受注管理
    請求管理
    顧客のライセンスの管理 な ど
    を ⾏ う こ と が で き る
    Claraの2つのシステム

    View Slide

  7. 運⽤データを製品開発に活かす
    アクセスログで
    利⽤状況の把握
    障害の予兆や
    発⽣を検知
    本番ログの
    定期的な確認
    QA
    Dev
    PO

    View Slide

  8. 何をやっているの︖
    • 本番環境のエラーログの確認
    • QAエンジニアの⽇次作業の⼀つ
    • ユーザーがどんな体験をしたかを調べる
    • エラーが仕様動作であるかどうかの判断のみではなく、
    最終的にどんな体験をしたかも調べる
    • 必要に応じて営業部⾨などにエスカレーション

    View Slide

  9. 効果
    ① プロダクト改善の種を⾒つけられる
    ② 働きかけが必要な顧客を⾒つけられる
    ③ 考慮漏れによる不具合を早期に⾒つけられる

    View Slide

  10. 効果① プロダクト改善の種を⾒つけられる
    • 例︓契約に関する理解を促進するための機能追加
    • ログ確認で分かったこと
    • 「未払いの状態でユーザーが解約操作を⾏おうとしてエラーとなった」
    というケースが頻繁に発⽣していた
    • 対応
    • 初回購⼊時の注意喚起の機能を追加することで
    ユーザーの理解を促進できた

    View Slide

  11. 効果② 働きかけが必要な顧客の発⾒
    • ログ確認で分かったこと
    • オンラインストアの機能制限に遭遇した際のエラーが発⽣していた
    • 対応
    • プロダクトの改善のみで解決することが難しいケース
    • ユーザーが意図した操作を⾏えなかったことを
    社内の関係部署にエスカレーションすることでユーザー体験を向上

    View Slide

  12. 効果③ 考慮漏れ不具合の早期検出
    • 例︓外部サービスとの連携部分のエラー
    • エラーログを定期的にチェックすることで
    ユーザーからの問い合わせを待たずに
    早期に気づくことができた

    View Slide

  13. 学んだこと①
    • チーム全体の協⼒が不可⽋
    • ログ出⼒内容が不⼗分な場合は改善し、調査コストを下げる
    • リスクを考慮してエラーへの対応⽅針を決める
    • 「ログレベルは適切か」
    「アラートで即時に気づけるようにした⽅が良いか」等

    View Slide

  14. 学んだこと② - QAエンジニアとしてのメリット
    • 得た知⾒をリリース前の試験に活かせる
    • リリース前テストのテスト観点に追加する
    • 探索的テストに活⽤できる

    View Slide

  15. 最後に
    • DevOpsのチームのQAエンジニアによる
    本番ログを活⽤した品質向上の取り組みを紹介した
    • 今後の課題
    • スケールできる仕組みづくり

    View Slide

  16. サイボウズでは
    QAエンジニアの仲間を
    募集しています︕
    キャリア採⽤サイト公開中です︕
    カジュアル⾯談も⾏なっています︕

    View Slide