DevOpsのチームの QAエンジニアの取り組み

2023/03/10のJaSST'23 Tokyo サイボウズのミニセッションで発表した資料です。

JaSST'23 Tokyo ソフトウェアテストシンポジウム 2023 東京
日程：2023年3月9日(木)～10日(金)
場所：オンライン開催
https://www.jasst.jp/symposium/jasst23tokyo.html

Transcript

1. DevOpsのチームの QAエンジニアの取り組み - 本番ログを活⽤した品質向上 - JaSST’23 Tokyo サイボウズ株式会社 ⽮引達教
2. ⾃⼰紹介 • ⽮引達教 • サイボウズ株式会社 開発本部 QAエンジニア • 新卒⼊社11年⽬ • Twitter: @yabbysan ▼過去のJaSSTでの登壇経験︓ JaSST'18 Tokyo - Agile Japan x JaSST コラボ企画 「開発がスクラム導⼊するんだって︕試験どーしよ︕︖」-サイボウズQAスクラム奮闘記-
3. チームワークあふれる 社会を創る サイボウズの理念は「チームワークあふれる社会を創る」こと。 私たちはその理念に沿ってチームワークを⽀えるソフトウェアを 開発し続けてきました。 サイボウズという会社
4. 開発の知識がなくても 業務に合わせたシステムを かんたんに作成できる クラウドサービス 主⼒製品
5. 本番ログを活⽤した 品質向上の取り組みについて
6. Claraとは オンラインストア Kintoneのユーザーが、 Kintoneの購⼊ 関連サービスの購⼊ ⽀払⽅法の設定 な ど を ⾏ う こ と が で き る 販売管理システム 弊社のオペレーターが、 受注管理 請求管理 顧客のライセンスの管理 な ど を ⾏ う こ と が で き る Claraの2つのシステム
7. 運⽤データを製品開発に活かす アクセスログで 利⽤状況の把握 障害の予兆や 発⽣を検知 本番ログの 定期的な確認 QA Dev PO
8. 何をやっているの︖ • 本番環境のエラーログの確認 • QAエンジニアの⽇次作業の⼀つ • ユーザーがどんな体験をしたかを調べる • エラーが仕様動作であるかどうかの判断のみではなく、 最終的にどんな体験をしたかも調べる • 必要に応じて営業部⾨などにエスカレーション
9. 効果 ① プロダクト改善の種を⾒つけられる ② 働きかけが必要な顧客を⾒つけられる ③ 考慮漏れによる不具合を早期に⾒つけられる
10. 効果① プロダクト改善の種を⾒つけられる • 例︓契約に関する理解を促進するための機能追加 • ログ確認で分かったこと • 「未払いの状態でユーザーが解約操作を⾏おうとしてエラーとなった」 というケースが頻繁に発⽣していた • 対応 • 初回購⼊時の注意喚起の機能を追加することで ユーザーの理解を促進できた
11. 効果② 働きかけが必要な顧客の発⾒ • ログ確認で分かったこと • オンラインストアの機能制限に遭遇した際のエラーが発⽣していた • 対応 • プロダクトの改善のみで解決することが難しいケース • ユーザーが意図した操作を⾏えなかったことを 社内の関係部署にエスカレーションすることでユーザー体験を向上
12. 効果③ 考慮漏れ不具合の早期検出 • 例︓外部サービスとの連携部分のエラー • エラーログを定期的にチェックすることで ユーザーからの問い合わせを待たずに 早期に気づくことができた
13. 学んだこと① • チーム全体の協⼒が不可⽋ • ログ出⼒内容が不⼗分な場合は改善し、調査コストを下げる • リスクを考慮してエラーへの対応⽅針を決める • 「ログレベルは適切か」 「アラートで即時に気づけるようにした⽅が良いか」等
14. 学んだこと② - QAエンジニアとしてのメリット • 得た知⾒をリリース前の試験に活かせる • リリース前テストのテスト観点に追加する • 探索的テストに活⽤できる
15. 最後に • DevOpsのチームのQAエンジニアによる 本番ログを活⽤した品質向上の取り組みを紹介した • 今後の課題 • スケールできる仕組みづくり
16. サイボウズでは QAエンジニアの仲間を 募集しています︕ キャリア採⽤サイト公開中です︕ カジュアル⾯談も⾏なっています︕