2023/03/10のJaSST'23 Tokyo サイボウズのミニセッションで発表した資料です。
JaSST'23 Tokyo ソフトウェアテストシンポジウム 2023 東京 日程：2023年3月9日(木)～10日(金) 場所：オンライン開催 https://www.jasst.jp/symposium/jasst23tokyo.html
DevOpsのチームのQAエンジニアの取り組み- 本番ログを活⽤した品質向上 -JaSST’23 Tokyoサイボウズ株式会社⽮引達教
View Slide
⾃⼰紹介• ⽮引達教• サイボウズ株式会社 開発本部 QAエンジニア• 新卒⼊社11年⽬• Twitter: @yabbysan▼過去のJaSSTでの登壇経験︓JaSST'18 Tokyo - Agile Japan x JaSST コラボ企画「開発がスクラム導⼊するんだって︕試験どーしよ︕︖」-サイボウズQAスクラム奮闘記-
チームワークあふれる社会を創るサイボウズの理念は「チームワークあふれる社会を創る」こと。私たちはその理念に沿ってチームワークを⽀えるソフトウェアを開発し続けてきました。サイボウズという会社
開発の知識がなくても業務に合わせたシステムをかんたんに作成できるクラウドサービス主⼒製品
本番ログを活⽤した品質向上の取り組みについて
ClaraとはオンラインストアKintoneのユーザーが、Kintoneの購⼊関連サービスの購⼊⽀払⽅法の設定 な どを ⾏ う こ と が で き る販売管理システム弊社のオペレーターが、受注管理請求管理顧客のライセンスの管理 な どを ⾏ う こ と が で き るClaraの2つのシステム
運⽤データを製品開発に活かすアクセスログで利⽤状況の把握障害の予兆や発⽣を検知本番ログの定期的な確認QADevPO
何をやっているの︖• 本番環境のエラーログの確認• QAエンジニアの⽇次作業の⼀つ• ユーザーがどんな体験をしたかを調べる• エラーが仕様動作であるかどうかの判断のみではなく、最終的にどんな体験をしたかも調べる• 必要に応じて営業部⾨などにエスカレーション
効果① プロダクト改善の種を⾒つけられる② 働きかけが必要な顧客を⾒つけられる③ 考慮漏れによる不具合を早期に⾒つけられる
効果① プロダクト改善の種を⾒つけられる• 例︓契約に関する理解を促進するための機能追加• ログ確認で分かったこと• 「未払いの状態でユーザーが解約操作を⾏おうとしてエラーとなった」というケースが頻繁に発⽣していた• 対応• 初回購⼊時の注意喚起の機能を追加することでユーザーの理解を促進できた
効果② 働きかけが必要な顧客の発⾒• ログ確認で分かったこと• オンラインストアの機能制限に遭遇した際のエラーが発⽣していた• 対応• プロダクトの改善のみで解決することが難しいケース• ユーザーが意図した操作を⾏えなかったことを社内の関係部署にエスカレーションすることでユーザー体験を向上
効果③ 考慮漏れ不具合の早期検出• 例︓外部サービスとの連携部分のエラー• エラーログを定期的にチェックすることでユーザーからの問い合わせを待たずに早期に気づくことができた
学んだこと①• チーム全体の協⼒が不可⽋• ログ出⼒内容が不⼗分な場合は改善し、調査コストを下げる• リスクを考慮してエラーへの対応⽅針を決める• 「ログレベルは適切か」「アラートで即時に気づけるようにした⽅が良いか」等
学んだこと② - QAエンジニアとしてのメリット• 得た知⾒をリリース前の試験に活かせる• リリース前テストのテスト観点に追加する• 探索的テストに活⽤できる
最後に• DevOpsのチームのQAエンジニアによる本番ログを活⽤した品質向上の取り組みを紹介した• 今後の課題• スケールできる仕組みづくり
サイボウズではQAエンジニアの仲間を募集しています︕キャリア採⽤サイト公開中です︕カジュアル⾯談も⾏なっています︕
cybozuinsideout
sakiengineer
soracom
trycycle
nnstt1
ryomaru0825
yuyakakizaki08
x_ttyszk
andpad
hiroshinakagawa
tsutaj
optim
yuya4
tammielis
marcelosomers
jensimmons
edds
myddelton
chriscoyier
chrislema
orderedlist
cassininazir
shpigford
smashingmag
shlominoach