「ログイン画面が開きません」から始まるチーム改革の軌跡

by susumutomita

Slide 1

Slide 1 text

2021年4⽉15⽇ DevOpsDays Tokyo 2021 株式会社デンソー島津直道、冨⽥進株式会社デンソーテン迎諒「ログイン画面が開きません」から始まるチーム改革の軌跡

Slide 2

Slide 2 text

© DENS O C ORPORATION All Rights Reserved. /00 DevOpsDays Tokyo 2021 / Apr 15, 2021 島津直道 Naomichi Shimazu デンソーSRE室寿司を握って⾷べるエンジニア冨⽥進 Susumu Tomita デンソーSRE室 Site Reliability Engineering team Software Engineer 迎諒 Ryo Mukai デンソーテン ICT技術部ミュージシャン兼エンジニア（新婚） Who are speakers https://codezine.jp/article/detail/11391 2

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© DENS O C ORPORATION All Rights Reserved. /00 KeyCloak(OSSの認証・認可ソフトウエアである)を使⽤したあるサービスの開発チームではリリースに向けて着々と開発作業を進めていた。そんなある⽇、チームのキーマンがとある事情で離脱することになった。あるプロジェクトの悲劇 DevOpsDays Tokyo 2021 / Apr 15, 2021 マジか…… 6

Slide 7

Slide 7 text

© DENS O C ORPORATION All Rights Reserved. /00 キーマンが離脱しても開発は進む、問題が⾒つかれば当然、構成変更も⾏う。この⽇は認証・認可に使⽤しているKeyCloakの構成変更を⾏った。ちょっとした構成変更だし、インフラもコード化してあるし⼤丈夫！変更した結果…… 暗雲が立ち込める DevOpsDays Tokyo 2021 / Apr 15, 2021 7

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© DENS O C ORPORATION All Rights Reserved. /00 KeyCloak周りを開発したのはキーマン。細かい知⾒は引き継げておらず、なぜログイン画⾯が出ないのかわからない。それでもプロジェクトは待ってくれない。 3週間後には顧客との結合試験の予定なのに、このままではすべての試験に影響が出てしまう。途⽅にくれる担当者…… 焦る担当者 DevOpsDays Tokyo 2021 / Apr 15, 2021 9

Slide 10

Slide 10 text

© DENS O C ORPORATION All Rights Reserved. /00 部⻑も巻き込み、KeyCloakの知⾒を持つ⼈を求めてさまざまな知り合いにメールを送るものの⾒つからない…… そんな中、⼀⼈だけKeyCloakを知っていると応答を返した⼈がいた。それがSRE室のメンバーだった。つづく一筋の光が差す DevOpsDays Tokyo 2021 / Apr 15, 2021 10

Slide 11

Slide 11 text

© DENS O C ORPORATION All Rights Reserved. /00 SRE室とは DevOpsDays Tokyo 2021 / Apr 15, 2021 Siteのプロダクト Reliability実現するために信頼性、性能効率性、セキュリティ Engineeringを活⽤して貢献する Cloud , Open Source, プログラミング SREチームはプロダクトを開発しているチームと密に連携して以下を担う • 品質要件の定義と評価、改善⽀援 • 運⽤の要件定義と機能構築、オペレーション⽀援 • PaaS設計・構築⽀援 SREはGoogle社が提唱、実践しているシステム管理とサービス運⽤の⽅法論であり役割 ENGINEERING能⼒を⾝に着けた運⽤チームがこの役割を担う 11

Slide 12

Slide 12 text

© DENS O C ORPORATION All Rights Reserved. /00 求められるスキルセットが広く⼀⼈ではカバーできないことは当然ある ❖ チームメンバでお互いの強みを活かし協⼒しながら仕事を進めている ❖ 困ったときにはペアワーク、複数⼈で⼀つの問題に取り組むモブワークを積極的に利⽤ SRE室の働き方 DevOpsDays Tokyo 2021 / Apr 15, 2021 12

Slide 13

Slide 13 text

© DENS O C ORPORATION All Rights Reserved. /00 SRE室でKeyCloakを使⽤して開発基盤を構築していたため、コラボレーションが始まった。しかし、いくつかの懸念があった。懸念 ❖ 独⽴した調査チームで動いて、すでに解決済みや結論が出ていることに時間を費やしてしまう ❖ 直接環境を変更することでさらなる障害を発⽣させてしまう ❖ 働き⽅に違いがあるが、コミュニケーションをうまく取れるか取り組み ❖ プロジェクトの背景も抑えている有識者とチームを作り⼀緒に働いてもらう ❖ ソースコードも公開してもらい、⼀緒に読み込んでいく ❖ 意識的に雑談を多くするチームビルディング前のぼくらの懸念 DevOpsDays Tokyo 2021 / Apr 15, 2021 13

Slide 14

Slide 14 text

© DENS O C ORPORATION All Rights Reserved. /00 避けたかったこと確定でない情報は混乱を招くかもしれないと思って、情報共有しない (でも、本当は悪い情報ほど早く共有してほしい) 解決⽅法 ❖ 意識的に雑談や業務に関係ない話をしてコミュニケーションを取る ➢ プレッシャーのかかる状況だったが、なんでも⾔い合える⼼理的なセーフティーネットの⽤意 ❖ 確定でない情報は事実確認を丁寧に⾏う ➢ 「そう思う」「⾔ってた」などのキーワードが含まれていたら要注意 ➢ 今わかっている課題について優先順位をつけて⼀つづつ確実に取り組んでいく Why雑談？ DevOpsDays Tokyo 2021 / Apr 15, 2021 14

Slide 15

Slide 15 text

Slide 16

Slide 16 text

© DENS O C ORPORATION All Rights Reserved. /00 KeyCloakのログイン画⾯が表⽰できない問題はすぐに解決した。しかし次々と課題が⾒つかった。 ❖ ログアウトできない ❖ 認証⽅式をAWSのロードバランサー経由からNginxを使⽤した⽅式に変更してほしい ❖ 顧客システムと接続してほしい ❖ 顧客システムからはVPNで接続しているので認証をスキップしてほしい ❖ 外部のシステムへの接続⽅法をマネージドサービスから他のソリューションへ変更できるか技術検証をしてほしい ❖ KeyCloakのログイン画⾯をカスタマイズしたものへ変更してほしい ❖ 監視についての検討が進んでいなかった ❖ APIの仕様にセキュリティ関連の課題を⾒つけてしまった ❖ なんかエラーがでたなどどんどん増える課題と追加要望 DevOpsDays Tokyo 2021 / Apr 15, 2021 16

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© DENS O C ORPORATION All Rights Reserved. /00 常にZoomをつないだ状態でモブで作業する。メンバー間で理解に差ができないようにこまめにドライバーを交代する。作業中は1H〜1.5Hごとに休憩を意識的に⼊れる。（定期的にお休みして頭をリフレッシュ） →議論が⽩熱している時こそ落ち着くために休憩を挟む。議論が堂々巡りの時ももちろん。モブワーク ※画像はイメージです DevOpsDays Tokyo 2021 / Apr 15, 2021 20

Slide 21

Slide 21 text

© DENS O C ORPORATION All Rights Reserved. /00 ❖ 常に同期、すべての成果物を常時レビューしている状態となるので、進捗共有のための会議やレビューを別途持つ必要がなくなった ❖ 難しい問題や障害調査時にアイデアがどんどんでてくる ❖ みんなで進める安⼼感がある ❖ でも疲れるモブワークメインで進めるとどのようになるのか DevOpsDays Tokyo 2021 / Apr 15, 2021 21

Slide 22

Slide 22 text

© DENS O C ORPORATION All Rights Reserved. /00 解決すべき課題が増え、何をいつまで解決すればよいか？優先度が⾼いものはなにか？の把握が難しくなってきたため導⼊した。毎週ふりかえり後に ❖ 優先順位の⾒直す ❖ バックログのサイズをS(半⽇)・M(1⽇)・L(3⽇)・XL(それ以上)で⾒積もる ➢ XLの場合は抽象度が⾼く⾒積もれないと判断し、S・M・L（分量が想像できるレベル）までタスクを分割することを考える ❖ ⼀週間後どこまで終わらせるか⽬標をたてるプランニングを導入 DevOpsDays Tokyo 2021 / Apr 15, 2021 22

Slide 23

Slide 23 text

Slide 24

Slide 24 text

© DENS O C ORPORATION All Rights Reserved. /00 毎⽇終業前の10分間でふりかえりをやってみる ↓ 1ヶ⽉くらいたってプロジェクトが⻑期戦になりそうだとわかった ↓ 毎週1-2時間強制的にふりかえりをやってみる ↓ ふりかえりで出てきた課題について少しずつ改善をしていったふりかえりを導入 DevOpsDays Tokyo 2021 / Apr 15, 2021 24

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

© DENS O C ORPORATION All Rights Reserved. /00 課題を⼀つ⼀つ着実に対処していった結果 ❖ すべての課題を解決してスケジュール通りにリリースすることができた ❖ このチームの⽂化を他のチームにも広めるきっかけを作れた ❖ プロジェクトの進め⽅の改善の働きかけ ➢ 技術検証なしに難易度の⾼い機能(無停⽌マイグレーション)の実装を顧客にコミットしようとしていたのを⾒直した僕らのチームが成し遂げたこと DevOpsDays Tokyo 2021 / Apr 15, 2021 30

Slide 31

Slide 31 text

© DENS O C ORPORATION All Rights Reserved. /00 ❖ 状況の整理や課題の明確化が必要だったもの ➢ ログアウトできない問題 ➢ 監視についての検討が進んでいなかった ➢ APIの仕様にセキュリティ関連の課題を⾒つけてしまった ➢ なんかエラーが出た ❖ 要件を洗い出し地道に実装したもの ➢ 認証⽅式をAWSのロードバランサー経由からNginxを使⽤した⽅式に変更してほしい ➢ 顧客システムと接続してほしい ➢ 顧客システムからはVPNで接続しているので認証をスキップしてほしい ➢ KeyCloakのログイン画⾯をカスタマイズしたものへ変更してほしい ❖ 実装⽅式の変更を提案したもの ➢ 外部のシステムへの接続⽅法をマネージドサービスから他のソリューションへ変更できるか技術検証をしてほしいそれぞれの課題への対処 DevOpsDays Tokyo 2021 / Apr 15, 2021 31

Slide 32

Slide 32 text

Slide 33

Slide 33 text

© DENS O C ORPORATION All Rights Reserved. /00 ログインできたと思ったら今度はログアウトができない... 調べてみた結果、まだ実装されていないKeyCloakの機能を使わないとログアウトできないことがわかった。そして、それがわかった当⽇の夜にその機能が実装され、無事解決。仕様を決める人と開発する人に距離があると痛い目を見る仕様チーム開発チームあとはよろしくできへんやん DevOpsDays Tokyo 2021 / Apr 15, 2021 33

Slide 34

Slide 34 text

Slide 35

Slide 35 text

© DENS O C ORPORATION All Rights Reserved. /00 たまたまKeyCloak側の実装が間に合ったので解決したが ❖ 実現可能性の確認が取れていない状態で顧客にコミットするのはリスクがある ❖ ⾃分で動かすことが⼤事、知っているとできるとの間にはギャップがある ❖ 難易度が⾼い機能については特に技術的スパイクを適宜⾏う技術検証してから開発進める DevOpsDays Tokyo 2021 / Apr 15, 2021 35

Slide 36

Slide 36 text

© DENS O C ORPORATION All Rights Reserved. /00 モブワークから学びを得たよという話 DevOpsDays Tokyo 2021 / Apr 15, 2021 これまでは単独プレイ、⾃分が⼀番の専⾨家悩んだときに頼れるのは、ネットの情報と勘。⾃分がその道のパイオニアになるのだ！もしネットでも載ってないことだったらもう詰む。⼀⼈で泣くしかなかった。新しい⽂化、モブワーク同じ課題を複数⼈で頑張って対処するのは初めての体験。 VSCodeのLiveShareとか、Nowなツール、最⾼。⾊んな知⾒が集まると、⾊んな勘所が集まるので、結果的に早く課題を解決できる。普段なら独り⾔で終わる疑問が、独り⾔にならない。⼀⼈で５分考えても分からないことは、きっともう分からない。みんなで考えれば、きっといつかはアイデアが出てくる。⼀⼈で悩むな、みんなで悩め！ 36

Slide 37

Slide 37 text

© DENS O C ORPORATION All Rights Reserved. /00 モブワークが機能するコツ DevOpsDays Tokyo 2021 / Apr 15, 2021 モブワークに慣れたチームに⼈が⼊ってくる形は機能する今回はモブワークに慣れたチームに新しいメンバーが⼊ってくる形だったのでうまく機能した。でもモブワークに興味がない、理解がない状態から始めるのは難しかったと思う。モブワークを始めるときに向いているタスク ❖ 障害調査 ❖ アイデア出し ❖ 構成図の作成とか技術的な話コミュニケーションを取りながら進める必要があるものには適⽤しやすく、効果もわかりやすいモブワークに興味がある⼈でベースを作り広げていく 37

Slide 38

Slide 38 text

© DENS O C ORPORATION All Rights Reserved. /00 ❖ 次の開発ではもう少し⼤きなチームでこの働き⽅を試してみる ➢ モブワークを徐々に取り⼊れてみる ❖ 技術者間の交流を活発に ➢ SRE室が開催しているテックトークへの招待 ❖ 学びを活かす ➢ 難易度が⾼い部分については、技術的スパイクを実施してからコミットするコラボレーションは続く DevOpsDays Tokyo 2021 / Apr 15, 2021 38