Tweet
Tweet

Slide 1

Slide 1 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. ©2019 RAKUS Co., Ltd. 安定した運用ができるまで 株式会社ラクス 楽楽精算運用担当 見形親久

Slide 2

Slide 2 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 自己紹介 • 見形 親久（みかた ちかひさ） 楽楽精算のサービス運用を担当 • 1981年栃木県生まれ、37歳 2004～2015年：複数の会社で受託開発を経験。 2015年：ラクス入社、楽楽精算の運用チームを立ち上げ。 • 趣味はランニング／サウナ／お酒／ネットゲーム

Slide 3

Slide 3 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 本日お話する内容 サービスの成長によって、組織が大きくなると 様々な問題が発生します。 運用の課題に対して、どのように改善し、 安定した運用ができるようになったかお話します。

Slide 4

Slide 4 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 製品紹介 楽楽精算の紹介

Slide 5

Slide 5 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 楽楽精算の紹介 経費・交通費・出張費・旅費・交際費など、お金にかかわる全ての処理を 一元管理できる クラウド型の交通費・経費精算システムです。

Slide 6

Slide 6 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 運用の課題 開発速度を維持すると運用作業の時間が捻出できない・・・

Slide 7

Slide 7 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 運用の時間が取れない •顧客からの問合せ •社内のシステムの問合せ •機能リリースの準備 •不具合の対応

Slide 8

Slide 8 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. CS部門からの声 •問合せが放置される •リリース日が決まらない •不具合が放置される •etc・・・何も決まらない

Slide 9

Slide 9 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 運用チームの立ち上げ 運用作業を一手に対応するチームを作り、問題解決を図る

Slide 10

Slide 10 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 運用チームの方針 •運用の対応を最優先とする •他部署とのやり取りは運用チームを窓口とする •速度を優先するため属人化を許容する

Slide 11

Slide 11 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 運用チームの担当作業 •顧客問合せの対応 →CS部門からの技術的な質問への回答。 •障害／運用トラブルの対応 →対応方針の策定、及び、関係部署のコントロール。

Slide 12

Slide 12 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 運用チームの担当作業 •リリース作業の対応 →スケジュールの策定、進捗管理、リリース作業の実施。 •その他の個別対応案件 →他部署からの相談など、不定形な問題への対応。

Slide 13

Slide 13 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 運用チームを立ち上げた結果 とりあえず運用が回る状態にはなった。 が・・・属人的な状態からは脱却できていない。 日々の作業に追われ、だましだましの運用が続く。

Slide 14

Slide 14 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 数年後 隠れていた問題が顕著化してきた・・・

Slide 15

Slide 15 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. サービスと組織の成長 •サービス関係者は数倍に増加する •飛び交う情報量が膨大になる •人が増えて組織が複雑になる •人事異動などで人が入れ替わる

Slide 16

Slide 16 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 開発部内はどうなったか • チーム同士が疎遠になる →チームが大きくなり、コミュニケーションが減少。 他チームに無関心になる。（トラブルは運用にお任せ・・・の空気 • スキルにバラツキが出る →若いメンバーが増えたが、スキル／経験が不足しており、 対応レベルを一定にするのが難しくなった。

Slide 17

Slide 17 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. CS部門と開発はどうなったか • チーム同士が疎遠になる →チームが大きくなったことで、コミュニケーションが減少。 話しかけづらい空気になる。 • 人事異動の影響が出る →開発窓口のメンバーが異動になる。 後任の担当は経験が浅く、話がまとまらない。

Slide 18

Slide 18 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. CS部門からの声 •誰に相談すればよいか分からない •情報がどこにあるか分からない •障害の影響範囲が分からない •etc・・・ルールが不明瞭でよく分からない

Slide 19

Slide 19 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 障害事例の紹介 実際に発生した障害と問題点を見ていく

Slide 20

Slide 20 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 作業ミスによるサービス停止 PostgreSQLの継承で複数の環境を跨いで データを管理する環境を構築していた。 作業中の停止時間を短縮するため、可能な限りオンラインで 作業を進めたのが裏目に出て、内部でシーケンスの重複が発生。 該当の環境のサービスが停止した。

Slide 21

Slide 21 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 作業ミスによるサービス停止 元環境（子） sequence-A backup バック アップ 複製 継 承 複製2（子） sequence-A 親側のシーケンスを参照するよう設定していた。 そのため、バックアップから複製した タイミングのシーケンス番号に戻ってしまった 複製1（親） sequence-A 複製

Slide 22

Slide 22 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 作業ミスによるサービス停止 【原因】 オンライン状態で作業をする場合、バックアップ時点と データがずれる可能性を考慮できていなかった。 【反省点】 メンバー間のレビューでは気づかなかったが、開発／運用の リーダー層がチェックしていれば気づけていた・・・

Slide 23

Slide 23 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 作業ミスによる本番設定の巻き戻り バックアップからデータを復元するため、 影響範囲の洗出しを行っていた。 ◯◯機能の設定有無で判断するため、CS部門に確認していたが、 認識に齟齬があったことで、設定済みの顧客のデータも 復元してしまい、設定内容が初期化されてしまった。

Slide 24

Slide 24 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 作業ミスによる本番設定の巻き戻り 問題のやりとり データの復元作業でXX社様に影響がないか確認したいのですが、 お客様は◯◯機能って利用されていますか？（開発） →予定はありますが、利用開始前です。（CS部門） 「利用開始前 = まだ利用していない ＝ 設定していない」という 先入観が働き、そのまま作業を実施してしまった。

Slide 25

Slide 25 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 作業ミスによる本番設定の巻き戻り 【原因】 説明が不足しており、CS部門側に正しく状況が伝わっていなかった。 また、口頭のやり取りのため、第三者のチェックもできていなかった。 【反省点】 前任者は知見が豊富だったため、この内容でも「設定が初期化される！」 と検知できていたが、それは過度の期待でそこに甘えていた・・・

Slide 26

Slide 26 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. リリース作業ミスによる機能停止 運用チームにてデータ連携システムの バックアップ機能の追加を行っていた。 運用チームの改修の裏側で開発チームも 別の修正行っていたことを把握しておらず、 リリース時にデグレード、機能停止となってしまった。

Slide 27

Slide 27 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. リリース作業ミスによる機能停止 master 運用 開発 Mergeは？？

Slide 28

Slide 28 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. リリース作業ミスによる機能停止 master 運用 開発 SVNからの移行を並行していた ので、初Pushだった・・・ SVN

Slide 29

Slide 29 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. リリース作業ミスによる機能停止 【原因】 SVNの最新コードをGitへ移行、その後、branchを作成した上で Pushしていれば問題は回避出来ていた。 【反省点】 開発／運用チームそれぞれが、お互いの作業内容を理解していれば、 Git移行を並行していたとしても気がついていた・・・

Slide 30

Slide 30 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 問題の分析と対策 2019年に入り現状の品質ではまずい・・・となり、 2018年のトラブルを振返って対策を検討した

Slide 31

Slide 31 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 問題と対策 開発部門内でのコミュニケーション不足 • 開発／運用チーム間の情報共有が出来ていない • コミュニケーション不足を認識し、 情報共有が円滑になるよう日次のMTGを設けた • 十分なレビュー体制が構築できていない • 開発／運用チーム双方の視点で確認できるよう、 クロスレビューを実施するルールを設けた

Slide 32

Slide 32 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 問題と対策 CS部門とのコミュケーション不足 • お互いに距離感があり、協力する体制になっていない • お互いの不満や要望を正直にぶつけ、 協力していくための体制（対応チーム）を構築 • CS部門へ定期的に課題をヒアリング、 資料の作成、ツールの構築などを協力 • 気軽にやり取りが出来るようチャットルームを開設

Slide 33

Slide 33 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 問題と対策 特定個人への依存した運用 • 障害対応が個人スキルに依存している • 障害発生時の対応フローを作成、 開発／CS部門で合意して標準ルールに定めた • Redmineに障害管理の仕組みを構築、 情報を集約、進捗状況も把握出来るようにした

Slide 34

Slide 34 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 問題と対策 振返りができていない • 根本対策が打てておらず、類似の問題を起こしている • 定期的な振返りのMTGを設置、障害があった場合は 各チームのリーダーにて振返りを実施するルールを設けた • 開発内で完結しない問題については、 関係部署を招集して振返りを実施するルールを設けた

Slide 35

Slide 35 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 対策の結果 トラブルの件数、他部署評価はどう変わったか

Slide 36

Slide 36 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 2017～2019年の障害件数 重大な障害の件数は「18件 →1件」に 障害件数 2017年度 2018年度 2019年度 Sランク 2 0 0 Aランク 16 6 1

Slide 37

Slide 37 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. CS部門からの評価 •窓口が明確になり、話がスムーズになった •Redmineで聞かなくても状況が分かる •必要な情報は資料を見れば分かる •話を聞きやすい、聞けば説明してくれる

Slide 38

Slide 38 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 開発チームからの評価 •開発に集中できる •他部署への調整がスムーズ •運用の課題が可視化されて分かりやすい •課題が明確なので協力できる

Slide 39

Slide 39 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. まとめ 改善したポイントのまとめ

Slide 40

Slide 40 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. まとめ •コミニュケーション サービスは皆で作るもの、協力する必要がある。 そのために普段のコミュニケーションが重要であり、 それが出来る組織、雰囲気作りが大切。 これが出来ていないと他人事になってしまう。

Slide 41

Slide 41 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. まとめ •ルールの明確化 立ち上げは属人的でも良いが、いつか破綻する日が来る。 過剰にせず、最低限必要な品質を定めて、 誰でもできるルール作りを目指す。 作ったルールは確実に見えるところに掲げ、 全員の共通認識とすることが大切。

Slide 42

Slide 42 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. まとめ •振り返り 障害対応などは、スピード勝負になりがちなので、 喉元を過ぎるとつい忘れがちになる。 確実に記録を残し、定期的な振返りの場を 設けることで改善を進める。

Slide 43

Slide 43 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. まとめ 運用は人間が多く関わってくるため、 プログラムの様にtrue/falseとはならない。 関係づくりから始め、協力して1つずつ、 問題を改善することが安定への近道。