Slide 1

Slide 1 text

ちょっとヒヤッとした昔話 ITエンジニア怪談 ~背筋も凍る、ゾッとする話Night~ #2 @daigoto

Slide 2

Slide 2 text

◼ 2000年 新卒で中小SIer ◼ 当時からWebサービスの開発案件を中心に ◼ 2006年 株式会社カカクコム入社 ◼ JOINして13年目 ◼ 現在はチーム作り、採用、育成、環境改善、技術戦略など ◼ コードを書かない仕事の方がメイン @daigoto

Slide 3

Slide 3 text

◼ 1997年5月 「¥CORE PRICE¥(コアプライス)」開始 ◼ 2000年3月 現在の「価格.com」にサービス名変更 ◼ 以来22年、パソコンや家電、通信費や保険など、様々なジャンルの 商品やサービスの価格を比較したり、クチコミやトレンドなどを集約 して提供 価格.com PV 5億6,946万PV/月 UU 5,473万人/月 2019年6月現在

Slide 4

Slide 4 text

◼ もう7,8年前になる話 ◼ ショップさんへの送客の計測・課金のシステムで起こった話 ちょっとヒヤッとした昔話

Slide 5

Slide 5 text

テストデータの整理をしていました テストをするために課金データの元となるクリックデータの テストデータを開発DBから削除する作業です ある日、開発環境で

Slide 6

Slide 6 text

上司から割り込みで本番データの調査依頼が来ました まずは一旦今の作業の手を止め、 リモートデスクトップで本番サーバに接続し、 依頼通り調査を進め、内容を別途まとめて報告します そんな作業をしている真っ最中

Slide 7

Slide 7 text

と、開発環境につないである リモートデスクトップの画面を開き、 「さ~て、元の作業に戻ろう」

Slide 8

Slide 8 text

不要なテストデータを削除しました 皆さん、何が起こったか もうおわかりですね?

Slide 9

Slide 9 text

あたりまえの準備が大事 ◼ WeeklyでのDBのFull Backup ◼ DailyでのDBの差分Backup ◼ トランザクションログ

Slide 10

Slide 10 text

あたりまえの準備が大事 ◼ 復旧はインフラチームに協力を仰ぎ、DBAに復旧をお願い ◼ 直近のFull Backup をリストア ◼ Dailyの差分を当日までRollForward ◼ トランザクションログからDelete文を発行する直前までをRollForward 結果、1クリックの欠損もなく無事復旧

Slide 11

Slide 11 text

教訓 ◼ 開発環境と本番環境で同時に作業はしない方がよいんだけど ◼ けど恐らく実質的には避けることは難しい ◼ 必ずログイン/ログアウトするなどは、まどろっこしい ◼ ぱっと見で見分けがついて注意喚起出来ればよいのではないか

Slide 12

Slide 12 text

教訓 ◼ これ使ったことある? ◼ テーマ

Slide 13

Slide 13 text

教訓 ◼ デスクトップのテーマを 分かりやすく変えましょう となりまして、 こんな感じになりました

Slide 14

Slide 14 text

教訓 ◼ Windowsだと、デスクトップのテーマ変更が分かりやすい ◼ Linuxでも、bashrc などでpromptの色分けや、 terminalのクライアント側で背景色の色分けするなど工夫はできる 基本的なことかもしれないけど、仕組みで対応できることも、 人に寄り添った工夫することもとっても大事 export PS1='\[\033[01;31m\]\u@\H\[\033[01;33m\] \w \$ \[\033[00m\]'

Slide 15

Slide 15 text

ご清聴ありがとうござました