Smaregi_Real Wantedly 2020.02.18

Transcript

1. Smaregi, Inc.
2. 会社説明
3. 会社説明
4. 会社説明 - スマレジ
5. 会社説明 - スマレジ
6. 会社説明 - スマレジ
7. 会社説明 - スマレジ
8. 会社説明 - スマレジ・ウェイター
9. 会社説明 - スマレジ・ウェイター
10. 会社説明 - スマレジ・タイムカード
11. 会社説明 - スマレジ・タイムカード
12. 自由な出社時間 ブログ手当 副業OK ランチ会 会社説明 - スマレジの制度
14. 5つの「しくじり」から学ぶ SaaSプロダクト開発の心得 Smaregi, Inc.
15. 前田利一 自己紹介 Toshikazu Maeda 開発部 部長 2002年よりITエンジニアとしての キャリアをスタート。 JavaによるWeb系アプリ開発に従 事。業務システムや共通基盤系の経 験を積む。2011年にPLUGRAM（現 在のスマレジ）に入社し、「スマレ ジ」の企画・開発における中心メン バーとして参画。現在は、大阪本社 で開発部門のマネージャーとして、 企画・開発に携わる。
16. 坂田秀一 開発部 課長 1998年よりITエンジニアとしての キャリアをスタート。 様々な業務システム開発を経験した のち、2011年にPLUGRAM（現在の スマレジ）に入社し、「スマレジ」 の企画・開発における中心メンバー として参画。現在は、大阪本社の開 発部門サブマネージャーとして、 バックエンド及びインフラの面で開 発に携わる。 自己紹介 Shuichi Sakata
17. プロダクト プロダクト
18. 1. あぁ、物理名 2. レスポンスを待つ！ 3. デフォルト設定 プロダクト
19. 1. あぁ、物理名 2. レスポンスを待つ！ 3. デフォルト設定 プロダクト
20. プロダクト - あぁ、物理名 スマレジ • APIを公開している • 取引データを取得・更新するAPI • 「釣銭」の物理名: charge
21. プロダクト - あぁ、物理名 「釣銭」の物理名: charge
22. プロダクト - あぁ、物理名 charge ?
23. プロダクト - あぁ、物理名 charge change
24. プロダクト - あぁ、物理名 1. 一度公開すると変更が難しい 2. 事前のチェックは入念に… 学び
25. 1. あぁ、物理名 2. レスポンスを待つ！ 3. デフォルト設定 プロダクト
26. プロダクト - レスポンスを待つ！ スマレジ • APIを公開している • 取引送信API • e.g. 販売を行った時に会員ア プリに通知を送る
27. プロダクト - レスポンスを待つ！ 販売後の処理 1. スマレジサーバーに取引データを 送信・保存 2. ユーザーサーバーに取引データを 送信
28. プロダクト - レスポンスを待つ！ ユーザーサーバーに取引データを 送信する処理 1. 送信先からレスポンスがあれば次 の処理を実行する
29. プロダクト - レスポンスを待つ！ 送信先からレスポンスがあれば…
30. プロダクト - レスポンスを待つ！ レスポンスなければどうするの？
31. プロダクト - レスポンスを待つ！ レスポンスがない理由はたくさんある 1. 送信先のサーバー処理に時間がか かる 2. サーバー間の通信不調
32. プロダクト - レスポンスを待つ！ 処理がタイムアウト（1分）するまで レスポンスを待ってしまう…
33. プロダクト - レスポンスを待つ！ レスポンスがないと… 1. 取引データの保存処理が未完了 2. レジも通信中のまま操作できない 状態が続く…続く、続く
34. プロダクト - レスポンスを待つ！ 1. 外部システムと連携する時は、 非同期通信にする (あたりまえやん) 学び
35. 1. あぁ、物理名 2. レスポンスを待つ！ 3. デフォルト設定 プロダクト
36. プロダクト - デフォルト設定 スマレジ • 在庫数の更新処理が同時に実行さ れる場合がある
37. プロダクト - デフォルト設定 トランザクション1 トランザクション2 200 199 200 トランザク ション開始 199 200 トランザク ション開始 終了 参照 終了 -1 -1
38. プロダクト - デフォルト設定 トランザクション1 トランザクション2 200 199 200 トランザク ション開始 199 200 トランザク ション開始 終了 参照 終了 -1 -1
39. プロダクト - デフォルト設定 トランザクション1 トランザクション2 200 199 200 トランザク ション開始 199 200 トランザク ション開始 終了 参照 ? -1 -1
40. プロダクト - デフォルト設定 あれ、計算あわへんやん
41. プロダクト - デフォルト設定 トランザクション分離レベルのデフォルト設定 Oracleなど MySQL 紳士 (マージして書き込み) 暴れん坊 (俺のデータで上書き)
42. プロダクト - デフォルト設定 そんなん、言うといてもらわんと…
43. プロダクト - デフォルト設定 1. 想定していた挙動になるように、 トランザクション分離レベルを変 更 対策
44. プロダクト - デフォルト設定 1. データベースソフトウェアの 挙動の相違を確認する 学び
45. インフラ インフラ
46. 1. アーカイブ処理の件数が 通常平均の300倍に！ 2. DBサーバーのCPU使用率が激 増！ インフラ
47. 1. アーカイブ処理の件数が 通常平均の300倍に！ 2. DBサーバーのCPU使用率が激 増！ インフラ
48. インフラ - アーカイブ処理の件数が通常平均の 300倍に！ 契約A 最終ログイン 2020/01/01 契約C 最終ログイン 2020/01/05 契約B 最終ログイン 2019/12/01 一定日数ログインされていないアカウントをDB サーバーからエクスポートした上で削除する ※ただし、ログインすると自動的にアーカイブ から復帰処理が行われる アーカイブ処理 契約B 最終ログイン 2019/12/01
49. インフラ - アーカイブ処理の件数が通常平均の 300倍に！ 契約A 最終ログイン 2020/01/01 契約B 最終ログイン 2019/12/01 契約C 最終ログイン 2020/01/05 契約B 最終ログイン 2019/12/01 ログインすると自動的にアーカイブから復帰処 理が行われる 復帰処理
50. インフラ - アーカイブ処理の件数が通常平均の 300倍に！ ある日のアーカイブレポート件数 1,200件!!
51. インフラ - アーカイブ処理の件数が通常平均の 300倍に！ 調査を進めていくと・・・
52. インフラ - アーカイブ処理の件数が通常平均の 300倍に！ 各契約者の 最終ログイン日時が 更新されていない！
53. インフラ - アーカイブ処理の件数が通常平均の 300倍に！ ということは・・・
54. インフラ - アーカイブ処理の件数が通常平均の 300倍に！ ログインしているのに、 ログインしていないって 判断されたんですね…
55. インフラ - アーカイブ処理の件数が通常平均の 300倍に！ 復帰するアカウントの数…(-_-;)
56. インフラ - アーカイブ処理の件数が通常平均の 300倍に！ しかし、なぜ更新されなかったのか？
57. インフラ - アーカイブ処理の件数が通常平均の 300倍に！ 最終ログイン日時更新 バッチの cron設定がされていな かった
58. インフラ - アーカイブ処理の件数が通常平均の 300倍に！ なぜ？
59. インフラ - アーカイブ処理の件数が通常平均の 300倍に！ 少し前にサーバー移行を 実施した時にcronの設定 が漏れていたから
60. インフラ - アーカイブ処理の件数が通常平均の 300倍に！ コードでサーバー構築するのを さぼったからですね・・・。
61. インフラ - アーカイブ処理の件数が通常平均の 300倍に！ 1. 日時バッチが正常稼働しているかを モニタリング 2. アーカイブ前に対象件数を把握でき る仕組みを構築 対策
62. 1. アーカイブ処理の件数が 通常平均の300倍に！ 2. DBサーバーのCPU使用率が激 増！ インフラ
63. なぜか… CPU使用率が 90%を超える状 態が続いていた インフラ - DBサーバーのCPU使用率が激増！
64. 状況確認すると… • 複数リロード • リロードでHTTPのプロセスは死 んでるのに、PHPのプロセスは増 加する一方 • CPU負荷が高いSQLクエリの多重 実行されていた インフラ - DBサーバーのCPU使用率が激増！
65. 調査結果… HTTPとPHPは別プロセ スであったため、リロー ドやブラウザを閉じた場 合も、SQLクエリは、実 行中のままとなっていた インフラ - DBサーバーのCPU使用率が激増！
66. インフラ - DBサーバーのCPU使用率が激増！ 1. リロードやブラウザを閉じたこと を検知し、対応するSQLクエリを 強制的に終了する仕組みを構築 対策
67. インフラ インフラまとめ
68. インフラ 1. 定期バッチは成功/失敗に限らず監視 2. 負荷テストはサーバー内プロセス数も 確認 3. 影響度が大きい定期バッチは確認と実 施の二段階で事故を防ぐ 4. サーバー構築は設定漏れ防ぐIaCで 学び
69. 仲間募集 仲間募集
70. • Webエンジニア • インフラエンジニア • iOSエンジニア 仲間募集 - 募集職種
71. 仲間募集 - お話しましょう しくじり談義希望のかたは、 ぜひブースへお越しください
72. ご清聴ありがとうございました m(_ _)m