あのプロジェクトは今。 / kichijojipm

吉祥寺pmの登壇資料です。
https://kichijojipm.connpass.com/event/128569/

Transcript

1. あのプロジェクトは今。 僕が考えた 最強のRDBリファクタリング 吉祥寺.pm #18
2. What is it? 吉祥寺.P(roject)M(anagement)
3. What is it? みなさん覚えていますか？
4. What is it?
5. What is it? RDBリファクタリングの話
6. What is it? あれから一年
7. What is it? そーだいなる物語が今、始まる
8. あじぇんだ 1 自己紹介 2 おさらい 3 技術で解決できたこと 4 技術で解決できなかった事 5 まとめ
9. あじぇんだ 1 自己紹介 2 おさらい 3 技術で解決できたこと 4 技術で解決できなかった事 5 まとめ
10. 自己紹介 曽根 壮大（34歳) 株式会社オミカレ 副社長/CTO • 日本PostgreSQLユーザ会 勉強会分科会 座長 • 3人の子供がいます • 技術的にはWeb/LL言語/RDBが好きです そ ね た け と も
11. 自己紹介 曽根 壮大（34歳) 株式会社オミカレ 副社長/CTO • 日本PostgreSQLユーザ会 勉強会分科会 座長 • 3人の子供がいます • 技術的にはWeb/LL言語/RDBが好きです そ ね た け と も
12. 婚活といえばオミカレ https://party-calendar.net/
13. 本を書きました https://www.amazon.co.jp/exec/obidos/ASIN/4297104083/maple036-22/
14. あじぇんだ 1 自己紹介 2 おさらい 3 技術で解決できたこと 4 技術で解決できなかった事 5 まとめ
15. おさらい オミカレは DBリファクタリングをしています
16. https://employment.en-japan.com/engineerhub/entry/2018/12/11/110000
17. おさらい なぜ 我々はリファクタリングするのか
18. リファクタリングをする理由 システム、三日会わざれば刮目して見よ
19. リファクタリングをする理由 いなかった時期
20. リファクタリングをする理由 わずか1年半 しかし成長するには充分な時間である
21. リファクタリングをする理由 とある日の出来事 「TABLEを眺める会をやろう！」
22. リファクタリングをする理由 このTABLEってなんですか？ それな、俺も知らないんだ…
23. リファクタリングをする理由 誰も知らないTABLEの恐怖
24. 謎のデータ mysql> SELECT gender FROM demo GROUP BY gender; +--------+ | gender | +--------+ | 0 | | 1 | | 女性 | | 男性 | +--------+ 4 rows in set (0.62 sec)
25. なるほど？？？
26. リファクタリングをする理由 8年目のWebサービス
27. リファクタリングをする理由 8年目のWebサービス ↓ 多くの変化によって、技術的負債が出来る 事業の成長のために優先順として仕方ないところもある
28. リファクタリングをする理由 有るモノを嘆いても何も変わらない
29. リファクタリングをする理由 有るモノを嘆いても何も変わらない ↓ 自分たちが技術で解決していくしか無い
30. あじぇんだ 1 自己紹介 2 おさらい 3 技術で解決できたこと 4 技術で解決できなかった事 5 まとめ
31. 技術で解決できたこと 要件 • なるべく無停止で進めたい • 複数のWebサービスから参照される が同時には直せない • 工数は限られ、新規開発は止めない
32. リファクタリング方針 Aurora みんなの婚活 オミカレ party_detail party_open party 既存スキーマ 新スキーマ オミカレ データベース トリガー
33. リファクタリング方針 Aurora みんなの婚活 オミカレ party_detail party_open party 既存スキーマ 新スキーマ オミカレ データベース トリガー ① アプリケーション がデータを書き込む
34. リファクタリング方針 Aurora みんなの婚活 オミカレ party_detail party_open party 既存スキーマ 新スキーマ オミカレ データベース トリガー ②書き込みをイベント にトリガーが起動
35. リファクタリング方針 Aurora みんなの婚活 オミカレ party_detail party_open party 既存スキーマ 新スキーマ オミカレ データベース トリガー ③トリガーがそれぞれのテーブル に書き込みを行う
36. リファクタリング方針 Aurora みんなの婚活 オミカレ party_detail party_open party 既存スキーマ 新スキーマ PostgreSQL トリガー 異種DB間の レプリケーションが必要
37. 技術で解決できたこと AWS Database Migration Service
38. Amazon DMSの仕組み ソース エンドポイント (Aurora) タスク テーブル単位でのレプリケーションが可能 ターゲット エンドポイント (PostgreSQL) レプリケーション インスタンス タスク
39. Amazon DMSの仕組み https://speakerdeck.com/takahashiikki/postgresqljapan2018
40. リファクタリング方針 Aurora みんなの婚活 オミカレ party_detail party_open party 既存スキーマ 新スキーマ PostgreSQL トリガー 出来る！
41. 技術で解決できたこと 運用での出来事
42. 技術で解決できたこと 時々DMSが止まるッス！ データの登録時のエラーを監視しよう
43. 技術で解決できたこと RDSのログを PHP経由で定期的にチェックする
44. 技術で解決できたこと 1. AWS SDK for PHPで downloadDBLogFilePortion関数を実行 2. Errorなどの特定のキーワードを拾ってalert 3. Mackerelのチェック監視の仕組みで通知
45. 技術で解決できたこと AWS php mackerel-agent Slack ① SDKを実行 ② ログを取得 ③ ログを確認 ④Mackerel経由で通知 Mackerel-agentが定期的に実行する
46. 技術で解決できたこと 既存のコードテスト無いッス！ REST APIでモデルを抽象化してそこにテストを加工
47. 技術で解決できたこと https://employment.en-japan.com/engineerhub/entry/2018/12/11/110000
48. 技術で解決できたこと 参照を切り替える
49. 技術で解決できたこと 参照を切り替える ↓ API経由にすることでModel単位で対応
50. この方法のメリット • Model単位で移行が可能 – 対象のテーブル単位で対応できる – リスクの範囲を小さくできる • 既存の仕組みを止める必要が無い – カナリヤリリース出来る – ロールバックしやすい • 以下のパターンで概ねリスク低く、対応出来る – 読み込みだけAPIにして書き込みはOLD • この場合はデータはAmazon DMSで連携 – 書き込みはAPIとOLDの両方に書き込み、 読み込みはOLD • この場合はAmazon DMSを使わない
51. 実際に運用してわかったこと 1. 性別がintでは無く文字列のため表記揺れ 2. MySQLのZero Date問題(0000-00-00) 3. タイムゾーンがUTCでズレる
52. 技術で解決できたこと 想定外のデータは意外とある
53. 技術で解決できたこと 想定外のデータは意外とある ↓ 細かい制約と監視・観測で 1つ1つ潰して行く
54. あじぇんだ 1 自己紹介 2 おさらい 3 技術で解決できたこと 4 技術で解決できなかった事 5 まとめ
55. 技術で解決できなかった事 全てを1回で捨てれなかった
56. 技術で解決できなかった事 全てを1回で捨てれなかった ↓ 具体的には管理画面とか
57. 技術で解決できなかった事 ユーザ画面変更に対する 画面リニューアルのリスク
58. 技術で解決できなかった事 ユーザが本当に付いて来るか SEOは大丈夫か
59. 技術で解決できなかった事 ビジネス的なメリットを 用意できなかった
60. 技術で解決できなかった事 スケジュールと見積もり
61. 技術で解決できなかった事 スケジュールと見積もり ↓ 無限にズレる
62. 技術で解決できなかった事 デザイナーの採用
63. 技術で解決できなかった事 デザイナーの採用 ↓ これ、もう運じゃね？
64. 技術で解決できなかった事 売上の拡大
65. 技術で解決できなかった事 売上の拡大 ↓ 技術的に優れているからと言って 売れるとは限らない
66. あじぇんだ 1 自己紹介 2 おさらい 3 技術で解決できたこと 4 技術で解決できなかった事 5 まとめ
67. まとめ まだ絶賛リファクタリング中なので 進捗を今後も報告していきます！ （辛かったとこも含めて）
68. オミカレは仲間を募集中です デザイナやマーケやエンジニアを 絶賛 大募集中です https://party-calendar.net/corp/recruite
69. まとめ ここで一句
70. まとめ 改善は 今日の一歩が 道になる
71. ご清聴ありがとうございました