あのプロジェクトは今。 / kichijojipm

1.

あのプロジェクトは今。僕が考えた最強のRDBリファクタリング吉祥寺.pm #18

2.

What is it? 吉祥寺.P(roject)M(anagement)

3.

What is it? みなさん覚えていますか？

4.

What is it?

5.

What is it? RDBリファクタリングの話

6.

What is it? あれから一年

7.

What is it? そーだいなる物語が今、始まる

8.

あじぇんだ 1 自己紹介 2 おさらい 3 技術で解決できたこと 4 技術で解決できなかった事 5
まとめ

9.

まとめ

10.

自己紹介曽根壮大（34歳) 株式会社オミカレ副社長/CTO • 日本PostgreSQLユーザ会勉強会分科会座長 •
3人の子供がいます • 技術的にはWeb/LL言語/RDBが好きですそねたけとも

11.

自己紹介曽根壮大（34歳) 株式会社オミカレ副社長/CTO • 日本PostgreSQLユーザ会勉強会分科会座長 •
3人の子供がいます • 技術的にはWeb/LL言語/RDBが好きですそねたけとも

12.

婚活といえばオミカレ https://party-calendar.net/

13.

本を書きました https://www.amazon.co.jp/exec/obidos/ASIN/4297104083/maple036-22/

14.

まとめ

15.

おさらいオミカレは DBリファクタリングをしています

16.

https://employment.en-japan.com/engineerhub/entry/2018/12/11/110000

17.

おさらいなぜ我々はリファクタリングするのか

18.

リファクタリングをする理由システム、三日会わざれば刮目して見よ

19.

リファクタリングをする理由いなかった時期

20.

リファクタリングをする理由わずか1年半しかし成長するには充分な時間である

21.

リファクタリングをする理由とある日の出来事「TABLEを眺める会をやろう！」

22.

リファクタリングをする理由このTABLEってなんですか？それな、俺も知らないんだ…

23.

リファクタリングをする理由誰も知らないTABLEの恐怖

24.

謎のデータ mysql> SELECT gender FROM demo GROUP BY gender; +--------+
| gender | +--------+ | 0 | | 1 | | 女性 | | 男性 | +--------+ 4 rows in set (0.62 sec)

25.

なるほど？？？

26.

リファクタリングをする理由 8年目のWebサービス

27.

リファクタリングをする理由 8年目のWebサービス ↓ 多くの変化によって、技術的負債が出来る事業の成長のために優先順として仕方ないところもある

28.

リファクタリングをする理由有るモノを嘆いても何も変わらない

29.

リファクタリングをする理由有るモノを嘆いても何も変わらない ↓ 自分たちが技術で解決していくしか無い

30.

まとめ

31.

技術で解決できたこと要件 • なるべく無停止で進めたい • 複数のWebサービスから参照されるが同時には直せない • 工数は限られ、新規開発は止めない

32.

リファクタリング方針 Aurora みんなの婚活オミカレ party_detail party_open party 既存スキーマ新スキーマオミカレ
データベーストリガー

33.

データベーストリガー ① アプリケーションがデータを書き込む

34.

データベーストリガー ②書き込みをイベントにトリガーが起動

35.

データベーストリガー ③トリガーがそれぞれのテーブルに書き込みを行う

36.

リファクタリング方針 Aurora みんなの婚活オミカレ party_detail party_open party 既存スキーマ新スキーマ PostgreSQL
トリガー異種DB間のレプリケーションが必要

37.

技術で解決できたこと AWS Database Migration Service

38.

Amazon DMSの仕組みソースエンドポイント (Aurora) タスクテーブル単位でのレプリケーションが可能ターゲットエンドポイント (PostgreSQL)
レプリケーションインスタンスタスク

39.

Amazon DMSの仕組み https://speakerdeck.com/takahashiikki/postgresqljapan2018

40.

リファクタリング方針 Aurora みんなの婚活オミカレ party_detail party_open party 既存スキーマ新スキーマ PostgreSQL
トリガー出来る！

41.

技術で解決できたこと運用での出来事

42.

技術で解決できたこと時々DMSが止まるッス！データの登録時のエラーを監視しよう

43.

技術で解決できたこと RDSのログを PHP経由で定期的にチェックする

44.

技術で解決できたこと 1. AWS SDK for PHPで downloadDBLogFilePortion関数を実行 2. Errorなどの特定のキーワードを拾ってalert 3.
Mackerelのチェック監視の仕組みで通知

45.

技術で解決できたこと AWS php mackerel-agent Slack ① SDKを実行 ② ログを取得 ③
ログを確認 ④Mackerel経由で通知 Mackerel-agentが定期的に実行する

46.

技術で解決できたこと既存のコードテスト無いッス！ REST APIでモデルを抽象化してそこにテストを加工

47.

技術で解決できたこと https://employment.en-japan.com/engineerhub/entry/2018/12/11/110000

48.

技術で解決できたこと参照を切り替える

49.

技術で解決できたこと参照を切り替える ↓ API経由にすることでModel単位で対応

50.

この方法のメリット • Model単位で移行が可能 – 対象のテーブル単位で対応できる – リスクの範囲を小さくできる • 既存の仕組みを止める必要が無い –
カナリヤリリース出来る – ロールバックしやすい • 以下のパターンで概ねリスク低く、対応出来る – 読み込みだけAPIにして書き込みはOLD • この場合はデータはAmazon DMSで連携 – 書き込みはAPIとOLDの両方に書き込み、読み込みはOLD • この場合はAmazon DMSを使わない

51.

実際に運用してわかったこと 1. 性別がintでは無く文字列のため表記揺れ 2. MySQLのZero Date問題(0000-00-00) 3. タイムゾーンがUTCでズレる

52.

技術で解決できたこと想定外のデータは意外とある

53.

技術で解決できたこと想定外のデータは意外とある ↓ 細かい制約と監視・観測で 1つ1つ潰して行く

54.

まとめ

55.

技術で解決できなかった事全てを1回で捨てれなかった

56.

技術で解決できなかった事全てを1回で捨てれなかった ↓ 具体的には管理画面とか

57.

技術で解決できなかった事ユーザ画面変更に対する画面リニューアルのリスク

58.

技術で解決できなかった事ユーザが本当に付いて来るか SEOは大丈夫か

59.

技術で解決できなかった事ビジネス的なメリットを用意できなかった

60.

技術で解決できなかった事スケジュールと見積もり

61.

技術で解決できなかった事スケジュールと見積もり ↓ 無限にズレる

62.

技術で解決できなかった事デザイナーの採用

63.

技術で解決できなかった事デザイナーの採用 ↓ これ、もう運じゃね？

64.

技術で解決できなかった事売上の拡大

65.

技術で解決できなかった事売上の拡大 ↓ 技術的に優れているからと言って売れるとは限らない

66.

まとめ

67.

まとめまだ絶賛リファクタリング中なので進捗を今後も報告していきます！（辛かったとこも含めて）

68.

オミカレは仲間を募集中ですデザイナやマーケやエンジニアを絶賛大募集中です https://party-calendar.net/corp/recruite

69.

まとめここで一句

70.

まとめ改善は今日の一歩が道になる

71.

ご清聴ありがとうございました

あのプロジェクトは今。 / kichijojipm

あのプロジェクトは今。 / kichijojipm

Want more?

Transcript