リプレイスではなくリノベーションという選択について/Don't replace, but renovate

オウチーノでは何度かリプレイスの話が出てきては消え、実行しては潰れてきました。そこに立ちはだかったのが、複雑怪奇なバックエンドの構造です。
・サービスによって異なるデータベース
・毎日ほぼ全てのデータを入れ替える、仕様書のないバッチ
・絶え間なく走り続ける、複雑かつ肥大化したSQL
・職人の技が光るリリース作業
これらの諸問題に、リプレイスという真っ向勝負を避け、如何にリノベーション（更新）してきたかをご紹介いたします。

Transcript

1. リプレイスではなく リノベーション という選択について STTMeetup#7 システムリプレイス Night 2018/08/28 @K-Bokka
2. 自己紹介 ＠仕事 • 株式会社オウチーノ　インフラ・基盤チームリーダ • 元：COBOLerで某大手通信事業者のバックエンド担当 • 今：Scala+Elasticsearchでバックエンド担当 ＠私生活 • 非公開 • 宅建士の勉強中
3. まず最初に
4. 先々週、リプレイスしました
5. お話しすること • 見た目のリプレイスのために、バックエンドが どんな苦労したか • DBやBatchは変わってないように見えるけ ど、実は色々変えています
6. リプレイスはツライ
7. 立ちはだかる現実
8. 昔話（SES時代） • サービス毎に担当者が別れていて、何か大きめの 仕事だと常に外注を使っていた • 大きな仕事は外の人がやるからか、いまいちサー ビスに対する愛着が感じられない • 新築のリニューアルをやろうとしていたが、Viewの 変更だけで結構な見積もりがきた
9. いっその事 作り直した方が いいんじゃないか
10. 新築リプレイスチャレンジ • Ethna is 何？ • .class と .java の内容が違う • CSVを読んで物件の情報を入れるだけのバッチが、 何故か10個もある • SQLの階層が深すぎる • どこのサーバーに何があるのか分からない • 管理画面が複雑すぎる
11. 挫折しました そこで
12. リノベーション ご存知ですか？
13. リノベーションとは • リフォームをさらにもう一歩進めたもの • リフォーム – 老朽化したものを新築状態にする • リノベーション – 新築状態よりいいものにする
14. 分かるところから 少しずつ変えて行こう
15. まず、検索は重要だろう
16. よくある検索条件 • 最寄駅・所在地 • 価格・広さ • 間取り・築年数 • ペット飼える？静か？最上階？駐車場は？
17. 他にも色々情報はある • 売主？代理？仲介？ • 建ぺい率と容積率は？ • 土地の権利は？ • 私道負担は？ • セットバックは？ etc..etc..
18. とりあえず無視して
19. Embulkで検索用データを抽出
20. その上にAPIを乗っける
21. 検索できるようになった！
22. 画面をつければサイトが完成
23. いや、そんな簡単な 話じゃないだろ
24. でも、 意外と簡単だったんです
25. 新築・中古でデータは別 estates という別名を つけてるだけ
26. 登録も別々に行う
27. 完了したら個別に切り替え
28. 新築と中古のデータ差分は？ • 項目名は Embulk がSQL or plugin で揃える • 項目の有無は、Elasticsearchでは問題にならな い（項目無しが許容される） • データ型はElasticsearch側で固定
29. 意外とあっさりと 代替データベースが完成
30. つまり あまり苦労してません
31. 次の話題 既存変わってない ように見える問題
32. 見た目では全く変わってません
33. 実は手法を変えました
34. 新しく作った方は 開発が圧倒的に楽
35. デプロイ チャットでボットにお願いすると、ジョブを起動してデプロイしてく れる - チャットツール： - チャットボット： - ジョブ管理ツール： Ruboty
36. ログの解析 fluentdがよしなに収集してくれているので、Re:dash からSQLを 発行できる - ログ収集： - 解析： - ダッシュボード： Amazon Athena
37. サーバー設定 ローカルからコマンド一発で終了 `bin/itame apply hoge` - 構成管理ツール：
38. サーバー監視 閾値を下回った瞬間に、自動で電話をかけてくれるくらいに優 秀 - 監視ツール： Prometheus
39. せっかくだから 古い方もこいつらを使おう
40. デプロイ • 実行した事 – `git pull & rsync` するジョブを登録 • 実行前 – 心温まる手作業なので、エンジニアしかできない • 実行後 – デザイナーがデプロイ可能に！ Ruboty
41. ログの解析 • 古い方にした事 – プロキシサーバーにfluentdを入れただけ • 実行前 – SSHで入って access_log を見ていた • 実行後 – ディレクターがSQLを書いて解析するようになった
42. サーバー設定 • 古い方にしている事 – 都度都度、サーバーから取り出してGitに登録 • 実行前 – 心温まる手作業 • 実行後 – コマンド1発で終わる上に、差分管理まで出来るように
43. サーバー監視 • 古い方にした事 – Clowdwatchのメトリクスを追加 • 実行前 – 外部に委託していた • 実行後 – 自動で電話までかけてくるように… Prometheus
44. Before
45. After
46. 変わった所 • エンジニア以外の人間が関わるようになった • サーバーの設定がソースとして管理されるよう になった
47. まとめ • Web+DB+Batchをセットで考えず、とりあえず DB+Batchを代替するものを作ってみたら、意外 と上手くいった • どうしても手がでない部分は、開発手法を変更 するというアプローチも良さそう
48. 何事も少しずつ 更新（リノベーション） した方が良さそう
49. リノベーション やってみませんか？
50. ご静聴ありがとうございました