How to Work with Legacy Ruby on Rails Applications in Treasure Data

Slide 1

Slide 1 text

Copyright 1995-2018 Arm Limited (or its affiliates). All rights reserved. How to Work with Legacy Ruby on Rails Applications in Treasure Data Shimpei Makimoto, API Team Arm Treasure Data 16 October 2018 PLAZMA TD Tech Talk 2018 at Shibuya

Slide 2

Slide 2 text

Copyright 1995-2018 Arm Limited (or its affiliates). All rights reserved. こんにちは ● Shimpei Makimoto ● API Team, Arm Treasure Data since November 2017 ● TD では特に認証認可に関することをやっている ● https://github.com/makimoto ● https://twitter.com/makimoto

Slide 3

Slide 3 text

Copyright 1995-2018 Arm Limited (or its affiliates). All rights reserved. Goals of this presentation ● Treasure Data の内部においてウェブ API アプリケーションやそれを開発・運用する API チームが果している役割について知ってもらう ● 最近の API チームのチャレンジについて紹介する

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Copyright 1995-2018 Arm Limited (or its affiliates). All rights reserved. PR https://www.treasuredata.com/company/careers/ もうすぐ Senior Web Backend API Engineer というタイトルのポジションが開くと思うので、興味がある人は声かえてください。 (このトークまでに出せたらよかったけど間に合わなかった……)

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Copyright 1995-2018 Arm Limited (or its affiliates). All rights reserved. What is “API” in TD? ● “Treasure Data についてのウェブ API を提供するサービス” ● 具体的には、“td-api” レポジトリ (private) に含まれる Ruby on Rails プロジェクトのこと ● (主にサービスの観点で) “api3” の名でも呼ばれる ● 開発・運用しているのは API Team

Slide 9

Slide 9 text

Copyright 1995-2018 Arm Limited (or its affiliates). All rights reserved. API Team ● td-api の開発・運用に責任を負う ● この発表時点で 6 人のチーム (5人が東京近辺在住、1人が Colombia 在住) ○ Ruby コミッタ1人 ○ Rails コミッタ2人 ● @kamipo さんが ActiveRecord の最新機能をバックポートしたりして便利 ● ウェブアプリケーション開発や運用のバックグラウンドを持つ人が多い

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Copyright 1995-2018 Arm Limited (or its affiliates). All rights reserved. Actual API’s responsibilities ● アカウント情報やジョブやユーザデータベースの管理 ● これらを実現する JSON を話す RESTful API エンドポイントの提供 ● 複数の用途の API (公開用、コンソール用、内部コンポーネント用) の維持 ● 前世代のコンソールのためのフロントエンド実装の維持 ● 認証 ● 認可 ● 管理画面 ● 外部サービス連携のためのロジック ● データインポートのためのロジック ● etc. etc.

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Copyright 1995-2018 Arm Limited (or its affiliates). All rights reserved. Current ● td-api ○ Ruby 2.3.3 → Ruby 2.5.1 ○ Rails 4.2.10 → Rails 5.0.7 (※発表時 5.0.2 とありましたがこれは誤りで、実際は 5.0.7 でした) ○ Hosted on EC2/IDCF Cloud directly → Hosted on Docker containers ● connection-api ○ TD-hosted な Embulk の設定などの管理が別サービスに分離

Slide 19

Slide 19 text

Copyright 1995-2018 Arm Limited (or its affiliates). All rights reserved. Other kaizens in the last few months ● Rails が生成する X-Request-Id ヘッダの値を Rails アプリ間で持ち回るようにし、各種ログに記録されるようになり、エラー追跡などに使えるようになった ● 伝統的に大量に使用されている RAILS_ENV の数が減った ● 内部コンポーネントが公開 API と内部 API の両方を叩いていたのを内部 API だけ使うようになった

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Copyright 1995-2018 Arm Limited (or its affiliates). All rights reserved. Separating Access Control ● td-api ではアクセス制御に CanCanCan という gem を使っている ● td-api が見ているリソース以外のアクセス制御も取り扱いたい ● CanCanCan は Rails に強く依存しているので我々のユースケースから離れてきている ● →新しいサービスを作ってアクセス制御の役割を担わせたい

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Copyright 1995-2018 Arm Limited (or its affiliates). All rights reserved. New service or not ● 当初の計画: 新しい独立したアプリケーションを建てる ● 現在の計画: 最初に td-api 内のコンポーネントとしてサービスを実装する ● 複数サービス間のやりとりは設計に不具合があった際のリカバーが面倒 ○ サービス分割の分断面を見誤ると後で直すのが大変 ○ そもそも動いた段階でプロダクトの要求が変わる可能性がある ● 新規サービスだとゆるい制約だけで分割可能なコンポーネントを既存サービス内に作れる ○ 逆に既存サービスの分割だと歯をくいしばる以外なさそう

Slide 24

Slide 24 text

Copyright 1995-2018 Arm Limited (or its affiliates). All rights reserved. Basic idea on separating services graduatelly “main service” (具体的には td-api) 内に “sub service” のコンポーネントを作る sub service のデータベースは main service のものとは分ける main service sub service main service DB sub service DB

Slide 25

Slide 25 text

Copyright 1995-2018 Arm Limited (or its affiliates). All rights reserved. Basic idea on separating services graduatelly “main service” が “sub service” を使う際は必ず所定のインターフェースを使うインターフェースは create_permission みたいなメソッドを提供しているが、 CQRS とイベントソージングなどを採用することもできる main service sub service interface

Slide 26

Slide 26 text

Copyright 1995-2018 Arm Limited (or its affiliates). All rights reserved. Separating services graduatelly “interface” と対応するウェブ API を用意して “main service” からの使用をウェブ API 経由にする HTTP リクエストのオーバーヘッドなどが許容できるか評価するのもこの段階 main service sub service interface Web API HTTP

Slide 27

Slide 27 text

Copyright 1995-2018 Arm Limited (or its affiliates). All rights reserved. Separating services graduatelly これまでの段階で十分な要件を果たしていることが確認できたら、満を持してサービスを分割するサービスを建てたら基本的にコンシューマ側 (“main service”) のエンドポイントを切り替えるだけで実現できる main service sub service Web API HTTP sub service interface Web API interface