Quipperにおける将来の学習データを支える基盤づくり

2019年2月8日にTECH PLAY Shibuya で行われた [ スタディサプリ/Quipper Product Meetup #2 〜64万人が利用する教育サービスを作る技術と育てる技術〜 ] のイベント登壇資料です。

Transcript

1. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり Quipperにおける将来の学習データを支える 基盤づくり @atkak StudySapuri/Quipper Product Meetup #2
2. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり Agenda | 01 02 03 04 05 自己紹介 学習データドメインにおける課題 課題解決の技術的アプローチ Microservices と負債 Microservices とチーム 2
3. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり Senior Software Engineer 2018年4月から Data Restructuring Project というテクニカルプロジェクトで、学 習データのためのバックエンドサービスの開発を進めている @atkak / 掛川 敦史 3
4. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり 学習データドメインにおける課題 02 4
5. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり 学習データについて ➔ ユーザーの学習状況を表す各種データ ➔ サプリ / Quipper のコアドメインのひとつ ➔ 講義の視聴や問題に対する回答など、ユーザーのアクションを表現するイベ ントを元にデータを作っている 5
6. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり 現在のシステム構成 ➔ オンラインサービス向けデータベース （MongoDB） ➔ データ分析・レポート作成向けデータ ウェアハウス（TreasureData） ➔ ロジック・データが複数箇所に存在 6
7. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり ➔ データの信頼性と柔軟性に問題 ◆ 同じデータを集計しても実装によって結果が異なっていることがある ◆ ユーザーのユースケースに沿った検索をかけることが難しい ➔ 技術的負債により単純な改修は困難 学習データドメインの課題 7
8. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり 学習データを より信頼性の高いものにしたい 8
9. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり 課題解決の技術的アプローチ 03 9
10. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり データソースの統一と ロジックの集約 10
11. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり ➔ ドメイン知識の流出とそれに 伴う実装間の乖離を防ぐ ➔ 様々な利用目的のために生 成されるデータの一貫性を サービスが担保 サービスによるコンポーネント化 11
12. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり ➔ 学習データに関わるリソースを API にて提供 ➔ データ分析基盤に時系列集計さ れたデータソースを提供 サービスのバウンダリ 12
13. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり ➔ ユーザーのアクティビティをイ ベントのストリームとして処理 ➔ ロジックを Event Processor に集約しつつ、アプリケーショ ンにニアリアルタイムでデータ を反映 Event Processing 13
14. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり ➔ CQRS ➔ イベントを Write Model として書 き込み ➔ Event Processor で処理して Read Model として永続化 Event Processing の実装 14
15. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり @impl GenServer def handle_cast({:aggregate, event}, acc) do // ストリームで流れてきたイベントを // 前回流れてきたイベントまでを集計した中間状態とあわせて集計 %Calculator.Result{ accumulator: new_acc, entity: some_entity, timeseries: some_timeseries } = Calculator.process(event, acc, current_datetime) // 集計結果を書き込み with :ok <- EntityWriter.put(some_entity), :ok <- TimeSeriesWriter.put(some_timeseries) do KinesisConsumer.check_out(event) {:noreply, {id, new_acc}} end end 15
16. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり 処理完遂の保証 ➔ イベント処理前にチェックポイント を設けて永続化 ➔ 処理を完遂する責務をクライアント アプリケーションからバックエンド サービスに移す 16
17. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり ➔ Eventual Consistency ➔ 非同期で処理結果の一貫性を保 証 ◆ 異なるデータストレージをま たいだ一貫性を実現 データの一貫性 17
18. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり Microservices と負債 04 18
19. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり Microservices 化の流れを 利用した負債の返済 19
20. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり プロダクトの負債 ➔ 長年にわたるプロダクト開発の末に仕様やドメイン知識が失われているケー スがある ◆ 「今動いているものが仕様」 ◆ 開発体制の問題は別途対処が必要として、負債に向き合う必要がある 20
21. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり サービスによる部分的なリプレイス ➔ ドメインの本来あるべき姿を再定義・再設計してリプレイス ◆ ある程度のリスクと引き換えに技術・プロダクト双方のまとまった量の負 債を返済 ◆ モノリスのフルリプレイスよりはリスクが小さい 21
22. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり 継続的でゆるやかなマイグレーション ➔ リプレイスであってもビッグバンリリースは避けるべき ◆ 別の切り口でシステムマイグレーションを漸進的に進める 22
23. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり 不確実性への対処 ➔ ドメインの再定義・再設計をしたところで完璧なものを作るのは難しいし、将 来のドメインの要求に応えられる保証はない ➔ 進化的設計/アーキテクチャのアプローチで漸進的に成長させていく ◆ Microservices のコンポーネント志向はそれを助けてくれる 23
24. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり Microservices とチーム 05 24
25. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり ➔ サービスによるコンポーネント化は Microservices の重要なアーキテクチャ 上の特徴 ➔ 他にも特徴はいくつかあるが... Microservices の特徴 25
26. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり 自己組織化されたチームを スケールさせるための技術基盤 26
27. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり ➔ 独立したプロダクトチームによる開発・運用 ◆ プロダクトマネジメント面や一部インフラの運用も含む ◆ “You build it, you run it” - Werner Vogels ➔ クロスファンクショナルなチームへ ◆ 心理的安全性とチーム開発を通した学び Microservices とチーム 27
28. #sapurimeetup Quipperにおける将来の学習データを支える基盤づくり ご清聴ありがとうございました 28