trocco SREチームの概要と取り組みについて

Transcript

1. 2021/05/14 株式会社primeNumber
 百々 太市
 trocco SREチームの概要と取り組みについて
 0


2. ©2021 primeNumber Inc. All Rights Reserved. Confidential. 1
 会社紹介と本日出席のメンバー紹介
 ✔

   株式会社primeNumber 2015年11月設立 ✔ データエンジニアリングに特化した開発事業を展開 　　 ✔ 分析基盤の総合支援サービス trocco (トロッコ) の開発・運営 ✔ 執行役員CTO、エンジニア ✔ 鈴木健太 ✔ エンジニア ✔ 伊藤雄 ✔ プリセールス ✔ 中山浩平 ✔ カスタマーサクセス、エンジニア ✔ 百々太市（本日の発表者） 会社説明
 本日の出席者


3. ©2021 primeNumber Inc. All Rights Reserved. Confidential. troccoの基本機能の紹介
 2
 企業の様々なデータの活用を支援する

   「日本発」のデータ統合自動化サービスです ✔ 様々な種類のデータソースに対して GUIを用いて簡単にデー タ転送パイプラインを構築できます ✔ データマート機能によりDWH管理を柔軟に行うことができま す 　　 ✔ 複雑なデータ転送パイプラインを GUI上で簡単に定義するこ とが出来ます

4. ©2021 primeNumber Inc. All Rights Reserved. Confidential. troccoを安定稼働させる上での難しさ
 3
 様々な形式のデータ型に対してスキーマを自

   動推論することが可能 
 スケーラビリティの考慮されたインフラで、高 速化や同時並列実行も問題なし 
 100種以上のDB・ストレージ・SaaSと連携可能 
 troccoの原則
 安定運用させるためのポイント
 お客様固有のあらゆるデータに対応する必要 がある
 お客様のパフォーマンス要件に合わせたデー タ統合基盤であり続ける必要がある 
 様々なサードパーティ製のサービスに対して 品質良く連携し続ける必要がある 
 troccoの原則がそのまま安定稼働の難しさに直結している


5. ©2021 primeNumber Inc. All Rights Reserved. Confidential. troccoのアーキテクチャの紹介
 4


6. ©2021 primeNumber Inc. All Rights Reserved. Confidential. SREの目標設定
 5
 アプリケーションの品質向上（機能

   要件） バグを限りなく少なくし、 troccoの信頼度を高める。 ・テストの充実化 ・アプリ起因の品質強化 ・バグ分析と品質向上に向けたフローの整備 troccoのパフォーマンス維持（非機 能要件） 顧客数の増大に対し、転送遅延などのパフォーマン スをキープすることで、データパイプラインとしての信 頼度を高める。 また、セキュリティを強化することで顧客が安心して データ転送を行える基盤をキープする。 ・パフォーマンス強化 ・セキュリティ強化 ・troccoコストの維持 trocco安定稼働 一部属人化している監視周りを組織化し、インシデン トの管理と品質へのフィードバックを含めたフローを 構築し、より障害の少ない安定した基盤を達成する。 ・監視の強化と自動化 ・インシデント管理と品質向上に向けたフローの整備 ・SLOダッシュボードのブラッシュアップ CSチームとの連携強化 顧客数増の計画に対し、顧客オンボーディング体制 の増強が急務。CSチームと協力し、ともにオンボー ディングを行い ・CREチームの組成し、CSチームと連携しながら顧 客の課題に対してテクニカルな観点で解決する 継続的なリファクタリングの実施 開発スピードを落とさないよう、継続的にコードベー ス・アーキテクチャの見直しを行っていく ・日々のリファクタ ・改善weekの実施

7. ©2021 primeNumber Inc. All Rights Reserved. Confidential. 今回はこちら2つのトピックについて説明します
 6
 監視の強化と自動化

   CSチームとの連携強化

8. ©2021 primeNumber Inc. All Rights Reserved. Confidential. 監視の強化と自動化 〜New Relicによる監視強化〜


   7
 New Relic
 infrastructure
 k8s基盤の監視
 AWS サービス（RDSなど）の監視
 アプリケーションの監視
 転送ジョブのアプリケーション監視
 転送エンジン（embulk）のメモリ監視


9. ©2021 primeNumber Inc. All Rights Reserved. Confidential. 監視の強化と自動化 〜New Relicメトリクスのダッシュボード化〜


   8
 アプリケーション（APM、Prometheus）やインフラのメトリクスをもとにNew Relicのダッシュボード機能を用いて可視化
 ✔ New Relic infraの k8sのメトリクスを利 用した可視化 ✔ Cloudwatchのメトリ クスを利用した可視 化 ✔ Prometheusを用いたJVMの メモリの利用状況の可視化 ✔ APMのメトリクスを 利用した可視化

10. ©2021 primeNumber Inc. All Rights Reserved. Confidential. 監視の強化と自動化 〜Redashを用いたダッシュボード化〜
 9


    Redashを使用したアプリケーションデータ起点での監視の強化
 ✔ troccoのアプリケーションデータの見える化 ✔ 一部正常な動きでないアプリケーションデータの見 える化

11. ©2021 primeNumber Inc. All Rights Reserved. Confidential. 監視の強化と自動化 〜Redashを用いたダッシュボード化〜
 10


    各ダッシュボードで見える化した要素をSlackにアラートする
 ✔ 一部正常な動きでないアプリケーションデータのア ラート ✔ New Relicメトリクスも用いたアラート

12. ©2021 primeNumber Inc. All Rights Reserved. Confidential. 監視の強化と自動化 〜SLO /

    SLAダッシュボードの作成〜
 11
 New Relicやアプリケーションのメトリクスをtroccoを利用して
 BigQueryに統合した上でDataportalを用いて可視化しています
 ✔ trocco UIとデータ転送基盤それぞれに対して アプリケーション、インフラの観点で SLO / SLAを定め て可視化する

13. ©2021 primeNumber Inc. All Rights Reserved. Confidential. 監視の強化と自動化 〜効果〜
 12


    アプリケーション・インフラの様々な観点で見える化・アラートを実施 troccoの品質改善に繋がっており「troccoの原則」を守る上での重要な基盤になっている

14. ©2021 primeNumber Inc. All Rights Reserved. Confidential. CSチームとの連携強化 〜営業×エンジニアの取り組み〜
 13


    監視メトリクスのみでなくお客様情報についても
 troccoを利用してBigQuery上に統合・分析をしております


15. ©2021 primeNumber Inc. All Rights Reserved. Confidential. CSチームとの連携強化 〜営業×エンジニアの取り組み〜
 14


    収集した各データを用いてお客様毎にスコア値を算出し
 利用状況を見える化しております


16. ©2021 primeNumber Inc. All Rights Reserved. Confidential. CSチームとの連携強化 〜効果〜
 15


    お客様起点で様々なデータを統合・分析・可視化 チャーンの防止やさらなるtroccoの利用活性化につなげることができる

17. ©2021 primeNumber Inc. All Rights Reserved. Confidential. まとめ
 16
 ①「troccoの原則」を守るために様々な情報を見える化し品質改善の活動に活か

    している ② 各メトリクスとお客様データを組みわせることでお客様の満足度を向上させる取 り組みも行っている