日経電子版SREチーム立ち上げ中

5cf34a61bba99605cc9bf892dd4bfbb9?s=47 osamunmun
January 25, 2020

 日経電子版SREチーム立ち上げ中

日経電子版を支えるSREチームが2019/1に発足しました。メディアとして安定したサービスを実現し、いつでもニュースをユーザーに届けられるようにすることは重要だと考えています。しかし、開発チームの体制は電子版を構成するシステムごとに分かれており、電子版全体の可用性、信頼性、アーキテクチャに責任を負うチームはありませんでした。また、各開発チームは機能開発と可用性、信頼性の担保の両方の責務を負っていて、必ずしも安定稼働上の課題に注力できない環境にあります。この課題を解決するべく、SREチームを発足しました。まだ、道半ばではありますがこれまでの取組を共有します。

5cf34a61bba99605cc9bf892dd4bfbb9?s=128

osamunmun

January 25, 2020
Tweet

Transcript

  1. 2.

    • 名前 ◦ 髙安 伯武(Takayasu Osamu) ◦ @osamunmun • 所属

    ◦ 日本経済新聞社 デジタル編成ユニット • やっていること ◦ 日経電子版の開発 ◦ 最近は、技術戦略、エンジニア組織作りなどがメイン about me 2
  2. 6.

    チーム体制 概略図 BFF for Mobile Web (r.nikkei.com) BFF for Native

    App (iOS/Android) PC System (www.nikkei.com) APIGateway NikkeiID Billing System APIs(MicroServices) search paper image save articles ….. Data Platform CMS for Digital Mail System Ads System Fastly 日経電子版システム概要図 創刊時からあるシステム 比較的新しいシステム 6
  3. 7.

    チーム体制 概略図 BFF for Mobile Web (r.nikkei.com) BFF for Native

    App (iOS/Android) PC System (www.nikkei.com) APIGateway NikkeiID Billing System APIs(MicroServices) search paper image save articles ….. Data Platform CMS for Digital Mail System Ads System Fastly 日経電子版システム概要図 創刊時からあるシステム 比較的新しいシステム AWS オンプレ 7
  4. 8.

    チーム体制 概略図 BFF for Mobile Web (r.nikkei.com) BFF for Native

    App (iOS/Android) PC System (www.nikkei.com) APIGateway NikkeiID Billing System APIs(MicroServices) search paper image save articles ….. Data Platform CMS for Digital Mail System Ads System Fastly 開発チームの構成 創刊時からあるシステム 比較的新しいシステム チーム 8
  5. 9.

    チーム体制 概略図 各開発チームの役割 Infra ServiceA Prometheus Grafana ServiceB Deploy Pipeline

    Infra ServiceC ES Kibana Logging Monitoring Availability... Deploy Pipeline Logging Monitoring Availability... • 各チームがそれぞれインフ ラ〜アプリ、機能開発〜運用 を頑張っている • 内製/外注開発チームがある ・・・ 9
  6. 13.

    チーム体制 概略図 BFF for Mobile Web (r.nikkei.com) BFF for Native

    App (iOS/Android) PC System (www.nikkei.com) APIGateway NikkeiID Billing System APIs(MicroServices) search paper image save articles ….. Data Platform CMS for Digital Mail System Ads System Fastly a.サービスレベルがバラバラ 創刊時からあるシステム 比較的新しいシステム • 5人で運用 • 障害を5分以 内に検知 • 2人で運用 • 障害検知 に30分 13
  7. 14.

    チーム体制 概略図 BFF for Mobile Web (r.nikkei.com) BFF for Native

    App (iOS/Android) PC System (www.nikkei.com) APIGateway NikkeiID Billing System APIs(MicroServices) search paper image save articles ….. Data Platform CMS for Digital Mail System Ads System Fastly a.サービスレベルがバラバラ 創刊時からあるシステム 比較的新しいシステム • 5人で運用 • 障害を5分以 内に検知 • 2人で運用 • 障害検知 に30分 そもそも電子版全体のサービスレ ベルが • 定義されていない • 計測されてない • 目標がない 14
  8. 17.

    チーム体制 概略図 BFF for Mobile Web (r.nikkei.com) BFF for Native

    App (iOS/Android) PC System (www.nikkei.com) APIGateway NikkeiID Billing System APIs(MicroServices) search paper image save articles ….. Data Platform CMS for Digital Mail System Ads System Fastly 電子版全体の安定性/アーキテクチャを誰が考える? 創刊時からあるシステム 比較的新しいシステム 17
  9. 19.

    SREチーム SREチーム APIチーム モバイルWeb チーム データチーム 兼務 • 責務 ◦

    電子版全体の「安定性」と「アーキテ クチャ」に責任を持つ • 特徴 ◦ 既存システムのオペレーション業務を 持ってない ◦ 全員SRE未経験者 電子版に関わるエンジニアは 約50名 ・・・ 19
  10. 24.

    SLI/SLOの設定にチャレンジするものの... • すべてのAPIにSLI/SLOを! ◦ internalなapiも含めるとAPIたくさん... ◦ pathによってSLO変わってくるのでは...? ◦ アクセスログの保管場所が散らばってるシステムも... ▪

    システム自体に手を入れないと... • リクエストベースでのSLI/SLOへの固執 ◦ 細かく設定しないとサービスレベルを測れないという思い込み ◦ 個別に設定しようとして途方に暮れる 24
  11. 30.

    SREチーム発足時の組織的状況 SREチーム 内製開発チーム ・・・ 非エンジニアのマネージャー レガシーシステムのチーム 非エンジニアのメンバー • 困ってない。あんまり関心ない •

    一部メンバーはSREチームにコ ミット • 楽になるのか? • 様子見 • SREのことを知らない • 解決しようとしている課題 もよくわからない • SREのことを知らない • 解決しようとしている課題 もよくわからない 30
  12. 32.

    現在のSREチームの立ち位置 内製開発チーム ・・・ 非エンジニアのマネージャー レガシーシステムのチーム 非エンジニアのメンバー SREチーム 期待 理解 リアーキテクチャの相談、協働

    相談、依頼 • SREのことを知らない • 解決しようとしている課題 もよくわからない • 解決しようとしている課題と 重要性を理解 32