データの価値を失わないためのData Reliability

Transcript

1. 1
   データの価値を失わないための
   Data Reliability Engineering
   前向きデータ整備人 #2 / 2020-02-06
   

   View Slide

2. 2
   ● 自己紹介 / 会社紹介
   ● Data Reliability Engineeringとは何か
   ● Data Reliability Engineeringのはじめかた
   ● eurekaでのData Reliability Engineeringの取り組み
   今日話すこと
   

   View Slide

3. 3
   Sotaro Tanaka @__sotaron__
   Data Engineer @ SRE Team, eureka Inc.
   ● データ基盤の設計 / 構築 / 運用
   ● SRE
   ● Data Reliability Engineering
   ● 好き: BigQuery / Docker / k8s / Go / Python
   ● 趣味: アニメ / ゲーム
   自己紹介
   

   View Slide

4. 4
   Key Takeaways（先出し）
   ● データの価値を失わないためには、データの整備だけでなく、品質やReliabilityに
   ついても目を向ける必要がある
   ● データのReliabilityは、エンジニアだけで考えるものではない
   ● Data Reliability Engineeringは、理論も実践もこれからな分野。仲間求ム。
   

   View Slide

5. 5
   Data Reliability Engineering
   とは何か？
   

   View Slide

6. 6
   前提
   ● 「Data Reliability Engineering」には、
   どこかの機関が定めている定義はありません (たぶん)
   ● eurekaが実務上課題にぶち当たり、必要にかられて発生したムーブです
   ● ある程度一般化することで、他の人に資するのでは？と思い、話をします
   

   View Slide

7. 7
   Why ?
   Data Reliability Engineering
   

   View Slide

8. 8
   [Why?] Data Reliability Engineering
   ソフトウェアに品質があるように、データにも品質がある
   ※ DMBOK本の「データ品質」のセクションおすすめ
   

   View Slide

9. 9
   case1: A/Bテストとデータ欠損
   ● ある施策で、セグメントを2つに分けて、新機能のA/Bテストを実施した
   ● 新機能の実装において、特定条件でログが発火しないバグがあった
   → 新機能に対して否定的なアクションのログが欠損していたら？
   → 間違った意思決定をする可能性は高い
   

   View Slide

10. 10
    データの完全性、一貫性の問題
    ● ある施策で、セグメントを2つに分けて、新機能のA/Bテストを実施した
    ● 新機能の実装において、特定条件でログが発火しないバグがあった
    → 新機能に対して否定的なアクションのログが欠損していたら？
    → 間違った意思決定をする可能性は高い
    

    View Slide

11. 11
    case2: 「これ、本当に最新のデータ？」
    ● 毎朝8:00に更新されるKPIレポート、
    PMはみんな朝このレポートを見て、サービスのヘルスチェックをしている
    ● ある施策のリリース後、関連バッチタスクのリソース圧迫により、ログが遅延してい
    た
    → アクション率の計算が不当に低くなり、切り戻し判断をしてしまうかも
    → 遅延が常態化すれば、PMにとって意思決定に使えないデータになる
    

    View Slide

12. 12
    データの適時性 Timelinessの問題
    ● 毎朝8:00に更新されるKPIレポート、
    PMはみんな朝このレポートを見て、サービスのヘルスチェックをしている
    ● ある施策のリリース後、関連バッチタスクのリソース圧迫により、ログが遅延してい
    た
    → アクション率の計算が不当に低くなり、切り戻し判断をしてしまうかも
    → 遅延が常態化すれば、PMにとって意思決定に使えないデータになる
    

    View Slide

13. 13
    case3: データ基盤 AM3:00
    インフラエンジニア
    AM3:00「なんかバッチタスクこけてる！急いで直さなきゃ！」
    AM5:00「ふう…なんとか直った。寝よう。明日起きれるかな…」
    アナリスト
    翌朝「あー、そのタスクたまに失敗するやつだからほっといていいよ」
    

    View Slide

14. 14
    サービスレベルがない問題
    つらい
    

    View Slide

15. 15
    DREはデータの価値を失わないためにある
    以下のような指標を監視することで、高品質なデータを提供し続ける
    ● データがどれくらい欠損しているか => Integrity
    ● あるデータが他のデータと一貫しているか => Consistency
    ● レポートは見る人にとって適切な新鮮さで更新されているか？ => Timeliness
    ● etc...
    

    View Slide

16. 16
    What ?
    Data Reliability Engineering
    

    View Slide

17. 17
    [What?] Data Reliability Engineering
    What is データ信頼性エンジニアリング = Data Reliability Engineering(DRE) ??
    

    View Slide

18. 18
    DRE ＝ SRE, DBRE ?
    似ているが、全く同じものではない
    

    View Slide

19. 19
    DRE impl Reliability Engineering
    Reliability Engineering　信頼性エンジニアリング
    Data
    Reliability
    Engineering
    Reliability Engineeringの具象としてのSRE, DBRE, DRE
    

    View Slide

20. 20
    DRE impl Reliability Engineering
    w/ DevOps
    Reliability Engineering　信頼性エンジニアリング
    Data
    Reliability
    Engineering
    

    View Slide

21. 21
    ソフトウェアの不確実性やリスクと向き合い続ける営み
    Reliability Engineering
    

    View Slide

22. 22
    価値のデリバリーに関わる各チームの協力体制とそれを可能にするメソッド
    ● CI/CD、自動化
    ● Dev ⇄ Opsのフィードバック
    ● etc..
    DevOps, DataOps, etc...
    

    View Slide

23. 23
    Who ?
    Data Reliability Engineering
    

    View Slide

24. 24
    [Who?] Data Reliability Engineering
    ベースは、GoogleのSREチームの簡潔な定義をそのまま引用できそう
    My explanation is simple: SRE is what happens when you ask a software engineer
    to design an operations team. ( 『Site Reliability Engineering』より)
    

    View Slide

25. 25
    AnalyzeとOps, DataとOps
    とはいえ、アナリストとエンジニアではスキルセットが大きく違う場合もある
    ● サービスレベルを軸に、AnalyzeとOpsの関心ごとを接続しよう
    

    View Slide

26. 26
    Data Reliability Engineering
    のはじめかた
    

    View Slide

27. 27
    DREのロードマップ、サイクル
    まずは、モニタリングを始めるところまで。その先はサイクルを回す。
    

    View Slide

28. 28
    サービスレベルの設計から
    ユーザーにとっての「使える/使えない」からサービスレベルに落とし込む
    

    View Slide

29. 29
    効果的なモニタリングを継続的におこなうには、それに適したシステムが必要
    Observable, Configurableなシステムに
    監視Saasの活用 Infrastructure as Code
    

    View Slide

30. 30
    eurekaでのDREの取り組み
    

    View Slide

31. 31
    Observableなシステムへの移行検証
    重要レポートを対象に、システムをredash×GASから徐々に移行検証したり
    Current Future
    

    View Slide

32. 32
    BI / DREの定例MTG
    BIチームとDREで、データ品質や利便性を向上するための定例MTGを開催
    みんなで議論したり 主要レポートの更新チェック
    したり
    

    View Slide

33. 33
    仲間がほしい。事例が聞きたい。
    ● DREには聖典がまだない
    ● 英語のブログとかは、まあまあ見かけるけど
    ● みんなどうしてるの？
    ● 懇親会とかでいろんなお話聞かせてください！
    

    View Slide

34. 34
    Key Takeaways
    ● データの価値を失わないためには、データの整備だけでなく、品質やReliabilityに
    ついても目を向ける必要がある
    ● データのReliabilityは、エンジニアだけで考えるものではない
    ● Data Reliability Engineeringは、理論も実践もこれからな分野。仲間求ム。
    

    View Slide

35. View Slide