DataObserbabilityDevIO2023.pdf

Transcript

1. モダンデータスタック最前線 〜データオブザーバビリティ〜 2023/08 アライアンス事業部 紗紗
2. 自己紹介 名　前：紗紗 ブログ：https://dev.classmethod.jp/author/shasha 役　職：アナリティクスコンサルタント 最近見てよかった映画：キアロスタミ監督作品 アマプラで数作品公開されているので、是非。どういう感性でそんなおしゃれな展開が 思い浮かぶの？というシーンに心を掴まれました。 好きなSixTONESの曲：マスカラ、Bella、Gum Tape、Curtain Call、You & I、Call me、 Hello、love u…、Cassette Tape、人人人、Ordinary Hero
3. お話しすること ・データオブザーバビリティとは？ ・データオブザーバビリティって必要？ ・データオブザーバビリティの実現方法 ・Monte Carlo デモ
4. Monte Carloのブログを参考にしているのである！ 今日のお話は...
5. 140+
6. 前提条件 https://dev.classmethod.jp/articles/202007-devio2020-monitoring-1-2/ https://sre.google/#sre
7. データオブザーバビリティとは？
8. データ分析基盤の可観測性のことである！ データオブザーバビリティとは？
9. 　ソフトウェア開発で用いられている可観測性（Observability） 　をデータエンジニアリングにも適用したものである！ データ可観測性とは？
10. 観測できるようにすることである！ オブザーバビリティ（可観測性）とは？
11. おおっと、問題の核心を突いてきたにゃんね。可観測性（Observability）が今、導入されている背景を説明す るにゃん。 1. マイクロサービス化によるシステムの複雑性増大にゃん：現代のシステムはマイクロサービス化し 　たり、クラウドベースのリソースを使ったりすることで、以前よりも格段に複雑になったにゃん。 　そのため、全部の動きを見るのが難しくなったんだにゃん。そこで、システム全体の動きを把握 　できる可観測性が重要となったわけだにゃん。 2. CI/CD（Continuous Integration / Continuous Delivery）とDevOpsの普及にゃん：開発速度を 　上げるための取り組みとして、CI/CDやDevOpsが広く取り入れられているにゃん。しかし、高速化 　する一方で、問題が発生したときに原因を特定するのが難しくなったにゃん。そこで、問題の早期 　発見・解決を可能にする可観測性が求められるようになったのだにゃん。 3. ユーザ体験への注目にゃん：ユーザー体験（UX）が重視されるようになり、サービスのパフォー 　マンスや可用性が直接ビジネスに影響を与えるようになったにゃん。そのため、システムの正常性 　を維持するための可観測性がますます重要になってきたんだにゃん。 以上のような背景から、システムの負荷に対処する方法として可観測性の導入が広まっているんだにゃん。 なぜオブザーバビリティ？ 可観測性が導入 されている 背景を教えて。
12. オブザーバビリティ（可観測性）とは？ Satish Chandra Gupta - Scalable Efficient Big Data Pipeline Architecture 中身わからん。 一つの画面にまと めたいのである。
13. 観測できるようにすることである！ オブザーバビリティ（可観測性）とは？
14. 可視化することである！ オブザーバビリティ（可観測性）とは？
15. 何を？ データオブザーバビリティは可視化する
16. • 新鮮さ（Freshness） • 品質（Quality） • 量（Volume） • スキーマ（Schema） • リネージ（Lineage） データオブザーバビリティ　５つの柱
17. • テーブルのデータはきちんと更新されているのか？ • 最後の更新はいつだったか？ • 更新の周期は？ 新鮮さ（Freshness）
18. • NULLの割合 • ユニークの割合 • データが許容範囲内か？ 品質（Quality）
19. • どれだけ行が増えているか？ 異常なほど増えていないか？ 異常なほど減っていないか？ 量（Volume）
20. • データの構成（スキーマ）に変更はないか？ スキーマ（Schema）
21. データに破損が生じた場合に、 • 上流のどのソースからのデータなのか？ • 下流のどのユーザーに影響があるのか？ をすぐに特定できる。 リネージ（Lineage）
22. データオブザーバビリティって必要？
23. In other words, when no data is better than bad data. ごみデータなんか存在しちゃいけねーんだよ。 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　意訳() ：ワイ MCの名言 *1
24. データがごみである時間 データダウンタイム
25. 取り込みアプリのスキーマが変わってるのに気づかなくて、 いつの間にかNULLだらけのテーブルを数ヶ月飼っていた こんなことないだろうか？
26. 手作業で実行してたワークフロー 前任者が辞めちゃって半年間ずっと止まってた こんなことないだろうか？
29. データエンジニアの使命 データダウンタイムを最小限に抑えることこそ
30. データエンジニアの使命 データダウンタイムを最小限に抑えることこそ
31. データエンジニアの使命
32. テストや監視（モニタリング）じゃぁダメなのか？ データオブザーバビリティの必要性
33. vs テスト
34. 無料 テストの利点
35. 無料より高いものはない テストの欠点
36. モンカル調べ テストの限界 未知の未知 既知の未知： テストで事前に 問題を検知できる *2 ８０％ ２０％
37. 今の、これからの、これまでのテスト 　　　　 　　　　　　　　　　　　 　　　　　　　　　　　　　　　　　　　　こぉーーーんなに 　　　　　　　　　　　　　　　　　　　　　　大きいのが 　　　　　　　　　　　 こんなのと、 　　　　　こんなのと、 +おメンテ
38. vs モニタリング
39. テストよりは優秀 モニタリングの利点
40. Monte Carlo blog - Beyond Monitoring: The Rise of ML Observability モニタリングの限界
41. データパイプライン全体を観測して、 機械学習でテーブルの更新パターン （いつ？頻度は？どのくらいの行が増える？）を学習 データの異常をプロアクティブに 検出、解決、予防する！ データオブザーバビリティなら...
42. データパイプライン全体を観測しているから、 インシデントが発生した時でも リネージから上流のどのテーブルが関係しているのかや、 下流のどのダッシュボードを使っている ユーザーに影響が出るのかも アラートを出してくれる データオブザーバビリティなら...
43. 会社の規模 データ分析の成熟度 事業におけるデータの重要度 に応じて適切なソリューションを！ データオブザーバビリティの必要性
44. データオブザーバビリティの実現方法
45. データ信頼性エンジニアリングを取り入れる どのように実現する？
46. Site Reliability Engineering（SRE）を データエンジニアリングに適用したもの データ信頼性エンジニアリングとは？
47. データの品質を どんな時でもどんな状況でも維持すること データの信頼性 (Data Reliability)とは？
48. 午前9時：データの品質に問題ありませんでした！ 午後4時：今朝9時の時点では問題ありませんでした！ データの信頼性 (Data Reliability)とは？
49. ん？今はどうなの？ （午後4時の気持ち） データの信頼性 (Data Reliability)とは？
50. 詳しく説明します もうちょっと
51. 修正・更新が絶えないデータパイプラインで、 定められた期間内に 期待される データの品質・サービスレベルを 担保すること データの信頼性 (Data Reliability)とは？
52. 再掲：データパイプライン Satish Chandra Gupta - Scalable Efficient Big Data Pipeline Architecture データパイプラインの どっかしらで常に変更 かかってるよね
53. 午前9時：データの品質に問題ありません！ 午後4時：データの品質に問題ありません！ データの信頼性 (Data Reliability)とは？
54. 半年後... データの信頼性 (Data Reliability)とは？
55. データの品質に問題ありません！ データの信頼性 (Data Reliability)とは？
56. ３年後... データの信頼性 (Data Reliability)とは？
57. データの品質に問題ありません！ データの信頼性 (Data Reliability)とは？
58. 修正・更新が絶えないデータパイプラインで、 定められた期間内に 期待される データの品質・サービスレベルを 担保すること データの信頼性 (Data Reliability)とは？
59. SLOを決めて、 それが守られているかを チェックできる指標である SLIを決める データ信頼性の実現方法は？
60. Service Level Objectives（SLO）： サービスレベル目標 Service Level Indicator（SLI）： サービスレベル指標 SLOとSLI
61. どうやって決めればいい？ SLIは
62. • 新鮮さ（Freshness） • 品質（Quality） • 量（Volume） • スキーマ（Schema） • リネージ（Lineage） データオブザーバビリティ　５つの柱
63. かけられるコストに応じて定める SLOはどうやって決めればいい？
64. • データの所有者を決める （組織／ドメイン・プロジェクト／テーブル） • ドキュメント化 • インシデント後の調査体制 組織体制を整えることも大事！ その他にも・・・
65. Monte Carlo demo
66. Monte Carloに関しては何もしてない まとめ
67. ご清聴ありがとうございました！ 終わり
68. 1. Data Testing vs. Data Quality Monitoring vs. Data Observability: What’s Right for Your Team? https://www.montecarlodata.com/data-testing-vs-data-quality-monitoring-vs-data-observability-whats-right-for-y our-team/ 2. Data Observability vs. Data Testing: Everything You Need to Know　 https://www.montecarlodata.com/blog-data-observability-vs-data-testing-everything-you-need-to-know/ 出典