データアウトプットの管理と信頼性の担保を考える

2025年12月17日に開催された「第2回データ分析現場のリアルな知恵と工夫」の登壇資料です
https://connpass.com/event/374442/

Transcript

1. 2025/12/17 潮田初音 データアウトプットの管理と信頼性の担保を考える 第2回データ分析現場のリアルな知恵と工夫 @hiyokko_data
2. 自己紹介 潮田 初音 / Hatsune Ushioda 〜2022年 音響測定屋さん 　2022年 株式会社タイミーにデータアナリストとして入社 　2025年 DREグループへ異動し、アナリティクスエンジニアに 現在、ひよっこアナリティクスエンジニアとして日々奮闘中 🔰
3. 「データアウトプットの管理」ってなんだろう
4. • 社内で利用されている、定期的に更新されるデータやグラフ、表など • 例えば ◦ Lookerで作ったダッシュボード ◦ Looker Studioのレポート ◦ スプレッドシートのコネクテッドシート（スケジュール更新されるデータ） …など データアウトプットとは
5. • クエリをコード管理して、誰かがうっかり変更してしまわないようにする • 今使われているものと使われていないものとがわかるようにする などなど 「データアウトプットの管理」ってなんだろう
6. • クエリをコード管理して、誰かがうっかり変更してしまわないようにする • 今使われているものと使われていないものとがわかるようにする などなど 「データアウトプットの管理」ってなんだろう …めっちゃ大変じゃない？
7. • データアウトプットがとにかく数え切れないほどある （見つかっているものだけでも4万件超！！） • どれが使われていてどれが使われていないのかがわからない • データアウトプットのほとんどはコード管理やレビューが なされていない データアウトプット管理を始める前
8. • 守るべきデータアウトプットがどれかが明確になっている • 使われていないデータアウトプットが適切にアーカイブされる • 間違いが許されないデータは、正しいことが確認できている データアウトプット管理してこうなりたい
9. とはいえガチガチに管理するのもちょっと ... 全部管理がゆるゆるだと、 データアウトプットが 十分には守れない 全部厳しい管理だと、 データ分析や意思決定の スピードを妨げる
10. アウトプットごとに管理水準を変えてみることに ラフに出したデータ 継続して使わないデータ 間違ってはいけないデータ 変更するとまずいデータ ゆるい管理・ゆるい保守 厳しい管理・手厚い保守
11. アウトプットごとに管理水準を変えてみることに ラフに出したデータ 継続して使わないデータ 間違ってはいけないデータ 変更するとまずいデータ ゆるい管理・ゆるい保守 厳しい管理・手厚い保守 信 頼 性 レ ベ ル
12. 信頼性レベルの概要 Adhoc Provisional Verified Trusted 継続して 使わないもの 仮運用中のもの （デフォルト） 継続的に 使うもの 間違えてはいけな い重要なもの 厳しい管理 手厚い保守 ゆるい管理 ゆるい保守
13. 信頼性レベルの概要
14. 信頼性レベルの概要 この水準の対応をするために必要な要件を 各レベルごとに定めている
15. 信頼性レベルの概要 各レベルのアウトプットに対する 対応方針を定めている
16. 信頼性レベルの概要 使われていないアウトプットを守り続けなくて良いように、 定期的に利用確認やアーカイブ処理をしている
17. アウトプットの信頼性レベルは dbt exposureで管理 ymlファイルの中で メタデータとして設定・管理
18. データアウトプットが管理されるまで 新しいデータ アウトプットが 誕生！ 定期的に自動で exposureに登録され、 必要に応じてユーザーが 信頼性レベルを変更 （デフォルトはProvisional） 障害発生時などに 適宜連絡が届く
19. 実際に運用してみた • 障害発生時に影響を受けているアウトプットの特定と、ユーザーへの連絡をやってみた例
20. 残る課題・今後の展望 • 運用工数の負担が大きい ◦ アウトプットの数が多いと、各信頼性レベルの要件を満たすための作業が大変 ◦ アウトプットの種類によっては、 アーカイブ処理を1つ1つ手作業でやらないといけない （一部はすでに自動化している） • まだまだお試し運用中！ ◦ 「こんな場合はどうするの？」といった考慮漏れを 1つ1つ潰していっている段階 ◦ 運用の負担を減らしつつ、会社全体にこの仕組みを適用していきたい
21. まとめ • データアウトプットを管理するために、 4段階の管理水準（信頼性レベル）を 定義して運用してみた ◦ 各レベルに対して、満たすべき要件と対応方針、アーカイブ方針を定めた • これによって、間違いが許されない重要なアウトプットを守るための運用が 可能になっていくことが期待できる • 一部自動化も進めているが、まだまだ運用工数を下げていきたいのが今後の課題
22. ご興味があればこちらもぜひ ... Timee Product Team Blogに 今回の内容の記事を投稿しております！ 発表の関連ブログ記事 プロダクト採用ページ タイミーに興味を持っていただけた方は、 ぜひカジュアル面談へご応募ください！