kiba ETLで小さく始めるデータ分析基盤構築

Transcript

1. kiba ETLで小さく始めるデー タ分析基盤構築 @bary822
2. self self.name => Hiroto Fukui self.sns => @bary822 self.titles => [‘app engineer’, ‘data engineer’] self.companies => [‘rakuten’, ‘grooves’] self.likes => [‘dog’, ‘camping’, ‘ruby]
3. Osaka Tokyo
5. 本題
6. kiba ETL
7. kiba ETL gem データ分析で使える フレームワーク
8. E - Extract T - Transform L - Load
9. .csv height >= 100 weight >= 30 LargeDog table Extract Transform Load
10. kiba https://github.com/thbar/kiba https://youtu.be/fxVtbog7pIQ
11. kiba - 全体像
12. kiba - Extract(Source)
13. kiba - Transform
14. kiba - Load(Destination)
15. Pros • CRubyだけで気軽に始められる ◦ DSL記法を覚えなくていい • シンプルな設計思想 ◦ 新しいメンバーも理解しやすい • ドキュメントも(そこそこ)揃っている ◦ https://github.com/thbar/kiba/wiki
16. Cons • E、T、Lの単独実行が出来ない ◦ ETLのレールに乗っからない便利タスクとかは定義できない • シンプルゆえに安全に運用するための整備は自分でやる気 概が必要 ◦ エラー検知、多重起動防止、秘匿情報の管理とか
17. 分析基盤構築のためにやったこと (より実践的な話)
18. Data Warehouse • Data Warehouse(DWH) = データ分析に特化したDB • 列指向データベースが望ましい • ETLのLoad先になるイメージ
19. Data Warehouse https://en.wikipedia.org/wiki/Data_warehouse
20. Actionlog • ユーザーの行動ログ • url, http method, referrer, ip address … • Rackレベルで取れる系のやつ • 35k行/h 位の量
21. Actionlog + 独自拡張フィールド • ユーザーの行動ログ • url, http method, referrer, ip address … • Rackレベルで取れる系のやつ • 35k行/h 位の量 • ユーザーID • bot(スクレイピングなど)によるアクセスかどうか
22. つくったもの • アプリDBをDWHにコピーして同期 ◦ 重いクエリで負荷掛け放題(掛け放題ではない) • この求人を見ている他のユーザーが見ている求人をリコメンド • 変化点検出アルゴリズムの実装 ◦ CUSUM ◦ Change Finder • 外れ値検出アルゴリズムの実装 ◦ DBSCAN
23. !dev
26. ITリテラシー問題 • SQL書けない • それが何の役に立つのかわからない • 何をどうやって分析していいのか分からない
27. データの民主化
28. data dev sales marketing execs
31. Biz Dev • ビジネスメンバーを含めたdaily huddle • データ分析で解決したい課題を募集 • クエリをまとめたダッシュボード • DWHに分析用のテーブル/Viewを作成 • 分析用アルゴリズムをライブラリ化
34. [WIP] 教育
35. https://www.fusioncharts.com/blog/data-education-democratization/
36. これからの計画 • SQL勉強会でもしようかな • BIツールの導入検討 ◦ SQL書かなくてもいいやつ • セルフサービスで勝手に分析してくれるようになったら最高で は
37. EOF