Tableau + Pythonと データのあり方 Tableau データサイエンス勉強会第4回

About Me 荒木 和也 Kazuya Araki Knight of Tableau DATA Saber 受託開発 -> パッケージ開発 -> 某HR Tech & 個人事業 Engineer -> Data Analyst / Data Enginieer / Data Archtect Love: Data Hobby: J-Rock, Snow Sports, PC Game, Board Game etc(100+) https://www.facebook.com/kazuya.araki.tokyo @kazuya_araki_jp https://note.mu/jedi_trickstar https://public.tableau.com/profile/kazuya.araki#!/

お話しすること 最近考えている、思っていることについて語ってみます。 (サイエンスよりは、エンジニアリングの与太話となります) ● データとTableau(Desktop)の関係 ● TableauとPython

お話ししないこと 10分では足りないので。 ● PythonのHow ● TabPyの細かい話(本当は語りたい)

データとTableau(Desktop)の関係

基本はETL(データパイプライン)の考え方

Tableau(Desktop)は優秀

優秀すぎるが故の罠

優秀すぎるが故の罠 例: 計算フィールド多すぎ問題 ● 単純にパフォーマンスが劣化する。 ● メジャーの視認性が悪くなる。 ● メジャー名を正しく定義しないと使うときに困る。 ● 計算式が正しくなかった場合のレビューがとても難しい。 ○ レビュワーもCreatorユーザーでなければならない。 etc...

優秀すぎるが故の罠

優秀すぎるが故の罠 例: カスタムSQL ● SQLが実行できるデータソースで発生しうる。 ○ データマート構築が進んでいない場合。 ○ サービズデータを無加工でデータウェアハウスに格納して いる場合。 ○ 総じて、データエンジニアリングが未熟なフェーズ。 ● Tableau Desktopのウインドウだと視認性が良くない。 ● SQLが正しくなかった場合のレビューがとても難しい。 ○ レビュワーもCreatorユーザーでなければならない。 ○ 計算フィールドと複合していると原因特定に詰む。 ○ SQLを書いた本人ですらわからない場合もある。 etc... (フォーマッターかけて) 800行超あるSQL

気をつけないと痛い目を見る

構成を考えてみる🤔

最近の推しの構成

最近の推しの構成

役割分担と構成管理

データ加工とデータ可視化を分けた方がよさそう ● データ加工 = SQL / Python / Tableau Prep Builder ○ GitHubでコードを管理する。 ■ データ定義を残す。 ■ 再現性を担保する(= 誰が使っても同じ結果になる保証)。 ○ SQLはデータベース、SQLでできないことはPythonに任せる。 ○ API系はPython。 ○ Tableau Prepは可能性しかない。今後に期待。 ■ ただし、Prep Conductorまで使うには別途追加料金が必要。 ● データ可視化 = Tableau Desktop ○ Tableau側はデータについて関与しない。 ○ Tableauはデータ可視化にだけ、注力するようにする。

TableauとPython

Python IDEの構成 from あらき

TabPyの登場

Tableau内でPythonが記述可能に TabPy

リプレース可能？ TabPy 🤔

一人Zen問答したメモ at 2019/10/01 ● TabPyの位置付けは計算フィールドと変わらないので、データパイプライン を考えると、役割分担ができない。 ● 一方で、TabPyは構築さえできてしまえばTableau内で完結するので、楽とい えば楽。 ● どちらが優れているかは現時点では判断できない。 ● 少なくとも、2人以上が関わるようになった場合は、Tableau内であれこれや るよりも、ちゃんと思考開示して共有できるようにしないと属人化は進むだ ろう。 ○ Citizen Data Scientists向け？ ○ Data Engineerをかかえている組織であれば、分業した方が効率は良い？

もう少し、ざっくばらんに 議論したいです ※背景画像はイメージです

まとめ ● データとTableau(Desktop)の関係 ○ データパイプラインを意識する = ツールに適した役割分担をする。 ○ データ定義はTableau(Desktop)内で行うべきではない(のが個人的見解)。 ○ なんでもTableau(Desktop)で解決しようとしない。 ● TableauとPythonTabPy ○ データパイプラインを意識すると、TabPyの導入意義が薄れてしまう(のが個人的見解)。 ○ もう少し深掘りしていきたいです🙇

No content