BIツール大全 もうBIツールで迷わない「超カタログ」

Data Engineering Study #8「BIツール特集－OSS・商用の上手い使い分け」
BIツール研究所

紹介ツール
Tableau
Looker
Qliksense
PowerBI
DOMO
Redash
MotionBoard
EXPLORATORY

Transcript

1. BI ツール⼤ もうBI ツールで わない「超カタログ」 Special Guide BI ツール研 + BI ツール専⾨ BI ツール簡易 チャート付 データ可 を せよ レアなBI ツールまで超 開 のBI ツール活⽤ が らかになる
2. Name : 前側 (Maekawa Sho) HN ウィル オープンエイト- データストラテジスト ex. ヤフー株式 BI ツール研 というコミュニティをやっています。 Twitter @willanalysts
3. BI ツール研 について Mission BI ツールの情 をオープンにし、 もが 思決 に げられるように 援する 「なんとくBI ツールが されているけど活⽤できない。グラフのレポートをたくさん作ったけど何も 思 決 に 映されていない」。主 者のウィルは くの 業のBI ツール 援やBI エンジニアの友 と わる中でこの問題を 決したいと思いコミュニティを立ち上げました。 各ツールの情 をオープンにすることで もが 切なツールを できるようにする。単 に を す るだけではなくて、どんな に うのか、 で ⽤するスキルは何なのか、さらに踏み んだ 論をコ ミュニティ内で していきたいと えてます。
4. 前提 件/ 責事項 想 者 ・BI ツールがデータを可 するツールと知っている 料 ・WEB 上に 開 みです。 情 ・2021 年5 ⽉現在の情 ・BI ツール研 でPoC した内 、BI ツールの専⾨ から伺った内 ・ツールのアップデートにより情 が古くなる可 性あり。 ⾒ ・個 的な⾒ かつ2021 年5 ⽉時点の⾒ です。 ・理 や 釈が異なる場 は み替えてください。
5. 料で えたいこと BI ツールの 徴を理 した上で活⽤しよう まずはライセンスフリーなBI ツールからでOK ！
6. ⽬ 1. データ基 におけるBI ツールの 2.BI ツールの歴史（簡易 ） 3.BI ツール 4.BI ツール 5.BI ツールの使い け例
7. データ基 の略 （例） 07 Data Source ETL DWH BITool 構 データベースのよくあるデータ基 を想 ワークフローエンジンやメタデータ 理ツールなど はもっと される
8. データ基 におけるBI ツールの 08 データを しやすいように可 してビジネスの 思決 に使うこと 疑問 可 できればどのツールでも⼀ では
9. 09 題 需 ＞供 データを える が に ないケースが い。 データ 者やエンジニアの⼯ を地味に削れる。 メンテが地味にきつい 昨 度が しており、 件、 義、データソース などが ヶ⽉ すると わっていることが い。 この のメンテを 慮に れている 業が なく、 技 負債となっている。 データ基 におけるBI ツールの 題
10. BI ツールを える 10 できれば したいこと DWH をBQ Redshfit Snowflake など⾃ に う形で 択するようにBI ツールも ⽬的や のリソースなどから なものを ぶと良い。 ⽇はBI ツールの 徴をたくさん していきます
11. BI ツールの歴史 代の捉え は あり。 どのツールも 羅的に しい 代の 徴を り れようとしている。 ⼆ 代 セルフサービスBI ( インメモリBI) 三 代 DWH BI ( エンベッドBI) ⼀ 代 トラディショナルBI （エンタープライズBI ） 11 BI ツール⼤ はspeakerdeck で
12. 1 代BI （トラディショナルBI ）1990-2010 あたり 1990 年代はインターネットがまだ ⽤利⽤され めるくらいの時代。 基 システムのデータを するためのツールとして ⽣。 1990 年代 めは ⽬されたものの、現在のように することなく時代が 了。 12
13. 1 代BI の 徴や時代背 【価 ⾯】 エンタープライズBI とも呼ばれるように でも1000 万円から利⽤できるケースが く、バブル崩 のIT 制の流れがモロに刺さった。 【チューニングが しい】 DWH 、データマートの構築だけでなくキューブと呼ばれる 元データベースを す る必 がありかなりハードルが かかった。しかも、サーバーを して想 した りにパフォームしないと く しないと う 打のようなことも 々に発⽣した。 【データ は 別な がするもの】 PC も していない、していてもスピードが い時代にデータ は流⾏せず、 のよ うに ての がするものを思われていなかった。 13
14. 2 代BI （セルフーサービスBI ）2010-2020 あたり 2010 年前 にCPU やメモリが 的 価に できる時代が 来、 1990 年代からメモリの 率利⽤や独⾃の 技 を研 したQLik が 場で 価されるようになった。 64bitPC が⼀ 的になり⼀気に くの 業でBI ツールが されるようになった。 14
16. BI ツール活⽤フェーズ （BI ツール研 式）
17. 3 フェーズ（ 度 ・ 開）まではセルフサービスBI ツールで でき ますが、 4 フェーズ（ ・ 率 ）はほとんどの場 できません。 Tableau やQlik を 度に活⽤しているTOP 業でも、BI ツール上にある ての 項⽬ の が正しいか、 アウトプットをメンテナンスできている 業はな いと できます。 まだ⽇ ではセルフサービスBI ツールが主流ですが、 界の流れとしては 「アプリケーションのようにBI ツールを うこと」が められています。 （ 3 代BI ツールの時代へ ） セルフサービスBI ツールの 界点
18. 3 代BI （DWH 型）2015- 現在 中 2015 年代からAWS やGCP などのクラウド を利⽤することが主流となりました。 インメモリで 界だったデータ量をRedshift やBigQuery が で してくれるようになります。 そのためDWH にデータの処理を任せる思想のツールが ⽬されていきます。 18
19. ・メタデータの⼀元 理 スマホアプリの 義にバグがあると⼤問題。でもBI ツールでは 々に発⽣。 義は 率的にコーディングして、活⽤はセルフサーブな形が良い。 例 義のGIT 理、メソッドにより再利⽤ ・エンベッド BI ツール上にデータを することも必 。しかし業 を ⾏うツールは別 にある。 で 思決 するためには 業 をする場 に必 なグラフを埋め みその場で すること。BI のグラフを埋め み する（Embedded Analytics ） ・ 果 （ 決するツールは 在しない。 ると思う） アプリのデザインのように、A/B テストを してどちらが 思決 に し ているかを測るようになる。BI エンジニアにデザイナー的 も めらえる。 アプリケーションのようにBI ツールを うこと
20. BI ツールの歴史まとめ 20 1. 各BI ツールには歴史的背 がある。 2. どのツールも同じような を持っているが、 ⽣の背 に を受ける。 Next. では⾃ に うBI ツールはなんだろう
21. 簡易BI ツール （ウィルおすすめ） データ チームが 在 する（レベルが い） START NO BI ツールに予算は せない。 SQL を う がある YES ツールのこだわり はなく や事例 の が⼤事 は気にしない 易度は くても、 モダンで な 思 決 を 現したい 品 や を重 したい データサイエンスを させたい IoT や 票ニーズ が い P23 P22 P28 P29 P30 P26 P24 P25
22. 個 の はPowerBI も いが、 業がデータ活⽤する場 は Tableau の事例が⼀ い。（BI ツール研 べ） の さ成 度、開発⼒ てが く⼀ があるBI ツー ル。コミュニティも しているし、 時の にもなる。 ったらTableau を Tableau れるまで時間はかかるが 助 、グラフ のディティールの など⼿のかゆいところまで もカバーされている。 者などに⾒せるアウト プットに 。 可 現⼒ ・クエリー 理 ・開発⼯ がかかる ・online が重たい 題 ・可 現⼒ ・前処理 ・ や その他 徴 の⼿軽さ ★4 可 ★5 データ 索 ★3 械 ★3 データ 理 ★3 ⼒ ★4 22 BI ツールの 王者 メーカー Salesforce 徴 な と圧 的な 現⼒ 償 2 間トライアル、 ⽣ 料
23. Qlik Sense 他のBI ツールは な可 件があるとデータ マート側で前処理しないと できないケースが い。Qlik は や前処理 が ⼒でなんでも Qlik の 界で処理できてしまう（いい 味でも い 味でも） データ ⼯処理 ⼒の さ ・ 界 が独 ・ライブ ・ が し い ・情 が ない ・online が重たい 題 ・インメモリ ・ 想技 ・AB テスト ・アドホック ・ や ・前処理 い その他 徴 Qlik は り んだデータをどこからでもフィルターをかけて し た 件のデータを 時に可 することができる。他のBI ツールは データモデルやテーブル間の 状 の制 がありクイックな はできない。マーケターがアドホックに 品や をデータ 索す る時はQlik が良い。 品 ・ をするならQlik が⼀ 良い の⼿軽さ ★4 可 ★4 データ 索 ★5 械 ★3 データ 理 ★3 ⼒ ★4 23 データ 索 BI ツール メーカー Qlik Tech 徴 インメモリ＋ 想技 償 30 ⽇トライアル、 ⽣ 料
24. PowerBI データ 得・ ⼯・可 までを のない で もできてしまうセルフサービス性が ⼒。簡単に できてメンテナンスフリーな点も ⼒。 価に 現するセルフサービスBI ・事例が ない ・サポート体制 ・MS 品 との相性 ・アーキテクチャー ・Excel のようなUI ・online が重たい 題 ・ な ・可 現⼒ ・ライセンスフリー （or 価） ・Excel のようなUI その他 徴 Excel のようなUI でOffice365 のライセンスによっては 料もしくは 価に理由できるBI ツール。MS 活⽤ 業はまず してみることをおす すめします。 MS フル活⽤ 業のファーストチョイス の⼿軽さ ★4 可 ★4 データ 索 ★3 械 ★3 データ 理 ★3 ⼒ ★3 24 界で も利⽤されているBI ツール メーカー Microsoft 徴 でもすぐ使える 償 あり。
25. DOMO チャット 、DOMO の スコア、データカタ ログ 、 なテンプレートなど が し ている。 に うと可 だけのBI ツールに べ ると価 は くなる。 とにかく ・価 ・処理 度（API の⼀ ） 題 ・データカタログ ・アラート ・ スコア ・チャット ・テンプレート その他 徴 カードと呼ばれるグラフ を⾃由に配 して事業の 不 を で きるため 向けダッシュボードに 。Looker はエンジニアのた めのツールだとするとDOMO はビジネスユーザーのためにUIUX をこ だわったツールといえる。 カードを⾃由に並び替える優れたUI の⼿軽さ ★4 可 ★4 データ 索 ★3 械 ★3 データ 理 ★4 ⼒ ★4 オールインワンBI ツール メーカー Domo.inc 徴 ダッシュボード 償 PoC で 25
26. Motion Board IoT データをシームレスに するリアルタイム API がありセンサーデバイスを⽤いたリアルタイム を 現。⼯場などでの利⽤が んでいる。 IoT ＋BI の可 性 ・IoT ・WEB ページ開発 ・ 票作成 ・アクション ・レポート ⼒ ・データ ⼒ その他 徴 Excel のクロス の 何重にも軸がある、 の 件を⼀つの にすることは 常のBI ツールではできないが、MotionBoard では作 る んで 現できる。 ⽇ の⼤ 業に うツール ・ が い 題 の⼿軽さ ★2 可 ★4 データ 索 ★3 械 ★3 データ 理 ★3 ⼒ ★3 26 ⽇ のニーズを み った国 BI ツール メーカー ウイングアーク１ｓｔ 徴 票＋IoT 償 PoC で
27. ⽇ 場するBI ツール 27 Redash EXPLORATORY Looker
28. Redash クエリーパラメータというアドホックなフィルタ ーを作ってデータを呼び したり、Python な ど各種API での ができたり、⼯夫 で 々で きてしまう。⼩さい はRedash だけで ⽤ できてしまう。 料でここまでできる ・クエリー 理 ・ かい可 現 題 ・タグ 索 ・API ・⽇ での 事例 ・ライセンスフリー （オンプレ時） ・SQL その他 徴 ⽇ のエンジニア でよく されているBI ツール。サーバを⽤ してインストールしてしまえば、ライセンス料金 料で めるこ とができる。SQL を 使することで可 できるので、SQL の として利⽤する 業も い。 ファーストチョイスとして なBI ツール の⼿軽さ ★4 可 ★3 データ 索 ★3 械 ★3 データ 理 ★3 ⼒ ★3 28 ⽇ のエンジニアに愛されるOSS BI ツール メーカー Databricks 徴 SQL を 使するBI ツール 償 オンプレの場 ライセンスフリー
29. EXPLORATORY ランダムフォレスト、トレンド 、時 列 などをUI でぽちぽちやるだけで できる。 未 者が って 釈をしないようにワークショ ップを開 しているが、その品 が他のBI ツール メーカーに するとても い。 や 械 ・ 発のため開発中 がある ・⼤型事例が ない 題 ・ハンズオン ・データカタログ/ETL ・R ライブラリ その他 徴 くのBI ツールが持つ や の はオマケレベルかR や Python を で いて可 するものが く 当の 味で したツ ールはまだないと思う。Exploratory はデータサイエンスの 主 に 向き い未 者にも優しいBI ツール 異彩を つシリコンバレー ツール の⼿軽さ ★4 可 ★4 データ 索 ★4 械 ★4 データ 理 ★3 ⼒ ★4 29 データサイエンスを 主 するBI ツール メーカー Exploratory 徴 簡易的な や 械 償 あり。
30. Looker 常のBI ツールはデータ 理が しく、同じ 義 のデータを せず 持っていたり、 う 義 なのに同じ 前で持ってしまい都度 間が し ないと間 ったデータを提供してしまうリスクが ある。Looker はエンジニアがアプリを開発するよ うに 率的にデータを 理できるツールである。 SSOT を 現できる ⼀のBI ツール ・可 の 現⼒ ・ ハードルの さ ・ベストプラクティスがない 題 ・LookML ・GIT ・エンベッドが ・データ 索Explore ・Blocks その他 徴 2018 年メルカリなどが して⽇ でもIT 業の⼀ で ⽬され める。2019 年6 ⽉にGoogle Cloud が26 ドルで買 して⼀ 有 に。データ チームを持ちデータへの に理 のある では が んでいる。 ⽬のBI ツール 30 エンジニアを 了する 代BI ツール メーカー Google 徴 率的なデータ 理 の⼿軽さ ★2 可 ★3 データ 索 ★4 械 ★3 データ 理 ★5 ⼒ ★3 償 PoC
31. 利⽤者 エンジニア、プロダクトマネージャー中 ⽤ プロダクトの利⽤データの アドホック （クエリパラメーター） ポイント エンジニアが⾃由に使う。 Redash から 式のKPI は らないようにする Redash 31 オープンエイトBI ツールの使い け 利⽤者 向け（ 員 のライセンスはない） 、ビジネスサイドのリーダー中 ⽤ KPI 、各事業 のKPI や 、個 ユース ポイント データは てデータチームが⽤ したBQ の 式データを使う。Tableau で み った前処理をしない。 やりたいこと ⽤ 別にプロジェクトを けて 理 Tableau 活⽤レベルの向上 Tableau Redash はアドホック が得 。Tableau は にレポーティングができる。 にRedash は 向けのレポーティングが 苦⼿で、Tableau はアドホックな に⼯ が られてしまう。という点を気をつけて ⽤している。
32. BI ツール研 について 各種SNS ぜひチェックしてみてください。 各ツールの 情 やチュートリアル動 などを更 予 YouTube ・Twitter ・LINE オープンチャット
33. 点 の⾒ の⼿軽さ ⼿軽にグラフの可 を開 できるか 構築、グラフ作成、 ⾯までのUI UX 可 グラフの さ、 現⼒ データ 索 ⽬的の をするまでの⼿軽さ、 索 の さ 械 、クラスタリング、 、回 の さ データ 理 メタデータの⼀元 理、 、メンテナンス性 ⼒ BI ツール研 独⾃の点 これ にも項⽬はあるので 度にご ください オプションを付ければ★が くなるなど 釈が しい も... しい 品の 徴はBI ツール研 のYoutube を⾒てください。
34. Let's Enjoy together Email bitoollabo@gmail.com Twitter https://twitter.com/bitoollabo BI ツール研 で 索 YouTube 34