Data Engineering Study #8「BIツール特集-OSS・商用の上手い使い分け」 BIツール研究所
紹介ツール Tableau Looker Qliksense PowerBI DOMO Redash MotionBoard EXPLORATORY
BIツール⼤もうBIツールで わない「超カタログ」Special GuideBIツール研+BIツール専⾨BIツール簡易チャート付 データ可 を せよレアなBIツールまで超 開のBIツール活⽤ が らかになる
View Slide
Name :前側 (Maekawa Sho)HNウィルオープンエイト-データストラテジスト ex.ヤフー株式BIツール研 というコミュニティをやっています。Twitter @willanalysts
BIツール研 についてMissionBIツールの情 をオープンにし、 もが 思決 に げられるように 援する「なんとくBIツールが されているけど活⽤できない。グラフのレポートをたくさん作ったけど何も 思決 に 映されていない」。主 者のウィルは くの 業のBIツール 援やBIエンジニアの友 とわる中でこの問題を 決したいと思いコミュニティを立ち上げました。各ツールの情 をオープンにすることで もが 切なツールを できるようにする。単 に を するだけではなくて、どんな に うのか、 で ⽤するスキルは何なのか、さらに踏み んだ 論をコミュニティ内で していきたいと えてます。
前提 件/責事項想 者・BIツールがデータを可 するツールと知っている料・WEB上に 開 みです。情・2021年5⽉現在の情・BIツール研 でPoCした内 、BIツールの専⾨ から伺った内・ツールのアップデートにより情 が古くなる可 性あり。⾒・個 的な⾒ かつ2021年5⽉時点の⾒ です。・理 や 釈が異なる場 は み替えてください。
料で えたいことBIツールの 徴を理 した上で活⽤しようまずはライセンスフリーなBIツールからでOK!
⽬1.データ基 におけるBIツールの2.BIツールの歴史(簡易 )3.BIツール4.BIツール5.BIツールの使い け例
データ基 の略 (例)07Data Source ETL DWH BITool構 データベースのよくあるデータ基 を想ワークフローエンジンやメタデータ 理ツールなど はもっと される
データ基 におけるBIツールの08データを しやすいように可 してビジネスの 思決 に使うこと疑問可 できればどのツールでも⼀ では
09題需 >供データを える が に ないケースが い。データ 者やエンジニアの⼯ を地味に削れる。メンテが地味にきつい昨 度が しており、 件、 義、データソースなどが ヶ⽉ すると わっていることが い。この のメンテを 慮に れている 業が なく、技 負債となっている。データ基 におけるBIツールの 題
BIツールを える10できれば したいことDWHをBQ Redshfit Snowflakeなど⾃ に う形で 択するようにBIツールも⽬的や のリソースなどから なものを ぶと良い。⽇はBIツールの 徴をたくさん していきます
BIツールの歴史代の捉え は あり。どのツールも 羅的に しい 代の 徴を り れようとしている。⼆ 代セルフサービスBI(インメモリBI)三 代DWH BI(エンベッドBI)⼀ 代トラディショナルBI(エンタープライズBI)11BIツール⼤はspeakerdeckで
1代BI(トラディショナルBI)1990-2010あたり1990年代はインターネットがまだ ⽤利⽤され めるくらいの時代。基 システムのデータを するためのツールとして ⽣。1990年代 めは ⽬されたものの、現在のように することなく時代が 了。12
1代BIの 徴や時代背【価 ⾯】エンタープライズBIとも呼ばれるように でも1000万円から利⽤できるケースがく、バブル崩 のIT制の流れがモロに刺さった。【チューニングが しい】DWH、データマートの構築だけでなくキューブと呼ばれる 元データベースを する必 がありかなりハードルが かかった。しかも、サーバーを して想 したりにパフォームしないと く しないと う 打のようなことも 々に発⽣した。【データ は 別な がするもの】PCも していない、していてもスピードが い時代にデータ は流⾏せず、 のように ての がするものを思われていなかった。13
2代BI(セルフーサービスBI)2010-2020あたり2010年前 にCPUやメモリが 的 価に できる時代が 来、1990年代からメモリの 率利⽤や独⾃の 技 を研 したQLikが場で 価されるようになった。64bitPCが⼀ 的になり⼀気に くの 業でBIツールが されるようになった。14
BIツール活⽤フェーズ(BIツール研 式)
3フェーズ( 度 ・ 開)まではセルフサービスBIツールで できますが、 4フェーズ( ・ 率 )はほとんどの場 できません。TableauやQlikを 度に活⽤しているTOP業でも、BIツール上にある ての項⽬ の が正しいか、 アウトプットをメンテナンスできている 業はないと できます。まだ⽇ ではセルフサービスBIツールが主流ですが、 界の流れとしては「アプリケーションのようにBIツールを うこと」が められています。( 3代BIツールの時代へ )セルフサービスBIツールの 界点
3代BI(DWH型)2015-現在 中2015年代からAWSやGCPなどのクラウド を利⽤することが主流となりました。インメモリで 界だったデータ量をRedshiftやBigQueryが で してくれるようになります。そのためDWHにデータの処理を任せる思想のツールが ⽬されていきます。18
・メタデータの⼀元 理スマホアプリの 義にバグがあると⼤問題。でもBIツールでは 々に発⽣。義は 率的にコーディングして、活⽤はセルフサーブな形が良い。例 義のGIT理、メソッドにより再利⽤・エンベッドBIツール上にデータを することも必 。しかし業 を ⾏うツールは別にある。 で 思決 するためには 業 をする場 に必 なグラフを埋めみその場で すること。BIのグラフを埋め み する(EmbeddedAnalytics)・ 果 ( 決するツールは 在しない。 ると思う)アプリのデザインのように、A/Bテストを してどちらが 思決 に しているかを測るようになる。BIエンジニアにデザイナー的 も めらえる。アプリケーションのようにBIツールを うこと
BIツールの歴史まとめ201.各BIツールには歴史的背 がある。2.どのツールも同じような を持っているが、⽣の背 に を受ける。Next.では⾃ に うBIツールはなんだろう
簡易BIツール (ウィルおすすめ)データ チームが 在する(レベルが い)STARTNOBIツールに予算はせない。SQLを う があるYESツールのこだわりはなく や事例の が⼤事は気にしない易度は くても、モダンで な 思決 を 現したい 品 やを重 したいデータサイエンスをさせたいIoTや 票ニーズが いP23P22P28P29P30P26P24P25
個 の はPowerBIも いが、 業がデータ活⽤する場 はTableauの事例が⼀ い。(BIツール研 べ)の さ成 度、開発⼒ てが く⼀ があるBIツール。コミュニティも しているし、 時の にもなる。ったらTableauをTableauれるまで時間はかかるが 助 、グラフのディティールの など⼿のかゆいところまでもカバーされている。 者などに⾒せるアウトプットに 。可 現⼒・クエリー 理・開発⼯ がかかる・onlineが重たい題・可 現⼒・前処理・ やその他 徴の⼿軽さ ★4可 ★5データ 索 ★3械 ★3データ 理 ★3⼒ ★422BIツールの 王者メーカー Salesforce徴 な と圧 的な 現⼒償 2間トライアル、 ⽣ 料
Qlik Sense他のBIツールは な可 件があるとデータマート側で前処理しないと できないケースがい。Qlikは や前処理 が ⼒でなんでもQlikの 界で処理できてしまう(いい 味でもい 味でも)データ ⼯処理 ⼒の さ・ 界 が独・ライブ・ が し い・情 が ない・onlineが重たい題・インメモリ・ 想技・ABテスト・アドホック・ や・前処理 いその他 徴Qlikは り んだデータをどこからでもフィルターをかけて した 件のデータを 時に可 することができる。他のBIツールはデータモデルやテーブル間の 状 の制 がありクイックなはできない。マーケターがアドホックに 品や をデータ 索する時はQlikが良い。品 ・ をするならQlikが⼀ 良いの⼿軽さ ★4可 ★4データ 索 ★5械 ★3データ 理 ★3⼒ ★423データ 索 BIツールメーカー Qlik Tech徴 インメモリ+ 想技償 30⽇トライアル、 ⽣ 料
PowerBIデータ 得・ ⼯・可 までを のない でもできてしまうセルフサービス性が ⼒。簡単にできてメンテナンスフリーな点も ⼒。価に 現するセルフサービスBI・事例が ない・サポート体制・MS品 との相性・アーキテクチャー・ExcelのようなUI・onlineが重たい題・ な・可 現⼒・ライセンスフリー(or価)・ExcelのようなUIその他 徴ExcelのようなUIでOffice365のライセンスによっては 料もしくは価に理由できるBIツール。MS活⽤ 業はまず してみることをおすすめします。MSフル活⽤ 業のファーストチョイスの⼿軽さ ★4可 ★4データ 索 ★3械 ★3データ 理 ★3⼒ ★324界で も利⽤されているBIツールメーカー Microsoft徴 でもすぐ使える償 あり。
DOMOチャット 、DOMOの スコア、データカタログ 、 なテンプレートなど が している。 に うと可 だけのBIツールに べると価 は くなる。とにかく・価・処理 度(APIの⼀ )題・データカタログ・アラート・ スコア・チャット・テンプレートその他 徴カードと呼ばれるグラフ を⾃由に配 して事業の 不 を できるため 向けダッシュボードに 。LookerはエンジニアのためのツールだとするとDOMOはビジネスユーザーのためにUIUXをこだわったツールといえる。カードを⾃由に並び替える優れたUIの⼿軽さ ★4可 ★4データ 索 ★3械 ★3データ 理 ★4⼒ ★4オールインワンBIツールメーカー Domo.inc徴 ダッシュボード償 PoCで25
Motion BoardIoTデータをシームレスに するリアルタイムAPIがありセンサーデバイスを⽤いたリアルタイムを 現。⼯場などでの利⽤が んでいる。IoT+BIの可 性・IoT・WEBページ開発・ 票作成・アクション・レポート ⼒・データ ⼒その他 徴Excelのクロス の 何重にも軸がある、 の 件を⼀つのにすることは 常のBIツールではできないが、MotionBoardでは作る んで 現できる。⽇ の⼤ 業に うツール・ が い題の⼿軽さ ★2可 ★4データ 索 ★3械 ★3データ 理 ★3⼒ ★326⽇ のニーズを み った国 BIツールメーカー ウイングアーク1st 徴 票+IoT償 PoCで
⽇ 場するBIツール27Redash EXPLORATORY Looker
Redashクエリーパラメータというアドホックなフィルターを作ってデータを呼び したり、Pythonなど各種APIでの ができたり、⼯夫 で 々できてしまう。⼩さい はRedashだけで ⽤できてしまう。料でここまでできる・クエリー 理・ かい可 現題・タグ 索・API・⽇ での 事例・ライセンスフリー(オンプレ時)・SQLその他 徴⽇ のエンジニア でよく されているBIツール。サーバを⽤してインストールしてしまえば、ライセンス料金 料で めることができる。SQLを 使することで可 できるので、SQLのとして利⽤する 業も い。ファーストチョイスとして なBIツールの⼿軽さ ★4可 ★3データ 索 ★3械 ★3データ 理 ★3⼒ ★328⽇ のエンジニアに愛されるOSS BIツールメーカー Databricks徴 SQLを 使するBIツール償 オンプレの場 ライセンスフリー
EXPLORATORYランダムフォレスト、トレンド 、時 列などをUIでぽちぽちやるだけで できる。未 者が って 釈をしないようにワークショップを開 しているが、その品 が他のBIツールメーカーに するとても い。や 械・ 発のため開発中 がある・⼤型事例が ない題・ハンズオン・データカタログ/ETL・Rライブラリその他 徴くのBIツールが持つ や の はオマケレベルかRやPythonを で いて可 するものが く 当の 味で したツールはまだないと思う。Exploratoryはデータサイエンスの 主 に向き い未 者にも優しいBIツール異彩を つシリコンバレー ツールの⼿軽さ ★4可 ★4データ 索 ★4械 ★4データ 理 ★3⼒ ★429データサイエンスを 主 するBIツールメーカー Exploratory徴 簡易的な や 械償 あり。
Looker常のBIツールはデータ 理が しく、同じ 義のデータを せず 持っていたり、 う 義なのに同じ 前で持ってしまい都度 間が しないと間 ったデータを提供してしまうリスクがある。Lookerはエンジニアがアプリを開発するように 率的にデータを 理できるツールである。SSOTを 現できる ⼀のBIツール・可 の 現⼒・ ハードルの さ・ベストプラクティスがない題・LookML・GIT・エンベッドが・データ 索Explore・Blocksその他 徴2018年メルカリなどが して⽇ でもIT業の⼀ で ⽬されめる。2019年6⽉にGoogle Cloudが26ドルで買 して⼀ 有に。データ チームを持ちデータへの に理 のある ではが んでいる。⽬のBIツール30エンジニアを 了する 代BIツールメーカー Google徴 率的なデータ 理 の⼿軽さ ★2可 ★3データ 索 ★4械 ★3データ 理 ★5⼒ ★3償 PoC
利⽤者 エンジニア、プロダクトマネージャー中⽤ プロダクトの利⽤データのアドホック (クエリパラメーター)ポイント エンジニアが⾃由に使う。Redashから 式のKPIは らないようにするRedash31オープンエイトBIツールの使い け利⽤者 向け( 員 のライセンスはない)、ビジネスサイドのリーダー中⽤ KPI、各事業 のKPIや 、個 ユースポイント データは てデータチームが⽤ したBQの式データを使う。Tableauで み った前処理をしない。やりたいこと⽤ 別にプロジェクトを けて 理Tableau活⽤レベルの向上TableauRedashはアドホック が得 。Tableauは にレポーティングができる。 にRedashは 向けのレポーティングが苦⼿で、Tableauはアドホックな に⼯ が られてしまう。という点を気をつけて ⽤している。
BIツール研 について各種SNSぜひチェックしてみてください。各ツールの 情 やチュートリアル動 などを更 予YouTube・Twitter・LINEオープンチャット
点 の⾒の⼿軽さ ⼿軽にグラフの可 を開 できるか構築、グラフ作成、 ⾯までのUI UX可 グラフの さ、 現⼒データ 索 ⽬的の をするまでの⼿軽さ、 索 の さ械 、クラスタリング、 、回 の さデータ 理 メタデータの⼀元 理、 、メンテナンス性⼒ BIツール研 独⾃の点これ にも項⽬はあるので 度にご くださいオプションを付ければ★が くなるなど 釈が しい も...しい 品の 徴はBIツール研 のYoutubeを⾒てください。
Let'sEnjoytogetherEmail [email protected]Twitter https://twitter.com/bitoollaboBIツール研 で 索YouTube34