BIツール大全 BIツールの歴史

Unravel the history of BI tools from the first generation to the third generation. We will also consider the upcoming trends.

Looker Qlik sense Tableau PowerBI and more

Transcript

1. BIツール研究所 ウィル BIツール大全 BIツールの歴史
2. BIツールの歴史を知る目的 ・BIツールの製品の違いを歴史と一緒に勉強しよう！ ・最新のBIツールのトレンドを歴史から紐解こう！
3. オープンエイト-データアナリスト ex.ヤフー株式会社 BIツール研究所というコミュニティをやっています。 Name : 前側 将(Maekawa Sho) @willanalysts https://www.facebook.com/sho.maekawa1
4. BIツール研究所 Mission 　BIツールの情報をオープンにし、誰もが意思決定 に繋げられるように支援する 「なんとくBIツールが導入されているけど活用できない。グラフのレポートをたくさん作ったけ ど何も意思決定に反映されていない」。主宰者のウィルは数多くの企業のBIツール導入支援やBI エンジニアの友人と関わる中でこの問題を解決したいと思いコミュニティを立ち上げました。各 ツールの情報をオープンにすることで誰もが適切なツールを導入できるようにする。単純に機能 を比較するだけではなくて、どんな組織に合うのか、実務で通用するスキルは何なのか、さらに 踏み込んだ議論をコミュニティ内で実施していきたいと考えてます。 Twiiter YouTube
5. 目次 ・第1世代BI（トラディショナルBI）1990-2010あたり ・第2世代BI（セルフーサービスBI）2010-2020あたり ・第3世代BI（DWH依存型）2015-2020あたり
6. 第1世代BI（トラディショナルBI）1990-2010あたり 1990年代はインターネットがまだ商用利用され始めるくらいの時代。 基幹システムのデータを分析するためのツールとして誕生。 1990年代初めは注目されたものの、現在のように普及することなく時代が終了。 代表製品
7. 第1世代BIの特徴や時代背景 【価格面】 エンタープライズBIとも呼ばれるように最低でも1000万円から利用できるケース が多く、バブル崩壊後のIT投資抑制の流れがモロに刺さった。 【チューニングが難しい】 DWH、データマートの構築だけでなくキューブと呼ばれる多次元データベースを 設計する必要がありかなりハードルが高かかった。しかも、サーバーを全部調達 して想定した通りにパフォームしないと全く機能しないと言う博打のようなこと も往々に発生した。 【データ分析は特別な人がするもの】 PCも普及していない、していてもスピードが遅い時代にデータ分析は流行せず、 今のように全ての人がするものを思われていなかった。
8. 第2世代BI（セルフーサービスBI）2010-2020あたり 2010年前後にCPUやメモリが比較的安価に調達できる時代が到来、1990年代から メモリの効率利用や独自の集計技術を研究したQLik が市場で評価されるように なった。64bitPCが一般的になり一気に多くの企業でBIツールが導入されるように なった。 代表製品
9. 第2世代BIの特徴な流れ主要3製品 独自のデータ圧縮技術とインメモリ技術で市場を リードしたのはQlik View 2013年からの2-3年で市場を制したTableau 市場が大きくなりTableauやQLikにアジャストし た製品を低価格で販売してシェアを広げたPower BI
10. セルフサービスBIツールとは データマート キューブ BIツール ダッシュボード BIツール ダッシュボード DWH ETL 基幹システム 第1世代BI 第2世代BI ファイルデータ DWH SaaSデータ 現場の利用者が自分自身で使えるBIツールのこと
11. インメモリ技術とは ざっくり概要（専門家ではないので細かい点ご容赦下さい。。） HDD層 データベース メモリ層 CPU層 ・通常のクエリー処理 ・インメモリ処理 一度ロードしたデータをメ モリ上にキャッシュで保持 メモリからすぐにデータを 呼び出せるので高速処理
12. Tableauが市場を制圧した理由 価格戦略： Tableau Publicのような無償版をばら撒いた。PowerBIもOffice製品とセット販売 ライトユーザーを大切にした： 2012年あたりからのビッグデータブームの時代に機能面や性能ではQLikviewの方 が上でした。しかしQlikViewが玄人向けで拾いきれないライトユーザーも Tableauはその美しいVizの表現力や分析サポート機能で魅了しました。 ユーザーを離さないコミュニティ： 他のメーカーは利用ユーザーのみにしか情報を共有せず外の興味あるユーザーは どんな製品なのかわからない（今で見受けられる）中、Tableauは公式HPでVIZ の共有SNSをオープンにしたり、エバンジェリストを作るのがうまかった。今で はTwitterを見れば世界中の人が #Tableauで投稿している。
13. セルフサービスBIツールの最高到達点 セルフサービスBIツールを最大限活用するためには、自由度の高さをうまく活用 できる「プロフェッショナル集団を作り上げる」ことにあると思います。 自由度が高い故にそのツール独自の言語や作法を学びスキルレベルの高いメン バーの阿吽の呼吸で運用するのがベストです。 ヤフーでは5人のTableauプロフェッショナルで3000-4000人の基盤を運用。 サイト（部署数60）のそれぞれにプロフェッショナルを育成する方針を採用して いました。Center OF Excellence(CoE)
14. 参考資料 Speaker Deckに詳しい資料がありますのでご覧ください！
15. Center OF Excellence(CoE)の体制 各部署に強強BIマスターを育成してセントライズする。 出典 ：https://speakerdeck.com/shomaekawa/tableauxue-xi-puroguramu-yahuban-sukiruberuto-quan-she-yuan-nidetabiziyuaraizufals eli-wo
16. Center OF Excellence(CoE)の業務 運用組織がBIツールの社内カスタマーサクセス のような動きをすること。 領域 業務 テクノロジー システム連携 パフォーマンス 管理 教育 社内ハンズオン スキル教育研修 新機能説明会 E-ラーニング コンサル 新規導入コンサ ル プロトタイプ作 成 コミュニティ リーダー会 VIZコンペ オフ会
17. 最高到達点：ゲーミフィケーションを用いたE-ラーニング Progeteなどのオンライン学習サービスのようにゲーム感覚で学習できるサイト を構築。
18. 最高到達点：ゲーミフィケーションを用いたE-ラーニング 今まで拾い切れてない意欲があるけど忙しい人が一定数スキルアップすることに 成功。ただし、忙しすぎる人やデータ活用のプライオリティが低い人には向かな い。
19. 最高到達点：評価やオペレーションに組み込む ではどうすればいいのか？ワークマンでは一定の分析力がないと昇進できない設 計にしている。 全部クリア！ 部長昇進！！！
20. インメモリの限界点 インメモリは確かに数億件のデータを瞬時に扱うことに長けています。 世の中の流れは非常に速く、AmazonやGoogleからクラウド型DWHが登場。桁違 いのリソースを安価に活用できる時代が到来しました。例えばBIg Queryであれ ばデータ量の応じて計算リソースを自動でスケールアウトしてくれるのでチュー ニング不要でほぼ高速なデータ処理を可能にしました。 2021年時点では高速DWHで処理したデータをBIツールに載せるのが主流になって ます。
21. BIツール活用フェーズ ※BIツール研究所式 第1フェーズ（導 入） 第2フェーズ（利 用） 第3フェーズ（高度 化・横展開） 第4フェーズ（高速 ・効率化） 状態 BIツールを使うことができて いる BIツールを積極的に活用で きている BIツールを全社で活用できて いる アウトプットを高速に作成す る。メタデータを再利用して 効率的に運用する。 詳細 Excelの作業を自動化 様々なデータをBI上に集約 してリアルタイムで可視化 する。 部署感で横断的にデータを把 握する 他のツールにデータを埋め込 む KPIの変更対応を1-2日で対 応完了できる。 同じ意味のメタデータを把握 して統一できる。 利点 工数削減 BIツールを見れば様々な ファクトを知ることができ る BIのアウトプットが共通言語 になる 変化の激しい事業に対応でき る。数字の間違えを減らせす 管理工数が減る。 課題 BIツールを扱える人材を供給 する みんなで使う文化作りや見 られるダッシュボードを用 意する 構築に手間がかかる セントライズする組織が必要 エンジニアのようなスキル セットも必要になる
22. セルフサービスBIツールの限界点 第3フェーズ（高度化・横展開）まではセルフサービスBIツールで到達できます が、第4フェーズ（高速・効率化）はほとんどの場合到達できません。 TableauやQlikを高度に活用しているTOP企業でも、BIツール上にある全ての項目 値の値が正しいか、全アウトプットをメンテナンスできている企業はないと断言 できます。 まだ日本ではセルフサービスBIツールが主流ですが、世界の流れとしては「アプ リケーションのようにBIツールを扱うこと」が求められています。（第3世代BI ツールの時代へ突入）
23. 第3世代BI（DWH依存型）2015-2020あたり 2015年代からAWSやGCPなどのクラウド環境を利用することが主流となりまし た。インメモリで限界だったデータ量をRedshiftやBigQueryが数秒で返してくれ るようになります。そのためDWHにデータの処理を任せる思想のツールが注目さ れていきます。 代表製品
24. アプリケーションのようにBIツールを扱うこと ・メタデータ管理 　スマホアプリの定義にバグがあると大問題。でもBIツールでは往々に発生。 　定義は効率的にコーディングして、活用はセルフサーブな形が良い。 　例：定義のGIT管理、メソッドにより再利用 ・エンベッド 　BIツール上にデータを集約することも必要。しかし業務を普段行うツールは別に ある。最速で意思決定するためには普段業務をする場所に必要なグラフを埋め込み その場で判断すること。BIのグラフを埋め込み分析する（Embedded Analytics） ・効果検証（解決するツールは存在しない。今後出ると思う） 　アプリのデザインのように、A/Bテストを実施してどちらが意思決定に寄与して いるかを測るようになる。BIエンジニアにデザイナー的要素も求めらえる。
25. メタデータ管理(Lookerの強み) 以下の問題を解決するためにはメタデータの一元管理が必要。 ・プロフェッショナル集団の阿吽の呼吸で人に依存する第2世代BIツール ・システムによる効率管理で高速に開発する第3世代BIツール　 二つの流派に分岐 画像出典：データ集計基盤の改善でLooker導入に至ったワケ ・LookMLによる定義の効率化（再利用性の向上） ・GITバージョン管理 ・データディクショナリ化
26. BIツールの活用体型 第1体型（部分利用） 第2体型（集約） 第3体型（エンベッド） 状態 各業務ツール上で個別集計＋分析 各業務ツールのデータを一箇所に集 約して同じ粒度で比較分析する 業務ツール上で必要なデータを埋め込み高速 に意思決定する 例 GA、SFA、MA、自社データ基盤＋ス プシなどで個別に分析。たまにBIツー ルで集計もする GA、SFA、MAなどのデータを DWH＋データマートに集約してBIで 分析 Google広告上に自社アプリの最近の利用・課 金状況を表示したり予測値を埋め込む。 利点 業務と分析が同化している 分析に必要なデータが揃っている 業務と分析が同化している 必要なデータが業務スペースに揃っている 課題 横断的な分析にコストがかかる 足りない数字を引っ張ってこれない 業務と分析が分断されている セントライズする組織が必要 構築に手間がかかる セントライズする組織が必要 データ層 可視化・ 集計層 意思決定層 BIツール BIツール
27. Embedded Analytics 事例1:顧客向けレポート 組み込み 普段提供しているアプリの中に実装 認証 パブリックに公開・BIのユーザーに公開・SSOで公開など柔軟に対応しているのが第3世代BIツールの特徴 適切な情報管理（余談Lookerのよさ） Tableauなど従来のBIツールは定義の確認がとても難しくスピーディーなダブルチェックがほぼ不可能。シンプルなレポートでないと 数字のミスなく提供するのが難しい。
28. Embedded Analytics 事例1:社内業務ツールに埋め込む（来るべきトレンド） 意思決定の高速化に寄与 データ層 可視化・集計層 意思決定層 BIツール
29. 効果検証 出典：水野 加寿代さん「可視化デザインフレームワークの紹介」 https:/ /www.slideshare.net/techblogyahoo/yjbonfire-238387092 効果を測ることが必須の時代に近い将来に突入する。 現時点で機能やノウハウをまとめたツールは存在しないので第4世代と呼ばれるかも
30. おわり みなさんのデータ可視化力で事業の意思決定を加速させていきましょう！ BIツール研究所のフォローよろしくお願いします！ ・研究所のメンバーが壁打ちしたり副業で参加できるメンバーもいます。 今後書きたい記事 ・BIツールのユーザービリティテスト ・各BIツールの特徴まとめ #Tableauデータサイエンス 感想やご要望お待ちしております。