$30 off During Our Annual Pro Sale. View Details »

BIツール大全 BIツールの歴史

BIツール大全 BIツールの歴史

Unravel the history of BI tools from the first generation to the third generation. We will also consider the upcoming trends.

Looker Qlik sense Tableau PowerBI and more

ShoMaekawa/ウィル

January 13, 2021
Tweet

More Decks by ShoMaekawa/ウィル

Other Decks in Technology

Transcript

  1. BIツール研究所 ウィル
    BIツール大全
    BIツールの歴史

    View Slide

  2. BIツールの歴史を知る目的
    ・BIツールの製品の違いを歴史と一緒に勉強しよう!
    ・最新のBIツールのトレンドを歴史から紐解こう!

    View Slide

  3. オープンエイト-データアナリスト ex.ヤフー株式会社
    BIツール研究所というコミュニティをやっています。
    Name :
    前側 将(Maekawa Sho)
    @willanalysts
    https://www.facebook.com/sho.maekawa1

    View Slide

  4. BIツール研究所
    Mission
     BIツールの情報をオープンにし、誰もが意思決定
    に繋げられるように支援する
    「なんとくBIツールが導入されているけど活用できない。グラフのレポートをたくさん作ったけ
    ど何も意思決定に反映されていない」。主宰者のウィルは数多くの企業のBIツール導入支援やBI
    エンジニアの友人と関わる中でこの問題を解決したいと思いコミュニティを立ち上げました。各
    ツールの情報をオープンにすることで誰もが適切なツールを導入できるようにする。単純に機能
    を比較するだけではなくて、どんな組織に合うのか、実務で通用するスキルは何なのか、さらに
    踏み込んだ議論をコミュニティ内で実施していきたいと考えてます。
    Twiiter YouTube

    View Slide

  5. 目次
    ・第1世代BI(トラディショナルBI)1990-2010あたり
    ・第2世代BI(セルフーサービスBI)2010-2020あたり
    ・第3世代BI(DWH依存型)2015-2020あたり

    View Slide

  6. 第1世代BI(トラディショナルBI)1990-2010あたり
    1990年代はインターネットがまだ商用利用され始めるくらいの時代。
    基幹システムのデータを分析するためのツールとして誕生。
    1990年代初めは注目されたものの、現在のように普及することなく時代が終了。
    代表製品

    View Slide

  7. 第1世代BIの特徴や時代背景
    【価格面】
    エンタープライズBIとも呼ばれるように最低でも1000万円から利用できるケース
    が多く、バブル崩壊後のIT投資抑制の流れがモロに刺さった。
    【チューニングが難しい】
    DWH、データマートの構築だけでなくキューブと呼ばれる多次元データベースを
    設計する必要がありかなりハードルが高かかった。しかも、サーバーを全部調達
    して想定した通りにパフォームしないと全く機能しないと言う博打のようなこと
    も往々に発生した。
    【データ分析は特別な人がするもの】
    PCも普及していない、していてもスピードが遅い時代にデータ分析は流行せず、
    今のように全ての人がするものを思われていなかった。

    View Slide

  8. 第2世代BI(セルフーサービスBI)2010-2020あたり
    2010年前後にCPUやメモリが比較的安価に調達できる時代が到来、1990年代から
    メモリの効率利用や独自の集計技術を研究したQLik が市場で評価されるように
    なった。64bitPCが一般的になり一気に多くの企業でBIツールが導入されるように
    なった。
    代表製品

    View Slide

  9. 第2世代BIの特徴な流れ主要3製品
    独自のデータ圧縮技術とインメモリ技術で市場を
    リードしたのはQlik View
    2013年からの2-3年で市場を制したTableau
    市場が大きくなりTableauやQLikにアジャストし
    た製品を低価格で販売してシェアを広げたPower
    BI

    View Slide

  10. セルフサービスBIツールとは
    データマート
    キューブ
    BIツール
    ダッシュボード
    BIツール
    ダッシュボード
    DWH
    ETL
    基幹システム
    第1世代BI
    第2世代BI
    ファイルデータ
    DWH
    SaaSデータ
    現場の利用者が自分自身で使えるBIツールのこと

    View Slide

  11. インメモリ技術とは
    ざっくり概要(専門家ではないので細かい点ご容赦下さい。。)
    HDD層
    データベース
    メモリ層 CPU層
    ・通常のクエリー処理
    ・インメモリ処理
    一度ロードしたデータをメ
    モリ上にキャッシュで保持
    メモリからすぐにデータを
    呼び出せるので高速処理

    View Slide

  12. Tableauが市場を制圧した理由
    価格戦略:
    Tableau Publicのような無償版をばら撒いた。PowerBIもOffice製品とセット販売
    ライトユーザーを大切にした:
    2012年あたりからのビッグデータブームの時代に機能面や性能ではQLikviewの方
    が上でした。しかしQlikViewが玄人向けで拾いきれないライトユーザーも
    Tableauはその美しいVizの表現力や分析サポート機能で魅了しました。
    ユーザーを離さないコミュニティ:
    他のメーカーは利用ユーザーのみにしか情報を共有せず外の興味あるユーザーは
    どんな製品なのかわからない(今で見受けられる)中、Tableauは公式HPでVIZ
    の共有SNSをオープンにしたり、エバンジェリストを作るのがうまかった。今で
    はTwitterを見れば世界中の人が #Tableauで投稿している。

    View Slide

  13. セルフサービスBIツールの最高到達点
    セルフサービスBIツールを最大限活用するためには、自由度の高さをうまく活用
    できる「プロフェッショナル集団を作り上げる」ことにあると思います。
    自由度が高い故にそのツール独自の言語や作法を学びスキルレベルの高いメン
    バーの阿吽の呼吸で運用するのがベストです。
    ヤフーでは5人のTableauプロフェッショナルで3000-4000人の基盤を運用。
    サイト(部署数60)のそれぞれにプロフェッショナルを育成する方針を採用して
    いました。Center OF Excellence(CoE)

    View Slide

  14. 参考資料
    Speaker Deckに詳しい資料がありますのでご覧ください!

    View Slide

  15. Center OF Excellence(CoE)の体制
    各部署に強強BIマスターを育成してセントライズする。
    出典
    :https://speakerdeck.com/shomaekawa/tableauxue-xi-puroguramu-yahuban-sukiruberuto-quan-she-yuan-nidetabiziyuaraizufals
    eli-wo

    View Slide

  16. Center OF Excellence(CoE)の業務
    運用組織がBIツールの社内カスタマーサクセス のような動きをすること。
    領域 業務
    テクノロジー システム連携 パフォーマンス
    管理
    教育 社内ハンズオン スキル教育研修 新機能説明会 E-ラーニング
    コンサル 新規導入コンサ

    プロトタイプ作

    コミュニティ リーダー会 VIZコンペ オフ会

    View Slide

  17. 最高到達点:ゲーミフィケーションを用いたE-ラーニング
    Progeteなどのオンライン学習サービスのようにゲーム感覚で学習できるサイト
    を構築。

    View Slide

  18. 最高到達点:ゲーミフィケーションを用いたE-ラーニング
    今まで拾い切れてない意欲があるけど忙しい人が一定数スキルアップすることに
    成功。ただし、忙しすぎる人やデータ活用のプライオリティが低い人には向かな
    い。

    View Slide

  19. 最高到達点:評価やオペレーションに組み込む
    ではどうすればいいのか?ワークマンでは一定の分析力がないと昇進できない設
    計にしている。
    全部クリア!
    部長昇進!!!

    View Slide

  20. インメモリの限界点
    インメモリは確かに数億件のデータを瞬時に扱うことに長けています。
    世の中の流れは非常に速く、AmazonやGoogleからクラウド型DWHが登場。桁違
    いのリソースを安価に活用できる時代が到来しました。例えばBIg Queryであれ
    ばデータ量の応じて計算リソースを自動でスケールアウトしてくれるのでチュー
    ニング不要でほぼ高速なデータ処理を可能にしました。
    2021年時点では高速DWHで処理したデータをBIツールに載せるのが主流になって
    ます。

    View Slide

  21. BIツール活用フェーズ
    ※BIツール研究所式
    第1フェーズ(導
    入)
    第2フェーズ(利
    用)
    第3フェーズ(高度
    化・横展開)
    第4フェーズ(高速
    ・効率化)
    状態 BIツールを使うことができて
    いる
    BIツールを積極的に活用で
    きている
    BIツールを全社で活用できて
    いる
    アウトプットを高速に作成す
    る。メタデータを再利用して
    効率的に運用する。
    詳細 Excelの作業を自動化 様々なデータをBI上に集約
    してリアルタイムで可視化
    する。
    部署感で横断的にデータを把
    握する
    他のツールにデータを埋め込

    KPIの変更対応を1-2日で対
    応完了できる。
    同じ意味のメタデータを把握
    して統一できる。
    利点 工数削減 BIツールを見れば様々な
    ファクトを知ることができ

    BIのアウトプットが共通言語
    になる
    変化の激しい事業に対応でき
    る。数字の間違えを減らせす
    管理工数が減る。
    課題 BIツールを扱える人材を供給
    する
    みんなで使う文化作りや見
    られるダッシュボードを用
    意する
    構築に手間がかかる
    セントライズする組織が必要
    エンジニアのようなスキル
    セットも必要になる

    View Slide

  22. セルフサービスBIツールの限界点
    第3フェーズ(高度化・横展開)まではセルフサービスBIツールで到達できます
    が、第4フェーズ(高速・効率化)はほとんどの場合到達できません。
    TableauやQlikを高度に活用しているTOP企業でも、BIツール上にある全ての項目
    値の値が正しいか、全アウトプットをメンテナンスできている企業はないと断言
    できます。
    まだ日本ではセルフサービスBIツールが主流ですが、世界の流れとしては「アプ
    リケーションのようにBIツールを扱うこと」が求められています。(第3世代BI
    ツールの時代へ突入)

    View Slide

  23. 第3世代BI(DWH依存型)2015-2020あたり
    2015年代からAWSやGCPなどのクラウド環境を利用することが主流となりまし
    た。インメモリで限界だったデータ量をRedshiftやBigQueryが数秒で返してくれ
    るようになります。そのためDWHにデータの処理を任せる思想のツールが注目さ
    れていきます。
    代表製品

    View Slide

  24. アプリケーションのようにBIツールを扱うこと
    ・メタデータ管理
     スマホアプリの定義にバグがあると大問題。でもBIツールでは往々に発生。
     定義は効率的にコーディングして、活用はセルフサーブな形が良い。
     例:定義のGIT管理、メソッドにより再利用
    ・エンベッド
     BIツール上にデータを集約することも必要。しかし業務を普段行うツールは別に
    ある。最速で意思決定するためには普段業務をする場所に必要なグラフを埋め込み
    その場で判断すること。BIのグラフを埋め込み分析する(Embedded Analytics)
    ・効果検証(解決するツールは存在しない。今後出ると思う)
     アプリのデザインのように、A/Bテストを実施してどちらが意思決定に寄与して
    いるかを測るようになる。BIエンジニアにデザイナー的要素も求めらえる。

    View Slide

  25. メタデータ管理(Lookerの強み)
    以下の問題を解決するためにはメタデータの一元管理が必要。
    ・プロフェッショナル集団の阿吽の呼吸で人に依存する第2世代BIツール
    ・システムによる効率管理で高速に開発する第3世代BIツール 
    二つの流派に分岐
    画像出典:データ集計基盤の改善でLooker導入に至ったワケ
    ・LookMLによる定義の効率化(再利用性の向上)
    ・GITバージョン管理
    ・データディクショナリ化

    View Slide

  26. BIツールの活用体型
    第1体型(部分利用) 第2体型(集約) 第3体型(エンベッド)
    状態 各業務ツール上で個別集計+分析 各業務ツールのデータを一箇所に集
    約して同じ粒度で比較分析する
    業務ツール上で必要なデータを埋め込み高速
    に意思決定する
    例 GA、SFA、MA、自社データ基盤+ス
    プシなどで個別に分析。たまにBIツー
    ルで集計もする
    GA、SFA、MAなどのデータを
    DWH+データマートに集約してBIで
    分析
    Google広告上に自社アプリの最近の利用・課
    金状況を表示したり予測値を埋め込む。
    利点 業務と分析が同化している 分析に必要なデータが揃っている 業務と分析が同化している
    必要なデータが業務スペースに揃っている
    課題 横断的な分析にコストがかかる
    足りない数字を引っ張ってこれない
    業務と分析が分断されている
    セントライズする組織が必要
    構築に手間がかかる
    セントライズする組織が必要
    データ層
    可視化・
    集計層
    意思決定層
    BIツール
    BIツール

    View Slide

  27. Embedded Analytics
    事例1:顧客向けレポート
    組み込み
    普段提供しているアプリの中に実装
    認証
    パブリックに公開・BIのユーザーに公開・SSOで公開など柔軟に対応しているのが第3世代BIツールの特徴
    適切な情報管理(余談Lookerのよさ)
    Tableauなど従来のBIツールは定義の確認がとても難しくスピーディーなダブルチェックがほぼ不可能。シンプルなレポートでないと
    数字のミスなく提供するのが難しい。

    View Slide

  28. Embedded Analytics
    事例1:社内業務ツールに埋め込む(来るべきトレンド)
    意思決定の高速化に寄与 データ層
    可視化・集計層
    意思決定層
    BIツール

    View Slide

  29. 効果検証
    出典:水野 加寿代さん「可視化デザインフレームワークの紹介」
    https:/
    /www.slideshare.net/techblogyahoo/yjbonfire-238387092
    効果を測ることが必須の時代に近い将来に突入する。
    現時点で機能やノウハウをまとめたツールは存在しないので第4世代と呼ばれるかも

    View Slide

  30. おわり
    みなさんのデータ可視化力で事業の意思決定を加速させていきましょう!
    BIツール研究所のフォローよろしくお願いします!
    ・研究所のメンバーが壁打ちしたり副業で参加できるメンバーもいます。
    今後書きたい記事
    ・BIツールのユーザービリティテスト
    ・各BIツールの特徴まとめ
    #Tableauデータサイエンス
    感想やご要望お待ちしております。

    View Slide