Unravel the history of BI tools from the first generation to the third generation. We will also consider the upcoming trends.
Looker Qlik sense Tableau PowerBI and more
BIツール研究所 ウィルBIツール大全BIツールの歴史
View Slide
BIツールの歴史を知る目的・BIツールの製品の違いを歴史と一緒に勉強しよう！・最新のBIツールのトレンドを歴史から紐解こう！
オープンエイト-データアナリスト ex.ヤフー株式会社BIツール研究所というコミュニティをやっています。Name :前側 将(Maekawa Sho)@willanalystshttps://www.facebook.com/sho.maekawa1
BIツール研究所Mission BIツールの情報をオープンにし、誰もが意思決定に繋げられるように支援する「なんとくBIツールが導入されているけど活用できない。グラフのレポートをたくさん作ったけど何も意思決定に反映されていない」。主宰者のウィルは数多くの企業のBIツール導入支援やBIエンジニアの友人と関わる中でこの問題を解決したいと思いコミュニティを立ち上げました。各ツールの情報をオープンにすることで誰もが適切なツールを導入できるようにする。単純に機能を比較するだけではなくて、どんな組織に合うのか、実務で通用するスキルは何なのか、さらに踏み込んだ議論をコミュニティ内で実施していきたいと考えてます。Twiiter YouTube
目次・第1世代BI（トラディショナルBI）1990-2010あたり・第2世代BI（セルフーサービスBI）2010-2020あたり・第3世代BI（DWH依存型）2015-2020あたり
第1世代BI（トラディショナルBI）1990-2010あたり1990年代はインターネットがまだ商用利用され始めるくらいの時代。基幹システムのデータを分析するためのツールとして誕生。1990年代初めは注目されたものの、現在のように普及することなく時代が終了。代表製品
第1世代BIの特徴や時代背景【価格面】エンタープライズBIとも呼ばれるように最低でも1000万円から利用できるケースが多く、バブル崩壊後のIT投資抑制の流れがモロに刺さった。【チューニングが難しい】DWH、データマートの構築だけでなくキューブと呼ばれる多次元データベースを設計する必要がありかなりハードルが高かかった。しかも、サーバーを全部調達して想定した通りにパフォームしないと全く機能しないと言う博打のようなことも往々に発生した。【データ分析は特別な人がするもの】PCも普及していない、していてもスピードが遅い時代にデータ分析は流行せず、今のように全ての人がするものを思われていなかった。
第2世代BI（セルフーサービスBI）2010-2020あたり2010年前後にCPUやメモリが比較的安価に調達できる時代が到来、1990年代からメモリの効率利用や独自の集計技術を研究したQLik が市場で評価されるようになった。64bitPCが一般的になり一気に多くの企業でBIツールが導入されるようになった。代表製品
第2世代BIの特徴な流れ主要3製品独自のデータ圧縮技術とインメモリ技術で市場をリードしたのはQlik View2013年からの2-3年で市場を制したTableau市場が大きくなりTableauやQLikにアジャストした製品を低価格で販売してシェアを広げたPowerBI
セルフサービスBIツールとはデータマートキューブBIツールダッシュボードBIツールダッシュボードDWHETL基幹システム第1世代BI第2世代BIファイルデータDWHSaaSデータ現場の利用者が自分自身で使えるBIツールのこと
インメモリ技術とはざっくり概要（専門家ではないので細かい点ご容赦下さい。。）HDD層データベースメモリ層 CPU層・通常のクエリー処理・インメモリ処理一度ロードしたデータをメモリ上にキャッシュで保持メモリからすぐにデータを呼び出せるので高速処理
Tableauが市場を制圧した理由価格戦略：Tableau Publicのような無償版をばら撒いた。PowerBIもOffice製品とセット販売ライトユーザーを大切にした：2012年あたりからのビッグデータブームの時代に機能面や性能ではQLikviewの方が上でした。しかしQlikViewが玄人向けで拾いきれないライトユーザーもTableauはその美しいVizの表現力や分析サポート機能で魅了しました。ユーザーを離さないコミュニティ：他のメーカーは利用ユーザーのみにしか情報を共有せず外の興味あるユーザーはどんな製品なのかわからない（今で見受けられる）中、Tableauは公式HPでVIZの共有SNSをオープンにしたり、エバンジェリストを作るのがうまかった。今ではTwitterを見れば世界中の人が #Tableauで投稿している。
セルフサービスBIツールの最高到達点セルフサービスBIツールを最大限活用するためには、自由度の高さをうまく活用できる「プロフェッショナル集団を作り上げる」ことにあると思います。自由度が高い故にそのツール独自の言語や作法を学びスキルレベルの高いメンバーの阿吽の呼吸で運用するのがベストです。ヤフーでは5人のTableauプロフェッショナルで3000-4000人の基盤を運用。サイト（部署数60）のそれぞれにプロフェッショナルを育成する方針を採用していました。Center OF Excellence(CoE)
参考資料Speaker Deckに詳しい資料がありますのでご覧ください！
Center OF Excellence(CoE)の体制各部署に強強BIマスターを育成してセントライズする。出典：https://speakerdeck.com/shomaekawa/tableauxue-xi-puroguramu-yahuban-sukiruberuto-quan-she-yuan-nidetabiziyuaraizufalseli-wo
Center OF Excellence(CoE)の業務運用組織がBIツールの社内カスタマーサクセス のような動きをすること。領域 業務テクノロジー システム連携 パフォーマンス管理教育 社内ハンズオン スキル教育研修 新機能説明会 E-ラーニングコンサル 新規導入コンサルプロトタイプ作成コミュニティ リーダー会 VIZコンペ オフ会
最高到達点：ゲーミフィケーションを用いたE-ラーニングProgeteなどのオンライン学習サービスのようにゲーム感覚で学習できるサイトを構築。
最高到達点：ゲーミフィケーションを用いたE-ラーニング今まで拾い切れてない意欲があるけど忙しい人が一定数スキルアップすることに成功。ただし、忙しすぎる人やデータ活用のプライオリティが低い人には向かない。
最高到達点：評価やオペレーションに組み込むではどうすればいいのか？ワークマンでは一定の分析力がないと昇進できない設計にしている。全部クリア！部長昇進！！！
インメモリの限界点インメモリは確かに数億件のデータを瞬時に扱うことに長けています。世の中の流れは非常に速く、AmazonやGoogleからクラウド型DWHが登場。桁違いのリソースを安価に活用できる時代が到来しました。例えばBIg Queryであればデータ量の応じて計算リソースを自動でスケールアウトしてくれるのでチューニング不要でほぼ高速なデータ処理を可能にしました。2021年時点では高速DWHで処理したデータをBIツールに載せるのが主流になってます。
BIツール活用フェーズ※BIツール研究所式第1フェーズ（導入）第2フェーズ（利用）第3フェーズ（高度化・横展開）第4フェーズ（高速・効率化）状態 BIツールを使うことができているBIツールを積極的に活用できているBIツールを全社で活用できているアウトプットを高速に作成する。メタデータを再利用して効率的に運用する。詳細 Excelの作業を自動化 様々なデータをBI上に集約してリアルタイムで可視化する。部署感で横断的にデータを把握する他のツールにデータを埋め込むKPIの変更対応を1-2日で対応完了できる。同じ意味のメタデータを把握して統一できる。利点 工数削減 BIツールを見れば様々なファクトを知ることができるBIのアウトプットが共通言語になる変化の激しい事業に対応できる。数字の間違えを減らせす管理工数が減る。課題 BIツールを扱える人材を供給するみんなで使う文化作りや見られるダッシュボードを用意する構築に手間がかかるセントライズする組織が必要エンジニアのようなスキルセットも必要になる
セルフサービスBIツールの限界点第3フェーズ（高度化・横展開）まではセルフサービスBIツールで到達できますが、第4フェーズ（高速・効率化）はほとんどの場合到達できません。TableauやQlikを高度に活用しているTOP企業でも、BIツール上にある全ての項目値の値が正しいか、全アウトプットをメンテナンスできている企業はないと断言できます。まだ日本ではセルフサービスBIツールが主流ですが、世界の流れとしては「アプリケーションのようにBIツールを扱うこと」が求められています。（第3世代BIツールの時代へ突入）
第3世代BI（DWH依存型）2015-2020あたり2015年代からAWSやGCPなどのクラウド環境を利用することが主流となりました。インメモリで限界だったデータ量をRedshiftやBigQueryが数秒で返してくれるようになります。そのためDWHにデータの処理を任せる思想のツールが注目されていきます。代表製品
アプリケーションのようにBIツールを扱うこと・メタデータ管理 スマホアプリの定義にバグがあると大問題。でもBIツールでは往々に発生。 定義は効率的にコーディングして、活用はセルフサーブな形が良い。 例：定義のGIT管理、メソッドにより再利用・エンベッド BIツール上にデータを集約することも必要。しかし業務を普段行うツールは別にある。最速で意思決定するためには普段業務をする場所に必要なグラフを埋め込みその場で判断すること。BIのグラフを埋め込み分析する（Embedded Analytics）・効果検証（解決するツールは存在しない。今後出ると思う） アプリのデザインのように、A/Bテストを実施してどちらが意思決定に寄与しているかを測るようになる。BIエンジニアにデザイナー的要素も求めらえる。
メタデータ管理(Lookerの強み)以下の問題を解決するためにはメタデータの一元管理が必要。・プロフェッショナル集団の阿吽の呼吸で人に依存する第2世代BIツール・システムによる効率管理で高速に開発する第3世代BIツール 二つの流派に分岐画像出典：データ集計基盤の改善でLooker導入に至ったワケ・LookMLによる定義の効率化（再利用性の向上）・GITバージョン管理・データディクショナリ化
BIツールの活用体型第1体型（部分利用） 第2体型（集約） 第3体型（エンベッド）状態 各業務ツール上で個別集計＋分析 各業務ツールのデータを一箇所に集約して同じ粒度で比較分析する業務ツール上で必要なデータを埋め込み高速に意思決定する例 GA、SFA、MA、自社データ基盤＋スプシなどで個別に分析。たまにBIツールで集計もするGA、SFA、MAなどのデータをDWH＋データマートに集約してBIで分析Google広告上に自社アプリの最近の利用・課金状況を表示したり予測値を埋め込む。利点 業務と分析が同化している 分析に必要なデータが揃っている 業務と分析が同化している必要なデータが業務スペースに揃っている課題 横断的な分析にコストがかかる足りない数字を引っ張ってこれない業務と分析が分断されているセントライズする組織が必要構築に手間がかかるセントライズする組織が必要データ層可視化・集計層意思決定層BIツールBIツール
Embedded Analytics事例1:顧客向けレポート組み込み普段提供しているアプリの中に実装認証パブリックに公開・BIのユーザーに公開・SSOで公開など柔軟に対応しているのが第3世代BIツールの特徴適切な情報管理（余談Lookerのよさ）Tableauなど従来のBIツールは定義の確認がとても難しくスピーディーなダブルチェックがほぼ不可能。シンプルなレポートでないと数字のミスなく提供するのが難しい。
Embedded Analytics事例1:社内業務ツールに埋め込む（来るべきトレンド）意思決定の高速化に寄与 データ層可視化・集計層意思決定層BIツール
効果検証出典：水野 加寿代さん「可視化デザインフレームワークの紹介」https://www.slideshare.net/techblogyahoo/yjbonfire-238387092効果を測ることが必須の時代に近い将来に突入する。現時点で機能やノウハウをまとめたツールは存在しないので第4世代と呼ばれるかも
おわりみなさんのデータ可視化力で事業の意思決定を加速させていきましょう！BIツール研究所のフォローよろしくお願いします！・研究所のメンバーが壁打ちしたり副業で参加できるメンバーもいます。今後書きたい記事・BIツールのユーザービリティテスト・各BIツールの特徴まとめ#Tableauデータサイエンス感想やご要望お待ちしております。
shomaekawa
eliasnogueira
hayatokudou
uzulla
jacopen
kako351
nomu
drumath2237
akki_megane
oracle4engineer
soachr
safie_recruit
you
thekraken
3n
revolveconf
brianwarren
lara
zakiyama
jlugia
brad_frost
addyosmani
jacobian
afnizarnur