データサイエンスとデータエンジニア

業務のためのPython勉強会第1回での発表資料です。

Transcript

1. データサイエンスと データエンジニア 草薙 昭彦 (@nagix) MapR Technologies
2. 自己紹介 •  草薙 昭彦 (@nagix) •  MapR Technologies データエンジニア NS-SHAFT 無料!
3. 業界の話
4. IT業界のトレンド •  ビッグデータ、クラウド、IoT/M2M •  データ活用の位置付けの変化 – 分析が企業の競争力に – リアルタイムなデータそのものがビジネス価値に
5. なぜ今データサイエンスか •  深い顧客の理解なしではビジネスは難しく なってきている – Web、モバイル、SNS、センサーなど、顧客に関す るあらゆるデータ •  人材の不足 – 個人の勘と経験ではなく、学術として整備 – 米国の大学ではコースが充実
6. Google トレンド
7. で、なぜ今? •  なぜ大きな会社も小さな会社も? – 巨大銀行からスタートアップまで •  なぜいろいろな業界で? – 金融、Web、製造、セキュリティ、・・・ •  なぜいろいろなアプリケーションで? – 広告ターゲティング、不正検知、故障予測、・・・ •  なぜ同じタイミングで?
8. ありがちな回答 より大量のデータが、より急速に生成される データサイズが最大容量の1台のコンピュータにも収まりきらなくなる データの生成や格納に必要なコストが下がり続けている これは正しい回答ではありません
9. 分析のスケーリングの法則 •  80:20 ルール – はじめはわずかな努力で大きな成果が得られる – ところが急激にリターンが減っていく •  一方、分析に必要なコストは – これまで: 規模を増やすとコストは指数関数的に 増加 – Big Data: コストの増加は直線的 •  分析のROIの構造が根本的に変わった!
10. 2,000 0 500 1000 1500 1 0 0.25 0.5 0.75 Scale Value データの規模、システムの規模、チームの規模 分析で得られる価値
11. 2,000 0 500 1000 1500 1 0 0.25 0.5 0.75 Scale Value データの規模、システムの規模、チームの規模 これまで： 分析にかかるコスト
12. 2,000 0 500 1000 1500 1 0 0.25 0.5 0.75 Scale Value データの規模、システムの規模、チームの規模 これまで: 分析で得られるリターン
13. 2,000 0 500 1000 1500 1 0 0.25 0.5 0.75 Scale Value Big Data： 分析にかかるコスト
14. 2,000 0 500 1000 1500 1 0 0.25 0.5 0.75 Scale Value Big Data： 分析で得られるリターン
15. データサイエンティストって どういう職業? •  ゴール – データに価値を見いだし – データに関するストーリーを伝えること •  そのために – 必要なデータを引き出し – 統計や機械学習の知識を駆使してモデルを作り – 結果を生成 – 顧客や経営層とのコミュニケーションを行う
16. データエンジニアってどういう職業? •  ゴール – データを適切な場所に適切な形式で格納し – 利用者がアクセスできるように整備する •  そのために – データ処理のニーズを明確化し – ニーズを満たすストレージ基盤を設計構築し – データフローやアクセスアプリケーションを整備 •  Big Data の 3V を扱えるシステムを構築する
17. 技術の話
18. データサイエンティストに 求められるスキル •  統計学、機械学習 – R, SPSS, SAS, Knime, Weka, RapidMiner, SciPy, … •  データの整形・フィルタリング・正規化・加工 – Python, Java, Hadoop, Hive, SQL, Spark, Excel, … •  可視化、プレゼンテーション •  貼っておきます –  データサイエンティストというかデータ分析職に就くための最低限のスキル要件とは hYp://tjo.hatenablog.com/entry/2015/03/13/190000 –  データサイエンティスト養成読本 hYp://www.amazon.co.jp/dp/4774158968
19. データエンジニアに求められるスキル •  Python, Java, Hadoop, Hive, SQL, Spark, … •  OS, ネットワーク, ストレージ, クラウド, … Image via Data Science 101
20. 大規模なデータを扱う時に重要なこと •  スケールアウト（水平スケーラビリティ） •  CPUとストレージの距離 サーバ ・・・ スケールアウト可能なアルゴリズム・データ格納方式 共有ストレージ (NAS/SAN) サーバ レイテンシ の問題 スループット の問題 サーバ サーバ サーバ 内蔵 HDD /SSD 内蔵 HDD /SSD 内蔵 HDD /SSD CPU CPU CPU
21. 大規模なデータを扱う時に重要なこと •  Data Gravity（データの重力） Web App Data 分析 App Data 会計 App Data マーケ App Data 販売 App Data 販売 App Data 会計 App マーケ App
22. Hadoopって? サーバ サーバ サーバ サーバ サーバ サーバ
23. Hadoopって? サーバ Hadoop Distributed File System (HDFS) データをブロックに 分割して分散配置、 3つのレプリカ作成
24. Hadoopって? サーバ Hadoop Distributed File System (HDFS) 分割されたデータ をMap、Reduceと いう単位で並列分 散処理 MapReduce
25. Hadoopって? Hadoop Distributed File System (HDFS) MapReduce Hadoop コア
26. Hadoopって? Hadoop Distributed File System (HDFS) MapReduce Hive SQLクエリ エンジン HBase NoSQL データベース Pig データ加工 フレームワーク Mahout 機械学習 Zoo Keeper 分散レポジトリ ・・・ MapReduce/HDFS を使いやすくする ための無数のプロ ジェクト
27. Sparkって? •  （主に）MapReduce の置き換え – バッチだけでなくインタラクティブな処理も – メモリを最大限利用し、より効率よく Spark Spark SQL SQLクエリ エンジン Spark Streaming ストリーム処理 MLlib 機械学習 GraphX グラフ処理 Spark R R on Spark HDFS またはその他のファイルシステム
28. 分析と機械学習 •  従来からの分析 – 集計、レポート、見える化、ルールベース処理 •  機械学習による応用 – 予測、カテゴリ分類、レコメンド、異常検知 •  データ分析のステップ 1.  ビジネスとデータの理解 2.  データの準備 3.  モデルの作成 4.  モデルの評価 5.  モデルの展開
29. Python と Hadoop/Spark •  MapReduce を Python で – mrjob, Pydoop •  Pig – Jython, cpython でユーザー定義関数を書く •  Hadoop を管理する – snakebite •  Spark を Python で – PySpark Hadoop with Python hYp://www.slideshare.net/DonaldMiner/hadoop-with-python
30. ビジネスの話
31. よくある悩み •  どこにデータがあるか分からない •  効果がわからないものに予算がつかない •  分析のスキルが足りない •  分析はできてもビジネスに結びつかない
32. ビジネスに分析を生かしている企業 hYp://itpro.nikkeibp.co.jp/atcl/column/ 14/122600137/122600002/ 「我々の仕事は、対話（アナログ）と データ分析（デジタル）の比率がそれ ぞれ50％ずつ。これが理想」 花王・石黒勲氏 hYp://special.nikkeibp.co.jp/ts/aricle/ae0d/ 180043/ 「スキルが高いデータサイエンティストよ り問題解決ができる人材」「高度な分析 技術はまず要らない」 リコー・佐藤敏明氏
33. 分析をビジネスに活用するために 重要なこと •  分析の8割は基本的なスキルでカバーできる •  分析には業務知識が必須 •  「データを中心に考える」文化の醸成 •  ステップを踏んで少しずつ成果を出す •  コミュニケーション
34. ありがとうございました