Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
大規模データ分析を支えるインフラ系オープンソースソフトウェアの最新事情
Search
草薙昭彦
June 08, 2016
Technology
48
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
大規模データ分析を支えるインフラ系オープンソースソフトウェアの最新事情
みんなのPython勉強会#13
での発表資料です。
草薙昭彦
June 08, 2016
Transcript
34 slides
大規模データ分析を支えるインフラ系 オープンソースソフトウェアの最新事情 草薙 昭彦 (@nagix) MapR Technologies
自己紹介 • 草薙 昭彦 (@nagix) • MapR Technologies データエンジニア NS-SHAFT
無料!
一般的な分析のデータフロー 収集 抽出 変換 加工 格納 集計 加工 生成 モデル
作成 可視化 レポート
一般人 収集 抽出 変換 加工 格納 集計 加工 生成 モデル
作成 可視化 レポート 手入力 Excel Excel Excel Excel
一般人 収集 抽出 変換 加工 格納 集計 加工 生成 モデル
作成 可視化 レポート 手入力 Excel Excel Excel Excel 実は専門家も
企業では 収集 抽出 変換 加工 格納 集計 加工 生成 モデル
作成 可視化 レポート 各部門 のRDB のCSV 出力 マスタと の結合 名寄せ 分析用 RDB SQL R SAS SPSS Excel Oracle DB2 MySQL PostgreSQL …
組織の規模が大きくなると • データボリューム – 大容量ストレージ・効率の良い格納フォーマット • 処理性能 – データ増や複数ユーザの同時アクセスに対応 • 信頼性・可用性 – ハードウェアのHA化・データの複製
• セキュリティ – 認証・アクセス制御・暗号化・監査
大企業では 収集 抽出 変換 加工 格納 集計 加工 モデル 作成
可視化 レポート ETL ツール RDB コネクタ ETL ツール データ ウェア ハウス SQL R SAS SPSS セルフ サービ スBI Teradata IBM Netezza HP VerLca AcLan Matrix InformaLca Data Stage Syncsort Talend QlikView Pentaho
ビッグデータって何でしたっけ • データボリューム – 従来のアーキテクチャでは処理格納できない量 • データの種類 – 非構造化(=スキーマが確定していない)データ • データの流入頻度 – 月次・日時バッチ投入から都度の投入へ
大規模なデータを扱う時に重要なこと • スケールアウト(水平スケーラビリティ) • CPUとストレージの距離(データローカリティ) サーバ ・・・ スケールアウト可能なアルゴリズム・データ格納方式 共有ストレージ (NAS/SAN)
サーバ レイテンシ の問題 スループット の問題 サーバ サーバ サーバ 内蔵 HDD /SSD 内蔵 HDD /SSD 内蔵 HDD /SSD CPU CPU CPU
大規模なデータを扱う時に重要なこと • Data Gravity(データの重力) Web App Data 分析 App Data
会計 App Data マーケ App Data 販売 App Data 販売 App Data 会計 App マーケ App
分析のROI • 最も重要なのはデータを増やしたとしてもそ れに見合うリターンが得られるかどうか – データが増えれば得られる価値は上がりそう・・ – 問題はコストをいかに抑えることができるか • コモディティハードウェアは必須! • スケールアウト分散処理ソフトウェアは必須!
• オープンソースソフトウェアは有力な選択肢
参考 • Google対Yahoo—インターネット戦争でどうしてここ まで差がついたのかを振り返る hZp://jp.techcrunch.com/2016/05/23/20160522why-google-beat-yahoo-in-the-war-for-the-internet/ – “NetAppハードウェアのコストはYahooの規模の拡大と同 じ速さで増大し、Yahooの利益の大きな部分に食い込むこ ととなった” –
“これに対して Googleは、規模を拡大し新サービスを追加 するときに起きるはずの問題を、それが起きる前に予期し、 効率的に対処できるようGoogle File Systemの開発に全力 を挙げた”
Hadoop ベース分析基盤(初期) 収集 抽出 変換 加工 格納 集計 加工 モデル作成
可視化 レポート ログ コレクタ RDB コネクタ Map Reduce Hive Pig HDFS Map Reduce Hive Pig Mahout セルフ サービ スBI
Hadoopって? サーバ サーバ サーバ サーバ サーバ サーバ
Hadoopって? サーバ Hadoop Distributed File System (HDFS) データをブロックに 分割して分散配置、 3つのレプリカ作成
Hadoopって? サーバ Hadoop Distributed File System (HDFS) 分割されたデータ をMap、Reduceと いう単位で並列分
散処理 MapReduce
Hadoopって? Hadoop Distributed File System (HDFS) MapReduce Hadoop コア
Hadoopって? Hadoop Distributed File System (HDFS) MapReduce Hive SQLクエリ エンジン
HBase NoSQL データベース Pig データ加工 フレームワーク Mahout 機械学習 Zoo Keeper 分散レポジトリ ・・・ MapReduce/HDFS を使いやすくする ための無数のプロ ジェクト
Hadoop ベース分析基盤(現在) 収集 抽出 変換 加工 格納 集計 加工 モデル作成
可視化 レポート ログ コレクタ RDB コネクタ Spark Hive Pig HDFS Spark SQL Dashbo ard NoteBo ok Apache Spark Apache Kylin Apache Drill Apache Impala Presto MLLib Oryx Apache Spark Apache Hive Apache Pig Apache Flume Fluentd Jupyter Apache Zeppelin Spark Notebook H2O
Sparkって? • (主に)MapReduce の置き換え – バッチだけでなくインタラクティブな処理も – メモリを最大限利用し、より効率よく Spark Spark SQL SQLクエリ
エンジン Spark Streaming ストリーム処理 MLlib 機械学習 GraphX グラフ処理 Spark R R on Spark HDFS またはその他のファイルシステム
トレンド:リアルタイム処理 • ビジネス側からの要件 – より早い変化の検知、決断、情報の提供 – 業務処理と分析処理は統合へ • データフロー、格納、処理それぞれに新しい アーキテクチャが必要 • 処理の2つのアプローチ
– バッチを極限まで細かくしていく(マイクロバッチ) – メッセージを1つ1つ処理していく
リアルタイム処理基盤 収集 抽出 変換 加工 格納 集計 加工 モデル作成 可視化
ログ コレクタ RDB コネクタ Spark Streami ng Kaka メッセー ジ キュー Spark Streami ng Dashbo ard Spark Streaming Apache Storm Apache Flink Apache APEX Apache Nifi StreamSets Apache Flume Fluentd ElasLcsearch /Kibana Grafana
ラムダアーキテクチャ • バッチ処理(Data at Rest)とリアルタイムストリー ム処理(Streaming Data)は組み合わせることで 価値が出る – 近似的な速報値をリアルタイム処理で得る
– 正確な集計や深い分析は履歴データを利用しバッチ 処理で得る • データを入口で複製し、用途に応じた最適な フォーマットで格納する – 例: 時間レンジの検索ならHBase、履歴集計なら Parquet
ラムダアーキテクチャ hZps://www.mapr.com/developercentral/lambda-architecture
ラムダアーキテクチャ 収集 抽出 変換 加工 格納 集計 加工 モデル作成 可視化
格納 抽出 変換 加工 集計 加工 モデル作成 バッチレイヤー スピードレイヤー Kaka HDFS
分析のタイプ • バッチ分析 – 蓄積された大量データから知見を得る • リアルタイム分析 – 流れてくるデータを対象にとりあえずの解を得る • インタラクティブ分析 – よくわからないものから鍵を見つけ方針を決める
Apache Arrow • カラム型インメモリ分析のデファクト標準を目 指す Apache プロジェクト • 多くのビッグデータ系Apacheプロジェクトで共 通のデータ構造を使うといいよね?
• データ構造、アルゴリズム、クロス言語バイン ディングを定義 • 最新のCPUの機能を活用した高速な分析
これは非効率性だわ・・・ • 各システムは独自の内部メモリ 形式を持つ • 70〜80%のCPUはシリアライズ・ デシリアライズに使われる • 似たような機能が複数のプロジェ クトで実装される
Thrin, Avro, Protobuf,…
• すべてのシステムは共通のメモリ 形式を持つ • システム間のやりとりにオーバー ヘッドがない • プロジェクト間で機能を共有できる (例: Parquet-to-Arrow
リーダー) ならばこうだ
カラム型フォーマット Row-oriented フォーマット (CSV, 従来のRDB, …) Column-oriented フォーマット (Parquet, ORC,
…)
Feather File Format • Apache ArrowをベースにしたRとPythonの Data Frameに適したディスク上のファイル フォーマット •
なんで今までこんな便利なものがなかったん だ!
PyhtonはUI言語から処理言語へ? hZp://www.slideshare.net/wesm/nextgeneraLon-python-big-data-tools-powered-by-apache-arrow
ありがとうございました
More Decks by 草薙昭彦
See All by 草薙昭彦
狙われているAPIの脆弱性!今こそ手をつけるべき根本的な対策とは?
nagix
0
140
AIエージェント統制はAPIから——押さえるべき5つの要素
nagix
0
130
AI に書かせたその API、 “信頼” できますか?
nagix
0
320
作品が生態系になった ─ Mini Tokyo 3D から世界へ
nagix
1
230
AIがAPIを書く時代に、私たちは何を設計すべきか
nagix
0
370
APIテストとは?
nagix
0
420
AI時代のガードレールとしてのAPIガバナンス
nagix
0
670
AI時代のAPIファースト開発
nagix
2
1.8k
自然言語でAPI作業を片付ける!「Postman Agent Mode」
nagix
0
190
Other Decks in Technology
See All in Technology
さようならSSH鍵、こんにちはゼロトラスト ― AIフレンドリーで快適な自宅鯖SSH
atalie2m
10
4.2k
小さなエージェントから始めてみよう!実践コンテキストエンジニアリング
iwamot
PRO
0
130
Linuxネットワークスタック進化の軌跡: 過去10年の歩みと最新トレンド
orimanabu
4
720
少ない人手 限られた予算 それでも守る 消せない・見つける・戻れる オールハザード型BCP on AWS / 20261107 Mitsutoshi Matsuo
shift_evolve
PRO
0
390
AIで実装が加速したのに、 なぜ私は仕事の大半で人と話し続けていたのか?
say_no_w
0
110
お風呂場をサーバルームにしよう
yusuke427
0
130
Gov-JAWS#9 統合監視機能のマネージドサービス化+AIによる障害時自動調査
fj_yoshimura_kosuke
0
150
Go初心者のクラウドエンジニアが、デプロイを通して旨味を知っていく話
ryudai
1
220
Quick Automate | 目指せ Quick マスター 12
inariku
PRO
1
110
高品質と高スピードを支える品質のシフトレフトのアプローチ
goyoki
4
1.4k
内製アプリとClaudeスキルのセキュリティチェック、 Backlogの課題で回しています。
ayaka_egaaa
0
200
LLM 基盤と kagent v0 を全部 k8s に入れてみた / Deploy both LLM and kagent v0 in k8s
kota2and3kan
0
230
Featured
See All Featured
Making the Leap to Tech Lead
cromwellryan
135
10k
Writing Fast Ruby
sferik
630
63k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
230
23k
Agile that works and the tools we love
rasmusluckow
331
22k
The agentic SEO stack - context over prompts
schlessera
0
1k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
133
20k
The Hidden Cost of Media on the Web [PixelPalooza 2025]
tammyeverts
2
580
Git: the NoSQL Database
bkeepers
PRO
433
67k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
32
3.1k
Automating Front-end Workflow
addyosmani
1370
210k
Breaking role norms: Why Content Design is so much more than writing copy - Taylor Woolridge
uxyall
2
520
Exploring anti-patterns in Rails
aemeredith
4
570