Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
blockchain_and_bigdata
Search
yuyhiraka
September 05, 2018
1
320
blockchain_and_bigdata
yuyhiraka
September 05, 2018
Tweet
Share
More Decks by yuyhiraka
See All by yuyhiraka
NoSQL初心者の私がCosmos DBを触ってみた
yuyhiraka
1
130
PoAとgenesis.json
yuyhiraka
0
270
Featured
See All Featured
A Modern Web Designer's Workflow
chriscoyier
689
190k
Building Your Own Lightsaber
phodgson
97
5.6k
JazzCon 2018 Closing Keynote - Leadership for the Reluctant Leader
reverentgeek
178
11k
Pencils Down: Stop Designing & Start Developing
hursman
115
11k
GitHub's CSS Performance
jonrohan
1023
450k
What’s in a name? Adding method to the madness
productmarketing
PRO
14
2.6k
Creatively Recalculating Your Daily Design Routine
revolveconf
209
11k
Build The Right Thing And Hit Your Dates
maggiecrowley
23
1.9k
Optimising Largest Contentful Paint
csswizardry
7
2.3k
Large-scale JavaScript Application Architecture
addyosmani
501
110k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
6
950
Documentation Writing (for coders)
carmenintech
59
3.8k
Transcript
ブロックチェーンとビッグデータ の類似性について考えてみる yuyhiraka
自己紹介:yuyhiraka • SIerのシステムエンジニア • 29歳 • 担当分野が散らばっており分散技術多し – 組み込み系開発[携帯電話基地局OAM] (2013)
– ビッグデータ[Hadoop etc…] (2014-2016, 2018) – プライベートクラウド[OpenStack] (2016-2017) – ブロックチェーン[Ethereum] (2017-2018) • 極度の勉強会マニア – 4年弱 – そろそろ200回くらいは参加したかも? – でも、閉鎖したサービス経由の参加もあって集計が難しい 2
ビッグデータとは • 大量のデータを意味する用語 • ビッグデータを分析すると以下を導き出せる – より優れた意思決定 – 戦略的なビジネス行動へとつながる洞察 •
データを使って何をするかが重要 • データの種別として以下がある – 構造化データ – 非構造化データ 情報元: https://www.sas.com/ja_jp/insights/big-data/what-is-big-data.html 3
構造化データ/非構造化データ 画像引用元: https://www.graffe.jp/blog/1823/ • 表形式かどうか – RDB (Oracle, Postgres・・・) –
Excel – CSVファイル • 世の中は非構造化データで 溢れている • 非構造化データは分析しづ らい • 規則性がないと余計に分析 しづらい • 最近はそうでもない 4
つまり・・・ 身近なものだと、 • スマートフォン – 位置情報、Web閲覧履歴、アプリ履歴・・・ • ECサイトのリコメンド – Amazon、楽天・・・
• Web広告 (アドテク) コンピュータとインターネットが広く普及し、データと分析/可視化 の条件が揃っているのでいろんなことがわかるようになったとい うこと 5
で? みなさまの心の声: ここはブロックチェーンの勉強会、 ビッグデータの話とか聞きにきてない なんの関係があるんだよ!!!! 金と時間を返して 6
あ、あります(震え声) 個人的には以下のような分類: • ブロックチェーンそのもののデータを分析 – トランザクション情報や残高など – グーグル「BigQuery」で「Ethereum」ブロックチェーンデータを解析可能に (Webニュース) •
ブロックチェーンに保存した情報を分析 – ブロックチェーンに記録した医療データ、サプライチェーンデータの分析 • ブロックチェーンとビッグデータの技術的類似 7
技術的類似 (1) ブロックチェーン) • PoW • PoS • PoA •
PBFT • ZooKeeperAtomicBroad cast (ZAB) ビッグデータ) • ZooKeeperAtomicBroad cast (ZAB) • Paxos 分散システムであるため合意アルゴリズムが使われる 8
技術的類似 (2) ブロックチェーン) • Ethereum – Plasma ビッグデータ) • データ前処理/分析
– 今はもう非推奨 MapReduceを使う場合がある 9
技術的類似 (3) ブロックチェーン) • Ethereum – GHOSTプロトコル • DagCoin –
IOTA? – 教えてください!!! ビッグデータ) • Apache Tez • Apache Spark DAGを使う場合がある 10
技術的類似 (4) ブロックチェーン) • Hyperledger Fabric – チャネル内のTX整列 ビッグデータ) •
データの集約 • データの配信 Kafka (Pub-Sub) を使う場合がある 11
技術的類似 (おまけ) ブロックチェーン) • k-匿名化 etc… ビッグデータ) • k-匿名化 etc… パーソナルデータの扱い
12
で? みなさまの心の声: 似てるからなんなんだよ なんの関係があるんだよ!!!! 13
ごめんなさい。。。 ぶっちゃけネタ発表だし、 あんまり似てることを知っても得することはないです (;_;) 強いて言えば、、、 – 単純に知識欲として面白い (コンピュータ科学) – お互いの分野の成果を輸入/輸出できる • ビッグデータの成果
–> ブロックチェーン改善 • ブロックチェーンの成果 -> ビッグデータ改善 – 知識スタックを活かした形で行き来できるかも? • ブロックチェーン屋⇄ビッグデータ屋 14
まとめ • ビッグデータという技術がある • ブロックチェーンとビッグデータは要 素技術が似ている – チーズとヨーグルトくらい? – 合意アルゴリズム、MR、DAG、Kafkaなど
• ブロックチェーンとビッグデータを組 み合わせる動きがある – ex) Google BigQueryの話 – ブロックチェーンに記録したデータの分析 15
蛇足 ある方に 「ビッグデータにブロックチェーン技術を適 用して耐改ざん性を持たせてはどうか?」と 言われた – 実際のところ課題がある • ハッシュ計算にかなり時間がかかりそう – もしかしてアルゴリズム次第?
• ビッグデータで耐改ざん性を保証したいユースケースってな んだろう – 統計的に分析するので多少のデータ欠損は気にしない世界観 – とはいえ探せばあるはあるかも 16
蛇足 個人的には以下のような分類: • ブロックチェーンそのもののデータを分析 – トランザクション情報や残高など – グーグル「BigQuery」で「Ethereum」ブロックチェーンデータを解析可能に (Web ニュース)
• ブロックチェーンに保存した情報を分析 – ブロックチェーンに記録した医療データ、サプライチェーンデータの分析 • ブロックチェーンとビッグデータの技術的類似 • ビッグデータに貯めたデータの耐改ざん性 NEW! 17