Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
blockchain_and_bigdata
Search
yuyhiraka
September 05, 2018
1
380
blockchain_and_bigdata
yuyhiraka
September 05, 2018
Tweet
Share
More Decks by yuyhiraka
See All by yuyhiraka
NoSQL初心者の私がCosmos DBを触ってみた
yuyhiraka
1
270
PoAとgenesis.json
yuyhiraka
0
300
Featured
See All Featured
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Faster Mobile Websites
deanohume
309
31k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.5k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.5k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
Gamification - CAS2011
davidbonilla
81
5.4k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
A Tale of Four Properties
chriscoyier
160
23k
Bash Introduction
62gerente
614
210k
Transcript
ブロックチェーンとビッグデータ の類似性について考えてみる yuyhiraka
自己紹介:yuyhiraka • SIerのシステムエンジニア • 29歳 • 担当分野が散らばっており分散技術多し – 組み込み系開発[携帯電話基地局OAM] (2013)
– ビッグデータ[Hadoop etc…] (2014-2016, 2018) – プライベートクラウド[OpenStack] (2016-2017) – ブロックチェーン[Ethereum] (2017-2018) • 極度の勉強会マニア – 4年弱 – そろそろ200回くらいは参加したかも? – でも、閉鎖したサービス経由の参加もあって集計が難しい 2
ビッグデータとは • 大量のデータを意味する用語 • ビッグデータを分析すると以下を導き出せる – より優れた意思決定 – 戦略的なビジネス行動へとつながる洞察 •
データを使って何をするかが重要 • データの種別として以下がある – 構造化データ – 非構造化データ 情報元: https://www.sas.com/ja_jp/insights/big-data/what-is-big-data.html 3
構造化データ/非構造化データ 画像引用元: https://www.graffe.jp/blog/1823/ • 表形式かどうか – RDB (Oracle, Postgres・・・) –
Excel – CSVファイル • 世の中は非構造化データで 溢れている • 非構造化データは分析しづ らい • 規則性がないと余計に分析 しづらい • 最近はそうでもない 4
つまり・・・ 身近なものだと、 • スマートフォン – 位置情報、Web閲覧履歴、アプリ履歴・・・ • ECサイトのリコメンド – Amazon、楽天・・・
• Web広告 (アドテク) コンピュータとインターネットが広く普及し、データと分析/可視化 の条件が揃っているのでいろんなことがわかるようになったとい うこと 5
で? みなさまの心の声: ここはブロックチェーンの勉強会、 ビッグデータの話とか聞きにきてない なんの関係があるんだよ!!!! 金と時間を返して 6
あ、あります(震え声) 個人的には以下のような分類: • ブロックチェーンそのもののデータを分析 – トランザクション情報や残高など – グーグル「BigQuery」で「Ethereum」ブロックチェーンデータを解析可能に (Webニュース) •
ブロックチェーンに保存した情報を分析 – ブロックチェーンに記録した医療データ、サプライチェーンデータの分析 • ブロックチェーンとビッグデータの技術的類似 7
技術的類似 (1) ブロックチェーン) • PoW • PoS • PoA •
PBFT • ZooKeeperAtomicBroad cast (ZAB) ビッグデータ) • ZooKeeperAtomicBroad cast (ZAB) • Paxos 分散システムであるため合意アルゴリズムが使われる 8
技術的類似 (2) ブロックチェーン) • Ethereum – Plasma ビッグデータ) • データ前処理/分析
– 今はもう非推奨 MapReduceを使う場合がある 9
技術的類似 (3) ブロックチェーン) • Ethereum – GHOSTプロトコル • DagCoin –
IOTA? – 教えてください!!! ビッグデータ) • Apache Tez • Apache Spark DAGを使う場合がある 10
技術的類似 (4) ブロックチェーン) • Hyperledger Fabric – チャネル内のTX整列 ビッグデータ) •
データの集約 • データの配信 Kafka (Pub-Sub) を使う場合がある 11
技術的類似 (おまけ) ブロックチェーン) • k-匿名化 etc… ビッグデータ) • k-匿名化 etc… パーソナルデータの扱い
12
で? みなさまの心の声: 似てるからなんなんだよ なんの関係があるんだよ!!!! 13
ごめんなさい。。。 ぶっちゃけネタ発表だし、 あんまり似てることを知っても得することはないです (;_;) 強いて言えば、、、 – 単純に知識欲として面白い (コンピュータ科学) – お互いの分野の成果を輸入/輸出できる • ビッグデータの成果
–> ブロックチェーン改善 • ブロックチェーンの成果 -> ビッグデータ改善 – 知識スタックを活かした形で行き来できるかも? • ブロックチェーン屋⇄ビッグデータ屋 14
まとめ • ビッグデータという技術がある • ブロックチェーンとビッグデータは要 素技術が似ている – チーズとヨーグルトくらい? – 合意アルゴリズム、MR、DAG、Kafkaなど
• ブロックチェーンとビッグデータを組 み合わせる動きがある – ex) Google BigQueryの話 – ブロックチェーンに記録したデータの分析 15
蛇足 ある方に 「ビッグデータにブロックチェーン技術を適 用して耐改ざん性を持たせてはどうか?」と 言われた – 実際のところ課題がある • ハッシュ計算にかなり時間がかかりそう – もしかしてアルゴリズム次第?
• ビッグデータで耐改ざん性を保証したいユースケースってな んだろう – 統計的に分析するので多少のデータ欠損は気にしない世界観 – とはいえ探せばあるはあるかも 16
蛇足 個人的には以下のような分類: • ブロックチェーンそのもののデータを分析 – トランザクション情報や残高など – グーグル「BigQuery」で「Ethereum」ブロックチェーンデータを解析可能に (Web ニュース)
• ブロックチェーンに保存した情報を分析 – ブロックチェーンに記録した医療データ、サプライチェーンデータの分析 • ブロックチェーンとビッグデータの技術的類似 • ビッグデータに貯めたデータの耐改ざん性 NEW! 17