Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
blockchain_and_bigdata
Search
yuyhiraka
September 05, 2018
400
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
blockchain_and_bigdata
yuyhiraka
September 05, 2018
Transcript
17 slides
ブロックチェーンとビッグデータ の類似性について考えてみる yuyhiraka
自己紹介:yuyhiraka • SIerのシステムエンジニア • 29歳 • 担当分野が散らばっており分散技術多し – 組み込み系開発[携帯電話基地局OAM] (2013)
– ビッグデータ[Hadoop etc…] (2014-2016, 2018) – プライベートクラウド[OpenStack] (2016-2017) – ブロックチェーン[Ethereum] (2017-2018) • 極度の勉強会マニア – 4年弱 – そろそろ200回くらいは参加したかも? – でも、閉鎖したサービス経由の参加もあって集計が難しい 2
ビッグデータとは • 大量のデータを意味する用語 • ビッグデータを分析すると以下を導き出せる – より優れた意思決定 – 戦略的なビジネス行動へとつながる洞察 •
データを使って何をするかが重要 • データの種別として以下がある – 構造化データ – 非構造化データ 情報元: https://www.sas.com/ja_jp/insights/big-data/what-is-big-data.html 3
構造化データ/非構造化データ 画像引用元: https://www.graffe.jp/blog/1823/ • 表形式かどうか – RDB (Oracle, Postgres・・・) –
Excel – CSVファイル • 世の中は非構造化データで 溢れている • 非構造化データは分析しづ らい • 規則性がないと余計に分析 しづらい • 最近はそうでもない 4
つまり・・・ 身近なものだと、 • スマートフォン – 位置情報、Web閲覧履歴、アプリ履歴・・・ • ECサイトのリコメンド – Amazon、楽天・・・
• Web広告 (アドテク) コンピュータとインターネットが広く普及し、データと分析/可視化 の条件が揃っているのでいろんなことがわかるようになったとい うこと 5
で? みなさまの心の声: ここはブロックチェーンの勉強会、 ビッグデータの話とか聞きにきてない なんの関係があるんだよ!!!! 金と時間を返して 6
あ、あります(震え声) 個人的には以下のような分類: • ブロックチェーンそのもののデータを分析 – トランザクション情報や残高など – グーグル「BigQuery」で「Ethereum」ブロックチェーンデータを解析可能に (Webニュース) •
ブロックチェーンに保存した情報を分析 – ブロックチェーンに記録した医療データ、サプライチェーンデータの分析 • ブロックチェーンとビッグデータの技術的類似 7
技術的類似 (1) ブロックチェーン) • PoW • PoS • PoA •
PBFT • ZooKeeperAtomicBroad cast (ZAB) ビッグデータ) • ZooKeeperAtomicBroad cast (ZAB) • Paxos 分散システムであるため合意アルゴリズムが使われる 8
技術的類似 (2) ブロックチェーン) • Ethereum – Plasma ビッグデータ) • データ前処理/分析
– 今はもう非推奨 MapReduceを使う場合がある 9
技術的類似 (3) ブロックチェーン) • Ethereum – GHOSTプロトコル • DagCoin –
IOTA? – 教えてください!!! ビッグデータ) • Apache Tez • Apache Spark DAGを使う場合がある 10
技術的類似 (4) ブロックチェーン) • Hyperledger Fabric – チャネル内のTX整列 ビッグデータ) •
データの集約 • データの配信 Kafka (Pub-Sub) を使う場合がある 11
技術的類似 (おまけ) ブロックチェーン) • k-匿名化 etc… ビッグデータ) • k-匿名化 etc… パーソナルデータの扱い
12
で? みなさまの心の声: 似てるからなんなんだよ なんの関係があるんだよ!!!! 13
ごめんなさい。。。 ぶっちゃけネタ発表だし、 あんまり似てることを知っても得することはないです (;_;) 強いて言えば、、、 – 単純に知識欲として面白い (コンピュータ科学) – お互いの分野の成果を輸入/輸出できる • ビッグデータの成果
–> ブロックチェーン改善 • ブロックチェーンの成果 -> ビッグデータ改善 – 知識スタックを活かした形で行き来できるかも? • ブロックチェーン屋⇄ビッグデータ屋 14
まとめ • ビッグデータという技術がある • ブロックチェーンとビッグデータは要 素技術が似ている – チーズとヨーグルトくらい? – 合意アルゴリズム、MR、DAG、Kafkaなど
• ブロックチェーンとビッグデータを組 み合わせる動きがある – ex) Google BigQueryの話 – ブロックチェーンに記録したデータの分析 15
蛇足 ある方に 「ビッグデータにブロックチェーン技術を適 用して耐改ざん性を持たせてはどうか?」と 言われた – 実際のところ課題がある • ハッシュ計算にかなり時間がかかりそう – もしかしてアルゴリズム次第?
• ビッグデータで耐改ざん性を保証したいユースケースってな んだろう – 統計的に分析するので多少のデータ欠損は気にしない世界観 – とはいえ探せばあるはあるかも 16
蛇足 個人的には以下のような分類: • ブロックチェーンそのもののデータを分析 – トランザクション情報や残高など – グーグル「BigQuery」で「Ethereum」ブロックチェーンデータを解析可能に (Web ニュース)
• ブロックチェーンに保存した情報を分析 – ブロックチェーンに記録した医療データ、サプライチェーンデータの分析 • ブロックチェーンとビッグデータの技術的類似 • ビッグデータに貯めたデータの耐改ざん性 NEW! 17
More Decks by yuyhiraka
See All by yuyhiraka
NoSQL初心者の私がCosmos DBを触ってみた
yuyhiraka
1
340
PoAとgenesis.json
yuyhiraka
0
320
Featured
See All Featured
Navigating the Design Leadership Dip - Product Design Week Design Leaders+ Conference 2024
apolaine
2
520
Beyond borders and beyond the search box: How to win the global "messy middle" with AI-driven SEO
davidcarrasco
3
300
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
25
2.2k
SEOcharity - Dark patterns in SEO and UX: How to avoid them and build a more ethical web
sarafernandez
0
330
XXLCSS - How to scale CSS and keep your sanity
sugarenia
250
1.3M
Product Roadmaps are Hard
iamctodd
55
13k
How GitHub (no longer) Works
holman
316
150k
Producing Creativity
orderedlist
PRO
348
41k
Digital Projects Gone Horribly Wrong (And the UX Pros Who Still Save the Day) - Dean Schuster
uxyall
2
3.9k
More Than Pixels: Becoming A User Experience Designer
marktimemedia
3
620
Taking LLMs out of the black box: A practical guide to human-in-the-loop distillation
inesmontani
PRO
3
2.5k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
141
35k