blockchain_and_bigdata

Transcript

1. ブロックチェーンとビッグデータ の類似性について考えてみる yuyhiraka
2. 自己紹介：yuyhiraka •  SIerのシステムエンジニア •  29歳 •  担当分野が散らばっており分散技術多し –  組み込み系開発[携帯電話基地局OAM] (2013) –  ビッグデータ[Hadoop etc…] (2014-2016, 2018) –  プライベートクラウド[OpenStack] (2016-2017) –  ブロックチェーン[Ethereum] (2017-2018) •  極度の勉強会マニア –  4年弱 –  そろそろ200回くらいは参加したかも？ –  でも、閉鎖したサービス経由の参加もあって集計が難しい 2
3. ビッグデータとは •  大量のデータを意味する用語 •  ビッグデータを分析すると以下を導き出せる –  より優れた意思決定 –  戦略的なビジネス行動へとつながる洞察 •  データを使って何をするかが重要 •  データの種別として以下がある –  構造化データ –  非構造化データ 情報元： https://www.sas.com/ja_jp/insights/big-data/what-is-big-data.html 3
4. 構造化データ/非構造化データ 画像引用元： https://www.graffe.jp/blog/1823/ •  表形式かどうか –  RDB (Oracle, Postgres・・・) –  Excel –  CSVファイル •  世の中は非構造化データで 溢れている •  非構造化データは分析しづ らい •  規則性がないと余計に分析 しづらい •  最近はそうでもない 4
5. つまり・・・ 身近なものだと、 •  スマートフォン –  位置情報、Web閲覧履歴、アプリ履歴・・・　 •  ECサイトのリコメンド –  Amazon、楽天・・・ •  Web広告 (アドテク) コンピュータとインターネットが広く普及し、データと分析/可視化 の条件が揃っているのでいろんなことがわかるようになったとい うこと 　 5
6. で？ みなさまの心の声： ここはブロックチェーンの勉強会、 ビッグデータの話とか聞きにきてない なんの関係があるんだよ！！！！ 金と時間を返して 6
7. あ、あります（震え声） 個人的には以下のような分類： •  ブロックチェーンそのもののデータを分析 –  トランザクション情報や残高など –  グーグル「BigQuery」で「Ethereum」ブロックチェーンデータを解析可能に (Webニュース) •  ブロックチェーンに保存した情報を分析 –  ブロックチェーンに記録した医療データ、サプライチェーンデータの分析 •  ブロックチェーンとビッグデータの技術的類似 7
8. 技術的類似 (1) ブロックチェーン） •  PoW •  PoS •  PoA •  PBFT •  ZooKeeperAtomicBroad cast (ZAB) ビッグデータ） •  ZooKeeperAtomicBroad cast (ZAB) •  Paxos 分散システムであるため合意アルゴリズムが使われる 8
9. 技術的類似 (2) ブロックチェーン） •  Ethereum –  Plasma ビッグデータ） •  データ前処理/分析 –  今はもう非推奨 MapReduceを使う場合がある 9
10. 技術的類似 (3) ブロックチェーン） •  Ethereum –  GHOSTプロトコル •  DagCoin –  IOTA？ –  教えてください！！！ ビッグデータ） •  Apache Tez •  Apache Spark DAGを使う場合がある 10
11. 技術的類似 (4) ブロックチェーン） •  Hyperledger Fabric –  チャネル内のTX整列 ビッグデータ） •  データの集約 •  データの配信 Kafka (Pub-Sub) を使う場合がある 11
12. 技術的類似 (おまけ) ブロックチェーン） •  k-匿名化 etc… ビッグデータ） •  k-匿名化　etc… パーソナルデータの扱い 12
13. で？ みなさまの心の声： 似てるからなんなんだよ なんの関係があるんだよ！！！！ 13
14. ごめんなさい。。。 ぶっちゃけネタ発表だし、 あんまり似てることを知っても得することはないです （；＿；） 強いて言えば、、、 – 単純に知識欲として面白い (コンピュータ科学) – お互いの分野の成果を輸入/輸出できる •  ビッグデータの成果 –> ブロックチェーン改善 •  ブロックチェーンの成果 -> ビッグデータ改善 – 知識スタックを活かした形で行き来できるかも？ •  ブロックチェーン屋⇄ビッグデータ屋 14
15. まとめ •  ビッグデータという技術がある •  ブロックチェーンとビッグデータは要 素技術が似ている –  チーズとヨーグルトくらい？ –  合意アルゴリズム、MR、DAG、Kafkaなど •  ブロックチェーンとビッグデータを組 み合わせる動きがある –  ex) Google BigQueryの話 –  ブロックチェーンに記録したデータの分析 15
16. 蛇足 ある方に 「ビッグデータにブロックチェーン技術を適 用して耐改ざん性を持たせてはどうか？」と 言われた – 実際のところ課題がある •  ハッシュ計算にかなり時間がかかりそう –  もしかしてアルゴリズム次第？ •  ビッグデータで耐改ざん性を保証したいユースケースってな んだろう –  統計的に分析するので多少のデータ欠損は気にしない世界観 –  とはいえ探せばあるはあるかも 16
17. 蛇足 個人的には以下のような分類： •  ブロックチェーンそのもののデータを分析 –  トランザクション情報や残高など –  グーグル「BigQuery」で「Ethereum」ブロックチェーンデータを解析可能に (Web ニュース) •  ブロックチェーンに保存した情報を分析 –  ブロックチェーンに記録した医療データ、サプライチェーンデータの分析 •  ブロックチェーンとビッグデータの技術的類似 •  ビッグデータに貯めたデータの耐改ざん性 NEW! 17