blockchain_and_bigdata

2b4752a302bf768f43ca5bb2062cafc4?s=47 yuyhiraka
September 05, 2018
230

 blockchain_and_bigdata

2b4752a302bf768f43ca5bb2062cafc4?s=128

yuyhiraka

September 05, 2018
Tweet

Transcript

  1. ブロックチェーンとビッグデータ の類似性について考えてみる yuyhiraka

  2. 自己紹介:yuyhiraka •  SIerのシステムエンジニア •  29歳 •  担当分野が散らばっており分散技術多し –  組み込み系開発[携帯電話基地局OAM] (2013)

    –  ビッグデータ[Hadoop etc…] (2014-2016, 2018) –  プライベートクラウド[OpenStack] (2016-2017) –  ブロックチェーン[Ethereum] (2017-2018) •  極度の勉強会マニア –  4年弱 –  そろそろ200回くらいは参加したかも? –  でも、閉鎖したサービス経由の参加もあって集計が難しい 2
  3. ビッグデータとは •  大量のデータを意味する用語 •  ビッグデータを分析すると以下を導き出せる –  より優れた意思決定 –  戦略的なビジネス行動へとつながる洞察 • 

    データを使って何をするかが重要 •  データの種別として以下がある –  構造化データ –  非構造化データ 情報元: https://www.sas.com/ja_jp/insights/big-data/what-is-big-data.html 3
  4. 構造化データ/非構造化データ 画像引用元: https://www.graffe.jp/blog/1823/ •  表形式かどうか –  RDB (Oracle, Postgres・・・) – 

    Excel –  CSVファイル •  世の中は非構造化データで 溢れている •  非構造化データは分析しづ らい •  規則性がないと余計に分析 しづらい •  最近はそうでもない 4
  5. つまり・・・ 身近なものだと、 •  スマートフォン –  位置情報、Web閲覧履歴、アプリ履歴・・・  •  ECサイトのリコメンド –  Amazon、楽天・・・

    •  Web広告 (アドテク) コンピュータとインターネットが広く普及し、データと分析/可視化 の条件が揃っているのでいろんなことがわかるようになったとい うこと   5
  6. で? みなさまの心の声: ここはブロックチェーンの勉強会、 ビッグデータの話とか聞きにきてない なんの関係があるんだよ!!!! 金と時間を返して 6

  7. あ、あります(震え声) 個人的には以下のような分類: •  ブロックチェーンそのもののデータを分析 –  トランザクション情報や残高など –  グーグル「BigQuery」で「Ethereum」ブロックチェーンデータを解析可能に (Webニュース) • 

    ブロックチェーンに保存した情報を分析 –  ブロックチェーンに記録した医療データ、サプライチェーンデータの分析 •  ブロックチェーンとビッグデータの技術的類似 7
  8. 技術的類似 (1) ブロックチェーン) •  PoW •  PoS •  PoA • 

    PBFT •  ZooKeeperAtomicBroad cast (ZAB) ビッグデータ) •  ZooKeeperAtomicBroad cast (ZAB) •  Paxos 分散システムであるため合意アルゴリズムが使われる 8
  9. 技術的類似 (2) ブロックチェーン) •  Ethereum –  Plasma ビッグデータ) •  データ前処理/分析

    –  今はもう非推奨 MapReduceを使う場合がある 9
  10. 技術的類似 (3) ブロックチェーン) •  Ethereum –  GHOSTプロトコル •  DagCoin – 

    IOTA? –  教えてください!!! ビッグデータ) •  Apache Tez •  Apache Spark DAGを使う場合がある 10
  11. 技術的類似 (4) ブロックチェーン) •  Hyperledger Fabric –  チャネル内のTX整列 ビッグデータ) • 

    データの集約 •  データの配信 Kafka (Pub-Sub) を使う場合がある 11
  12. 技術的類似 (おまけ) ブロックチェーン) •  k-匿名化 etc… ビッグデータ) •  k-匿名化 etc… パーソナルデータの扱い

    12
  13. で? みなさまの心の声: 似てるからなんなんだよ なんの関係があるんだよ!!!! 13

  14. ごめんなさい。。。 ぶっちゃけネタ発表だし、 あんまり似てることを知っても得することはないです (;_;) 強いて言えば、、、 – 単純に知識欲として面白い (コンピュータ科学) – お互いの分野の成果を輸入/輸出できる •  ビッグデータの成果

    –> ブロックチェーン改善 •  ブロックチェーンの成果 -> ビッグデータ改善 – 知識スタックを活かした形で行き来できるかも? •  ブロックチェーン屋⇄ビッグデータ屋 14
  15. まとめ •  ビッグデータという技術がある •  ブロックチェーンとビッグデータは要 素技術が似ている –  チーズとヨーグルトくらい? –  合意アルゴリズム、MR、DAG、Kafkaなど

    •  ブロックチェーンとビッグデータを組 み合わせる動きがある –  ex) Google BigQueryの話 –  ブロックチェーンに記録したデータの分析 15
  16. 蛇足 ある方に 「ビッグデータにブロックチェーン技術を適 用して耐改ざん性を持たせてはどうか?」と 言われた – 実際のところ課題がある •  ハッシュ計算にかなり時間がかかりそう –  もしかしてアルゴリズム次第?

    •  ビッグデータで耐改ざん性を保証したいユースケースってな んだろう –  統計的に分析するので多少のデータ欠損は気にしない世界観 –  とはいえ探せばあるはあるかも 16
  17. 蛇足 個人的には以下のような分類: •  ブロックチェーンそのもののデータを分析 –  トランザクション情報や残高など –  グーグル「BigQuery」で「Ethereum」ブロックチェーンデータを解析可能に (Web ニュース)

    •  ブロックチェーンに保存した情報を分析 –  ブロックチェーンに記録した医療データ、サプライチェーンデータの分析 •  ブロックチェーンとビッグデータの技術的類似 •  ビッグデータに貯めたデータの耐改ざん性 NEW! 17