Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ORCについて調べた

kanga333
April 02, 2018
120

 ORCについて調べた

社内LT会発表資料

kanga333

April 02, 2018
Tweet

Transcript

  1. 列指向で何が嬉しいのか(性能編) クエリを投げる際、大抵は S E L E C T * では無く必要なカラムを

    絞る カラムを絞っても 行指向だと結局データ全体を取得する 列指向だと必要なカラムのデータのみを取得するため 読み込み量が激減する
  2. どのくらい違うのか Apacheっぽいアクセスログで比較 { " a g e n t "

    : " M o z i l l a / 5 . 0 " , " c o d e " : 2 0 0 , " h o s t " : " 1 6 4 . 9 0 . 3 0 . 1 4 2 " , " m e t h o d " : " G E T " , " p a t h " : " / i t e m / j e w e l r y / 4 9 1 5 " , " r e f e r e r " : " ­ " , " s i z e " : 1 0 1 , " u s e r " : " ­ " } 1.5億件を(JSON|TSV|ORC)で(圧縮|無圧縮)で格納
  3. ちなみにIO速度参考 名前 速度(MB/s) 備考 メモリ 20000 ネットワーク(10Gbps) 1250 Bondingで2倍 SSD(シーケンシャル)

    500 2枚刺しで2倍 HDD(シーケンシャル) 100 12枚刺しで12倍 ネットワーク(1Gbps) 125 SSD(ランダム) 50 HDD(ランダム) 1 [2]