RubyとApache Arrow

Apache Arrow東京ミートアップ2018
https://speee.connpass.com/event/103514/
#ArrowTokyo

Transcript

1. RubyとApache Arrow
   Yusaku Hatanaka (@hatappi)
   Apache Arrow 東京ミートアップ2018
   

   View Slide

2. ⾃⼰紹介
   • Yusaku Hatanaka (@hatappi)
   • Red Data Tools のメンバー
   • Ruby, Go, TypeScript

   C, C++
   • 煎り⼤⾖が好き
   

   View Slide

3. この話のゴール
   • RubyでApache Arrowを使った取り組みの話や今後どうな
   ると嬉しいかの話を聞いて「へぇ〜」となる
   • RubyでApache Arrowを使う開発やApache Arrow本体の
   開発に参加したくなる
   

   View Slide

4. Apache Arrow
   • 各種⾔語で使⽤できるインメモリのデータ処理プラット
   フォーム
   • ⾼速なデータフォーマット、交換処理ロジックによって効
   率的なデータ交換処理ロジックなどを提供する
   

   View Slide

5. Red Data Tools
   • Ruby⽤のデータ処理ツールを提供するプロジェクト
   • 基本はGitter上でやりとりをしている
   • https://gitter.im/red-data-tools/ja
   • 毎⽉1回ミートアップしてる
   • 次回は12⽉11⽇ 来週⽕曜⽇

   https://speee.connpass.com/event/105238/

   

   View Slide

6. 現状どんなことが
   できるのか？
   

   View Slide

7. Red Arrow
   red-data-tools/red-arrow
   

   View Slide

8. Red Arrow
   • Apache ArrowのRuby binding
   • もともとはred-data-toolsのリポジトリで管理されていた
   が今はApache Arrow本体にある
   • GObject Introspectionを使⽤してbindingを実現している
   • Arrow側の関数情報が更新されていけばRed Arrowもそ
   の最新の機能を使うことができる
   

   View Slide

9. データの変換コスト
   

   View Slide

10. “推測するな。計測せよ”
    

    View Slide

11. ཁૉ਺ ࣮ߦ࣌ؒ T
    
    
    
    
    
    JSONの読み書き
    

    View Slide

12. ཁૉ਺ ࣮ߦ࣌ؒ T
    
    
    
    
    
    Apache Arrowの読み書き 
    

    View Slide

13. ࣮ߦ࣌ؒ (s)
    0
    1.5
    3
    4.5
    6
    ཁૉ਺
    10000 100000 1000000 10000000
    JSON Apache Arrow
    

    View Slide

14. RubyでCSVをパース
    

    View Slide

15. CSV
    ߦ਺ ࣮ߦ࣌ؒ T
    
    
    
    
    
    

    View Slide

16. Ccsv
    ߦ਺ ࣮ߦ࣌ؒ T
    
    
    
    
    
    

    View Slide

17. Apache ArrowͷCSV Parser
    • Arrow 0.11.0で⼊った新機能
    • データの永続化としてよく使われるCSVを⾼速に読み込ん
    でApache Arrowのデータとして処理できるようになる
    

    View Slide

18. Apache Arrow
    ߦ਺ ࣮ߦ࣌ؒ T
    
    
    
    
    
    

    View Slide

19. ࣮ߦ࣌ؒ T
    
    
    
    
    
    
    ߦ਺
    
    DTW $DTW "QBDIF"SSPX
    

    View Slide

20. Arrow Arrowすごい
    Ccsvもすごい
    

    View Slide

21. データの相互交換
    

    View Slide

22. ߦ਺ ࣮ߦ࣌ؒ T
    
    
    
    
    
    CSV -> Arrow -> Parquet
    

    View Slide

23. 今後どうなると嬉しいか
    

    View Slide

24. RubyでもGPU上で
    データフレームを使いたい
    

    View Slide

25. cuDF
    • GPU上でデータフレームを操作するためのライブラリ
    • RAPIDSというE2Eのデータ分析をGPUで実現するための
    プロジェクト
    • Rubyでbindingつくれるとよさそう
    

    View Slide

26. MySQLの実⾏結果を
    Apache Arrowのフォーマット
    で返せると良さそう！
    

    View Slide

27. CSV΍JSON
    ࠓ
    ͜͏ͳΔͱخ͍͠
    ૣ͍
    

    View Slide

28. mysql2-arrow
    • mysql2はlibmysqlのRuby binding
    • ActiveRecordでMySQLを選択した時のアダプターとし
    ても使⽤される
    • mysql2を早くできればActiveRecordも早くなって嬉し
    いかもしれない
    • mysql2で実⾏した際のMYSQL_RESを取り出すことができ
    ればArrow形式に変換できそう
    

    View Slide

29. select * from users;
    MYSQL_RES
    Mysql2::Result
    MYSQL_RESからいくつかのレコードを
    arrow::RecordBatchにまとめて返す
    Arrow::RecordBatch
    として受け取る！
    3VCZͷੈք
    $ $ͷੈք
    イメージ
    

    View Slide

30. 実⾏イメージ
    

    View Slide

31. DEMO
    

    View Slide

32. • ActiveRecord: 6.849s
    • pluck: 2.450s
    • Apache Arrow: 0.520s
    ActiveRecordで使うと
    

    View Slide

33. ここまでのまとめ
    • Apache Arrowの開発が進めばRubyだけでなく他の⾔語も
    嬉しい！
    • Ruyb bindingつくるもよし！

    Apache Arrow本体の開発するもよし！
    • やりたいことはたくさんある！
    • red-data-tools/want-to-do
    

    View Slide