Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Red Data Tools で切り開く Ruby の未来
Search
Kenta Murata
February 25, 2023
Technology
2
910
Red Data Tools で切り開く Ruby の未来
Ruby 30周年記念イベント LT
Kenta Murata
February 25, 2023
Tweet
Share
More Decks by Kenta Murata
See All by Kenta Murata
Calling Julia functions from Streamlit applications
mrkn
1
190
Method-based JIT compilation by transpiling to Julia
mrkn
0
6k
Apache Arrow C++ Datasets
mrkn
4
1.3k
Reducing ActiveRecord memory consumption using Apache Arrow
mrkn
0
1.5k
RubyData and Rails
mrkn
0
2.8k
Tensor and Arrow
mrkn
0
780
RubyData Current and Future
mrkn
1
3.3k
Julia の FFI
mrkn
0
1k
Deep Learning Programming on Ruby
mrkn
1
10k
Other Decks in Technology
See All in Technology
[2024年3月版] Databricksのシステムアーキテクチャ
databricksjapan
7
1.9k
自動生成を活用した、運用保守コストを抑える Error/Alert/Runbook の一元集約管理 / Centralized management of Error/Alert/Runbook to minimize operational costs using automated code generation
biwashi
9
2k
検証を通して見えてきたTiDBの性能特性
lycorptech_jp
PRO
5
2.2k
Databricks におけるデータエンジニアリング
databricksjapan
0
370
The AI Revolution Will Not Be Monopolized: How open-source beats economies of scale, even for LLMs (QCon London)
inesmontani
PRO
0
150
Data and AI Governance: Existing Challenges and Emerging Trends
scotthsieh825
0
140
PHPカンファレンス小田原2024
ysknsid25
2
650
2024-04-06 AMeDAS to Lagoon SORACOM UG 2024-04-06
anysonica
0
120
巨大なテーブルのテーブル定義を無停止で安全に誰でも変更できるようにする / Table-definitions-for-huge-tables-can-be-modified-by-anyone-safely-and-non-disruptively
freee
1
720
マルチアカウント環境への発見的統制の導入
ch1aki
1
1.3k
長期間TiDBを使ってきた話 @ 私たちはなぜNewSQLを使うのかTiDB選定5社が語る選定理由と活用LT / Experiences with TiDB Over Time
chibiegg
2
450
Amplify Gen2を 拡張してみよう JAWS-UG北陸新幹線 ( 福井開催 ) 2024-04-06/Let's extend Amplify Gen2
fossamagna
0
280
Featured
See All Featured
Building a Scalable Design System with Sketch
lauravandoore
455
32k
Building Effective Engineering Teams - LeadDev
addyosmani
26
1.8k
Writing Fast Ruby
sferik
619
60k
Optimizing for Happiness
mojombo
369
69k
Building Your Own Lightsaber
phodgson
97
5.7k
The Pragmatic Product Professional
lauravandoore
24
5.8k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
118
38k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
For a Future-Friendly Web
brad_frost
171
8.9k
Designing with Data
zakiwarfel
95
4.8k
How GitHub (no longer) Works
holman
304
140k
Faster Mobile Websites
deanohume
296
30k
Transcript
Red Data Tools で切り開く Ruby の未来 Kenta Murata 2023.02.25 Ruby
30周年記念イベント LT
Ruby 30 周年おめでとうございます
self.introduction Kenta Murata 株式会社サイカ CRO Apache Arrow と CRuby のコミッター
Red Data Tools メンバー
self.introduction Kenta Murata 株式会社サイカ CRO Apache Arrow と CRuby のコミッター
Red Data Tools メンバー ← 今日はこの立場
Contents 1. Red Data Tools 2. Ruby 用データフレームライブラリ 3. まとめ
Red Data Tools https://red-data-tools.github.io/ja/
Red Data Tools とは Ruby用のデータ処理ツールを開発するプロジェクト いま Ruby 界隈で一番ホットな、データ処理ツールの開発者集団 とてもよいポリシーを掲げている
Red Data Tools プロジェクトのポリシー 1. Rubyコミュニティーを超えて協力する 2. 非難することよりも手を動かすことが大事 3. 一回だけの活発な活動よりも小さくてもいいので継続的に活動することが大事
4. 現時点での知識不足は問題ではない 5. 部外者からの非難は気にしない 6. 楽しくやろう!
詳しくは
Red Data Tools の主なプロダクト Red Arrow ファミリー Apache Arrow の
Ruby バインディング (apache/arrow 内にある) Red Datasets オープンデータにアクセスするための統一インターフェイス Charty 複数のバックエンドをサポートする統計的可視化ライブラリ unicode_plot ターミナルでデータ可視化を行うライブラリ YouPlot ターミナルでデータ可視化を行う CLI ツール (unicode_plot を使用)
詳しくは
Ruby 用のデータフレームライブラリについて
データフレーム? データフレームは表の形のデータ構造 トランザクション処理ではなく分析処理を主な用途とする 表を行指向ではなく列指向で管理
行指向?列指向?
行指向?列指向?
データフレーム? データフレームは表の形のデータ構造 トランザクション処理ではなく分析処理を主な用途とする 表を行単位ではなく列単位で管理 選択、結合、集約などの操作、要素単位の演算 複数のデータフレームを扱う操作と演算
Ruby 用データフレームライブラリ Red Amber Polas Ruby pandas Daru
Red Amber https://github.com/heronshoes/red_amber Red Arrow をバックエンドとしてデータフレームを実装 メモリ上のデータ構造は Arrow 形式 Apache
Arrow C++ の機能を利用できる Ruby にとって自然なインターフェイスを目指している heronshoes さんがモリモリと開発している これも Red Data Tools プロダクトのひとつ
Polars Ruby https://github.com/ankane/polars-ruby Polars という Rust 用データフレームライブラリのバインディング Polars は Rust
版 Apache Arrow を使っててめっちゃ速い (blazingly fast)
Polars の速さ 凄く速いので pandas から polars に乗り換える Kaggler が続出している
Polars Ruby https://github.com/ankane/polars-ruby Polars という Rust 用データフレームライブラリのバインディング Polars は Rust
版 Apache Arrow 使っててめっちゃ速い (blazingly fast) Red Amber と同様にメモリ上のデータ構造は Arrow 形式 Polars の Python 版 API に従って実装されている ankane さんがモリモリと開発している
pandas https://github.com/mrkn/pandas.rb Python 用データフレームである pandas を Ruby から使える pycall を用いて
CPython を直接呼び出す形で実装している pycall のおかげで df.applymap(->(x){ x * 5 }) のような事も可能 pandas の全機能について網羅テストをしてないため、未対応の機能があるかも pycall の制限を引き継ぐので、メインスレッド以外では使えないなどの制限がある
daru https://github.com/SciRuby/daru おそらく最古の Ruby 用データフレームライブラリ Pure Ruby で実装されている!! 遅いけど、Ruby さえあれば動く利点もある
残念ながら最近はまったくメンテされていない
25周年のとき (5年前) にあったもの pandas Daru 30周年目で増えたもの Red Amber Polars Ruby
5年で2つも増えた!! Red Amber は Rubyist が使いやすいデータフレームのインターフェイスを目指している Polars Ruby は最速データフレームの Ruby
バインディング どちらも Apache Arrow という共通基盤の上に乗っている どちらも活発に開発が進んでいる
この波に乗るしかない!! Rubyist にとって使いやすいデータフレームを作れるのは Red Amber の良いところ Red Data Tools に参加して一緒に
Red Amber を盛り上げませんか? 最速を求めて Polars Ruby を弄るのも良いと思う (Charty 対応とか!) Daru をメンテする人も増えてほしい
まとめ: Red Data Tools に参加しよう