Direct SQLによるPCIeバスレベルの最適化 Apache Arrow対応によるデータ交換、インポート時間をほぼゼロに GPUメモリにデータを常駐。OLTPワークロードとの共存 一部PostGIS関数のサポート。位置情報分析を高速化 PG-Strom: GPUとNVME/PMEMの能力を最大限に引き出し、 テラバイト級のデータを高速処理するPostgreSQL向け拡張モジュール App GPU off-loading for IoT/Big-Data for ML/Analytics ➢ SSD-to-GPU Direct SQL ➢ Columnar Store (Arrow_Fdw) ➢ GPU Memory Store (Gstore_Fdw) ➢ Asymmetric Partition-wise JOIN/GROUP BY ➢ BRIN-Index Support ➢ NVME-over-Fabric Support ➢ Inter-process Data Frame for Python scripts ➢ Procedural Language for GPU native code (w/ cuPy) ➢ PostGIS Support NEW NEW
FROM t0 WHERE x between y and y + 20.0 GROUP BY cat; : STATIC_FUNCTION(bool) gpupreagg_qual_eval(kern_context *kcxt, kern_data_store *kds, size_t kds_index) { pg_float8_t KPARAM_1 = pg_float8_param(kcxt,1); pg_float8_t KVAR_3 = pg_float8_vref(kds,kcxt,2,kds_index); pg_float8_t KVAR_4 = pg_float8_vref(kds,kcxt,3,kds_index); return EVAL((pgfn_float8ge(kcxt, KVAR_3, KVAR_4) && pgfn_float8le(kcxt, KVAR_3, pgfn_float8pl(kcxt, KVAR_4, KPARAM_1)))); } : 例) 条件句中の数値演算式を CUDA命令列にオンデマンドで変換 Reference to input data SQL expression in CUDA source code Run-time コンパイラ （nvrtc） Parallel Execution
BY JOIN SCAN SELECT cat, count(*), avg(x) FROM t0 JOIN t1 ON t0.id = t1.id WHERE y like ‘%abc%’ GROUP BY cat; count(*), avg(x) GROUP BY cat t0 JOIN t1 ON t0.id = t1.id WHERE y like ‘%abc%’ 実行結果 OSC.Kyoto Online ～GPUが拓くIoT/M2Mデータ処理と地理情報分析の世界～ 11 GpuScan GpuJoin Agg + GpuPreAgg SeqScan HashJoin Agg
IoT/M2M時代 － データはDBシステムの外側で生成される Log processing BI Tools BI Tools Gateway Server Data Creation Data Creation Many Devices OSC.Kyoto Online ～GPUが拓くIoT/M2Mデータ処理と地理情報分析の世界～ 23 DBシステムへのデータのインポートが、集計処理以上に時間のかかる処理に！ Data Import Import!
int8 FloatingPoint float2, float4, float8 float2 is an enhancement of PG-Strom Binary bytea Utf8 text Bool bool Decimal numeric Date date adjusted to unitsz = Day Time time adjusted to unitsz = MicroSecond Timestamp timestamp adjusted to unitsz = MicroSecond Interval interval List array types Only 1-dimensional array is supportable Struct composite types Union ------ FixedSizeBinary char(n) FixedSizeList array types? Map ------ 大半のデータ型はApache Arrow PostgreSQLの間で変換可能 OSC.Kyoto Online ～GPUが拓くIoT/M2Mデータ処理と地理情報分析の世界～ 26
[database] [username] General options: -d, --dbname=DBNAME Database name to connect to -c, --command=COMMAND SQL command to run -t, --table=TABLENAME Table name to be dumped (-c and -t are exclusive, either of them must be given) -o, --output=FILENAME result file in Apache Arrow format --append=FILENAME result Apache Arrow file to be appended (--output and --append are exclusive. If neither of them are given, it creates a temporary file.) Arrow format options: -s, --segment-size=SIZE size of record batch for each Connection options: -h, --host=HOSTNAME database server host -p, --port=PORT database server port -u, --user=USERNAME database user name -w, --no-password never prompt for password -W, --password force password prompt Other options: --dump=FILENAME dump information of arrow file --progress shows progress of the job --set=NAME:VALUE config option to set before SQL execution --help shows this message Pg2Arrow により、SQL実行結果をArrow形式で書き出す事ができる。 Apache Arrow Data Files Arrow_Fdw Pg2Arrow OSC.Kyoto Online ～GPUが拓くIoT/M2Mデータ処理と地理情報分析の世界～ 31
md5(x::text) FROM generate_series(1,2000000) x); --- 以下のクエリを pgbench で投入 --- (クライアント数：20を想定） UPDATE ft SET x = 100*random(), y = 100*random() WHERE id = (SELECT 20*(100000.0*random())::int + :client_id); --- 実行計画 EXPLAIN ....; QUERY PLAN ------------------------------------------------------------------- Update on ft (cost=0.02..100.03 rows=10000 width=58) InitPlan 1 (returns $0) -> Result (cost=0.00..0.02 rows=1 width=4) -> Foreign Scan on ft (cost=0.00..100.01 rows=10000 width=58) Filter: (id = $0) Index Cond: id = $0 (6 rows) OSC.Kyoto Online ～GPUが拓くIoT/M2Mデータ処理と地理情報分析の世界～ 59
kaigai
hhiroshell
oracle4engineer
tenstorrent_japan
line_developers_tw
kozy4324
naomix
nrinetcom
moriatsushi
kazizi55
ykagano
mame
bermonpainter
csswizardry
marktimemedia
ammeep
kneath
addyosmani
gr2m
morganepeng
tenderlove
chriscoyier
moore
eitanlees
![GPUが拓くIoT/M2Mデータ処理と地理情報分析の世界 ～PG-Stromで作るデータ処理基盤～ HeteroDB,Inc Chief Architect & CEO KaiGai Kohei <[email protected]>](https://files.speakerdeck.com/presentations/53932e44f6204d6da81d70af33034ab2/slide_0.jpg){kind=link}
![SSD-to-GPUダイレクトSQL（4/4）– ベンチマーク結果 クエリ実行スループット = (879GB DB-size) / (クエリ応答時間 [sec])](https://files.speakerdeck.com/presentations/53932e44f6204d6da81d70af33034ab2/slide_19.jpg){kind=link}
![《補足》PostgreSQLデータベースからArrowファイルを生成する ✓ 基本的な使い方は、-cで指定したSQLの実行結果を、 -oで指定したファイルに書き出す。 $ pg2arrow --help Usage: pg2arrow [OPTION]](https://files.speakerdeck.com/presentations/53932e44f6204d6da81d70af33034ab2/slide_30.jpg){kind=link}
