データ前処理のお作法 ワークフローの高速化編_Macromill - Dec, 2019

2019年12月6日の「第9回 Alteryx User Group in 東京」で共有したTips
https://alteryx-ug.connpass.com/event/151757/

Transcript

1. データ前処理のお作法 ワークフローの高速化編 Alteryx User Group in Tokyo – Dec, 2019 Ryota Mori Manager Product Development Unit Group2 Digital Product Department
2. © Macromill, Inc. 2 Tipsの前に
3. © Macromill, Inc. 3 速く処理できると何が嬉しい？ 手戻りが怖くない 試行錯誤がたくさんできる データの品質向上や、 より多くの知見を得ることに繋がる 処理中の物忘れが減る 無用なミスが削減される 同じお作法を元にフローが 作成できる 迷わずさくさくフローが構築できる メンバーの作るフローが標準化される （引継ぎコスト削減、他人が作成した フローの意図が読みやすい） 1 2 3
4. Alteryxのワークフロー実行を高速化するTips
5. © Macromill, Inc. 5 とりあえずIn-DBを活用する • データがDBにあれば極力In-DBで処理 • DBサーバーで処理済みのデータが Alteryxを実行している環境に DLされるのでネットワークが ボトルネックになりづらい • DBにないデータも、定期的に DBに格納しておけない？を 考慮しましょう 通常のワークフロー In-DBを活用したワークフロー 処理前の比較的大きい状態にアクセスする DB側で処理済みの比較的小さい状態にアクセスする DB
6. © Macromill, Inc. 6 Input Dataをyxdb形式にしておく • インプットファイルが非常に大きいケースで有効なことがある • データ更新が高頻度で、それを随時反映しなければいけないケースには向かない （運用を考える）
7. © Macromill, Inc. 7 入力データを制限する • フローを構築中はデータ読み込みの量を制限すると効率よくフロー作成ができる （ツールを配置/設定したあとに実行して意図通り動いているか確認する） • 入力データがyxdb or DBのときに効果的に働きやすい • 最後に制限を解除することを忘れない
8. © Macromill, Inc. 8 ツールの順番 ツールの順番を入れ替えても同じ結果が得られる場合、 その順番を意識しているでしょうか？
9. © Macromill, Inc. 9 ツールの順番 ユニオン セレクト フィルタ 集計 フォーミュラ 転置/クロスタブ 結合 同じ処理を複数のところでさせない 適切な型はデータサイズ削減につながる セレクトの後にして使いまわししやすく • データのサイズを小さくできる処理を序盤 に持って行く • 時間のかかる処理はデータを十分に小さく してから処理する 考え方のベース
10. © Macromill, Inc. 10 ツールの順番 ユニオン セレクト フィルタ 集計 フォーミュラ 転置/クロスタブ 結合 実行後にデータが小さくなる処理 実行に時間がかかる処理
11. © Macromill, Inc. 11 ツールの順番 セレクトツールで適切に型を指定するとファイルサイズが大きく削減される
12. © Macromill, Inc. 12 ツールの順番 • 1億レコードのSample – Superstoreで 実行速度を比較してみた • 環境やツールの設定によって処理速度は 異なるが、概ねこのような傾向がある
13. © Macromill, Inc. 13 閲覧ツールを無効化する
14. © Macromill, Inc. 14 パフォーマンスを記録してボトルネックを探る
15. © Macromill, Inc. 15 フロー作成も高速化する
16. © Macromill, Inc. 16 ツールをお気に入りに入れておく • 不要なものは逆に削除しておく • 定期的な見直しをする
17. © Macromill, Inc. 17