Slide 12
Slide 12 text
© LY Corporation 12
課題対応の事例 (1/3)
課題 対策
SQLの書き換えコストが⼤きい ルールベースの簡単なSQL変換ツールを提供
• 100%は無理だけど少しでも楽できるように
• ⾃動変換できないものは書き換えTipsでフォロー
Trinoはfault tolerance⾯が弱い 重いETLジョブだと問題になる
Þ Trinoだけで頑張らずにSparkも移⾏先として採⽤
⼤量のUDF移⾏のための開発コスト 数⼗件のHive UDFがあった
• 中には「開発者がもういないけど、使っている⼈はたくさんい
る」ケースも…
• 移⾏のためにはTrino版の開発が必要
Þ 基本的には「UDF使いたい⼈に作成してもらう」作戦に
• 開発つらそうな場合はSparkへ誘導