Upgrade to Pro — share decks privately, control downloads, hide ads and more …

超初心者の私が2か月でデータ転送やdbtジョブを実行するTROCCO®のワークフローを作ってみた!

Avatar for 田丸瑞花 田丸瑞花
September 10, 2024

 超初心者の私が2か月でデータ転送やdbtジョブを実行するTROCCO®のワークフローを作ってみた!

▼概要:
本資料は2024年7月24日、primeNumber社主催のTROCCOユーザ会における講演資料です

▼イベントURL:
https://troccoug.connpass.com/event/320876/

▼詳細:
データ初心者の視点から、初めて取り組んでみたツールがTROCCO®で良かった点、やったことなどをまとめています

Avatar for 田丸瑞花

田丸瑞花

September 10, 2024
Tweet

Other Decks in Technology

Transcript

  1. ©HR Force Inc. All rights reserved. 超初心者の私が2か月で 
 データ転送やdbtジョブを実行する 


    TROCCO®のワークフローを作ってみた! 
 株式会社HR Force 
 田丸瑞花 
 1

  2. ©HR Force Inc. All rights reserved. 目次
 2 01 はじめに
 02 やったこと

    
 03 TROCCO®で良かった点 
 04 今後挑戦したいこと 

  3. ©HR Force Inc. All rights reserved. 4 はじめに|自己紹介 
 


    田丸 瑞花
 
 株式会社HR Force
 DS統轄部 DXグループ Dataチーム
 
 今年の4月からDataチームへ!
 
 趣味:ライブ鑑賞、お散歩
 
 @karutamaru2000

  4. ©HR Force Inc. All rights reserved. 6 はじめに|知識レベル(4月時点) 
 6

    聞いたことある
 聞いたことない
 SQL
 dbt
 TROCCO®
 Snowflake
 Tableau

  5. ©HR Force Inc. All rights reserved. 7 はじめに|知識レベル 
 7

    まずはコードを使わずにできる
 TROCCO® のデータ転送からはじめてみよう!
 データ初心者なのでデータマネジメント/SQLの知識などがない
 

  6. ©HR Force Inc. All rights reserved. 9 やったこと|内容 
 一連の流れをワークフローで構築

    
 データチェック
 dbt実行
 Slack通知
 データ転送
 データ

  7. ©HR Force Inc. All rights reserved. 11 データ転送
 dbt実行
 dbtテスト


    ✕
 ◦
 ✕
 個別 一連
 データ転送
 dbt実行
 dbtテスト
 ✕
 ✕
 ✕
 やったこと|なぜ 
 イベントドリブンなデータ転送を実現 

  8. ©HR Force Inc. All rights reserved. 1. エラー時の工数削減 
  >

    確認作業、後続処理など
 2. 他ツールの実行を含め管理を一元化 
  > dbtジョブ、Snowflakeデータチェック、Slack通知
 13 やったこと|結果 

  9. ©HR Force Inc. All rights reserved. 15 TROCCO®の良かった点|3選 
 1.

    手厚いサポート 
  > Slackでのご相談に迅速な対応、必要に応じてMTG
 2. 親しみやすいUI 
  > マウスで選べる、接続先アイコンの表示
 3. 初心者に優しいドキュメント 
  > 転送設定方法、各接続先の設定方法、エラー解消法

  10. ©HR Force Inc. All rights reserved. 1. 手厚いサポート 
 16

    担当CSの深澤さん
 TROCCO®の良かった点|3選 

  11. ©HR Force Inc. All rights reserved. 20 今後挑戦したいこと 
 1.

    まずは全部ひとりでTROCCO®ができるように 
  > 転送設定の作成から各エラー対応、管理までをひとりでできるように
 2. リバースETLとしてもっと活用! 
  > ビジネスサイドのメンバーがよりデータドリブンな意思決定をできる環境を整える
 3. dbtの独り立ち 
  > TROCCO®でのdbtジョブ実行だけではなくdbt構築も頑張る