APIタイムアウトに負けないスクリプトをつくろう

2022/3/3 DMS Cube祭りの登壇資料
SalesforceとDataSpiderの連携で発生するタイムアウトをどう解決するか

Transcript

1. APIタイムアウトに負けない スクリプトをつくろう 2022/3/3
2. 本日おつたえしたいこと • DataSpiderなどのETL製品は「これ便利！！」という機能がたくさんある • 「あ、こうやって組めばいいのか！」という知っ得情報がたくさんある こんな情報をDMS Cubeの中で共有して、誰もが簡単に、たくさんのひらめきの中 でETLツールを扱えるようになってほしい。
3. 自己紹介
4. 適用ツールの実績 10種類 28案件 サポート業種 n 家具販売業 n オフィス家具販売業 n 海運事業 n 食品調味料製造業 n 輸入食品小売販売業 n 化粧品製造業 n アパレルメーカー n 自動車部品卸業 etc. 商談支援 要件定義 設 計 製 造 保 守 りょうさん セミナー 年代 企業 職種 2008-2016 ITベンダー システムエンジニア・セールスエンジニア 2017-2021 ITメーカー セールスエンジニア・カスタマーサクセス 2021- フリーランス BIエンジニア @ryosanbimania ETLツール BIツール
5. ETL と DWH と BI
6. ETL と DWH と BI 会計管理 生産管理 販売管理 ETLはシステム間でデータの抽出・変換・格納をすることがメインミッション HTML RS EC WS HTML
7. ETL と DWH と BI 会計管理 生産管理 販売管理 それがDWH・BIの目線だとこうなる ETL DWH BI
8. ETL と DWH と BI 本日はここのお話です
9. クラウド からデータを取得する
10. クラウド からデータを取得する API（Application Programming Interface）はクラウド系からのデータ取得の定番 会計管理 生産管理 販売管理 データベースからデータを抽出 APIでデータを抽出 参照：https://www.hulft.com/software/dataspidercloud/adapter
11. それぞれのユーザーがAPIで負荷をかけるとシステムが止まってしまうため、上限が 決まっていることが多い。 大量データの抽出は負荷がかかる クラウド からデータを取得する
12. つまりAPIからのデータ抽出をするとき、APIのエラーに気をつけねばならない ※ETLツールだからタイムアウトするという訳ではなく、プログラムを組んでも同じ現象は発生する クラウド からデータを取得する
13. Salesforce のデータを取得する
14. ミッションの整理 • Salesforceのデータを0:00から8:00までにデータベースに格納する • データ抽出対象のテーブル（オブジェクト）は14本 • データ取得の並列処理は行わない（負荷が上がりタイムアウト発生の要因になるため） Salesforce のデータを取得する
15. 難しいところはここ • SalesforceのAPIタイムアウトは起こるとき起きない時が読めない • それでも朝8:00までにはすべての処理を終了させる必要がある →タイムアウトが発生することを認め、タイムアウトが起きる前提で処理を組む Salesforce のデータを取得する
16. 解決策 • ジョブスクリプトを夜間の内に複数回実行する • タイムアウトでエラーになったジョブスクリプトのみ、再度処理を走らせる Salesforce のデータを取得する ◦ ◦ ◦ × ◦ ◦ ◦ × ◦ × ◦ ◦ × ◦ × ◦ × ◦ ◦ × ◦ 0:00 1:00 2:00 3:00
17. Salesforce のデータを取得する 解決策 ジョブスクリプトを夜間の内に複数回実行する タイムアウトでエラーになったジョブスクリプトのみ、再度処理を走らせる １．親子関係のジョブスクリプトをつくる
18. Salesforce のデータを取得する 解決策 ジョブスクリプトを夜間の内に複数回実行する タイムアウトでエラーになったジョブスクリプトのみ、再度処理を走らせる ２．子のジョブスクリプトは実行ログをデータベースに格納する
19. Salesforce のデータを取得する 解決策 ジョブスクリプトを夜間の内に複数回実行する タイムアウトでエラーになったジョブスクリプトのみ、再度処理を走らせる ３．子のジョブスクリプトは処理の最初に[前回の処理は成功したか]を判定し、 処理が失敗していたら、データ取得処理を走らせる。
20. Salesforce のデータを取得する 解決策 ジョブスクリプトを夜間の内に複数回実行する タイムアウトでエラーになったジョブスクリプトのみ、再度処理を走らせる ４．夜間連携の処理結果をメールで通知する
21. まとめ • ジョブスクリプトを夜間の内に複数回実行する • タイムアウトでエラーになったジョブスクリプトのみ、再度処理を走らせる 1. 親子関係のジョブスクリプトをつくる 2. 子のジョブスクリプトは実行ログをデータベースに格納する 3. 子のジョブスクリプトは処理の最初に[前回の処理は成功したか]を判定し、 処理が失敗していたら、データ取得処理を走らせる。 4. 夜間連携の処理結果をメールで通知する Salesforce のデータを取得する さらに詳細を知りたい場合はこちらを参照 https://zenn.dev/ryosanbimania/articles/168701311ec72d
22. どれくらい安定しているのか確認してみる • Salesforceの使用頻度の低い曜日はタイムアウトになりにくい • オブジェクトにかかる負荷が大きいものはタイムアウトになりやすい • 月や季節とタイムアウト数に依存関係はない ログデータをDBにためると新たな気付きが得られる
23. Appendix
24. 一番飯店 データ分析基盤構築 計画 幼馴染が三代目を務める町中華の支援 ホームページ制作 PV数の可視化 期間限定メニューの選定 チラシ化・広告 ４ヶ国語翻訳版 新メニュー表作成 メディア対応 ワカコ酒 Season5 町中華で飲ろうぜ ヒルナンデス！ 嵐にしやがれ モヤさま シューイチ アド街 町中華で飲ろうぜ news every. じゅん散歩 ぴあ 週刊現代 etc.
25. 一番飯店 データ分析基盤構築 計画 詳細はこちらをチェック：https://data-parade.com/ichibanhanten
26. oViceにようこそ 詳細はこちらをチェック：https://data-parade.com/oVice 本日の交流会でも使用されるビジネスメタ バース[oVice]について、様々な情報発信をし ております。
27. FIN