LT_DataSpiderアンチパターン

DataSpiderの利用をはじめた方のうち、初期の段階でつまづく方が意外に多い。
DataSpiderは便利なツールですが、お困りごとを必ずしもDataSpider単体で解決しなくてもよいのではないでしょうか。
他のアプリを併用するなどすれば、よりよい効果を発揮できると思います。
初心者の方が陥りやすい失敗例と、その解決策をいくつかピックアップしてご紹介します。

2023/08/23 セゾン情報システムズ様 DataSpiderユーザー会 DMS Cube Meetup発表資料

Transcript

1. DataSpiderアンチパターン 2023/8/23(水) DMS Cube 8月度ユーザー会 株式会社 荏原エリオット 森川 智行
2. 商標 ・DataSpider、HULFTは、株式会社セゾン情報システムズの登録商標または商標です。 ・Oracleは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。 ・Excelは、米国Microsoft Corporationの米国およびその他の国における登録商標または商標です。 ・JP1は、株式会社 日立製作所の商標または登録商標です。 ・Systemwalker は、富士通株式会社の登録商標です。 ・その他記載の会社名、製品名などは、それぞれの会社の商標もしくは登録商標です。
3. 自己紹介 概要 関西出身、千葉県袖ケ浦市在住、47歳 趣味 農園、自転車、スノースポーツ 所属 株式会社荏原エリオット 情報システム課 略歴 COBOL(2年)、SAP@SIer(11年)、 OracleERP@ユーザ企業(9年) 特徴 システムの保守が好き。 内製化に賛成、DataSpider大好き
4. アンチパターンとは？ ソフトウェア開発におけるアンチパ ターンとは、必ず否定的な結果に導く、 しかも一般的に良く見られる開発方式 を記述する文献形式を言う。（中略） デザインパターンを補完・拡張する関 係にあるもの（後略） ja.wikipedia.org/wiki/アンチパターン より抜粋
5. きっかけ ・最初でつまづく人が多い。 つまづく＝実装できない、性能が出ない、 維持管理できない→属人化 ↓ ・セゾン情報さんは開発元なので 「それはDataSpiderではできません」が 言いにくいのではないか ↓ ・ユーザー企業だからこそ、DataSpider 単体に固執しない実装の紹介が可能
6. 何もかもDataSpider だけで 実現しなくてもい いじゃないか！ つまりは・・・ ・・・と言いたい。
7. 目次 DataSpiderをETLツールとして使わない →ＤＢ（または専用ツール）へ代替する 再帰的にデータソースを参照しない →ＤＢへ代替する スケジュールトリガーに執着しない →ジョブスケジューラへ代替する プロジェクトの作成単位を大きくしない →運用の経験則
8. 目次 DataSpiderをETLツールとして使わない →ＤＢ（または専用ツール）へ代替する 再帰的にデータソースを参照しない →ＤＢへ代替する スケジュールトリガーに執着しない →ジョブスケジューラへ代替する プロジェクトの作成単位を熟考する →運用の経験則 今回 後日？
9. DataSpiderをETLツールとして使わない 日次夜間処理が朝までに終わらない。 パフォーマンスが良くないよ。 他社ETLツールを買うしかないのかな。 データベースへ入れてSQLで変換・加 工・集計すればよいのでは？ ※ETLとは、「Extract （抽出）」「Transform （変換）」「Load （書き出し）」の略語。 （https://it-trend.jp/etl/article/function から引用）
10. DataSpiderをETLツールとして使わない DataSpider 変換 加工 集計 DataSpider 変換 加工 集計 Ｄ Ｓ Ｓ 単 体 Ｄ Ｂ へ 委 託 売上データ 顧客マスタ 上得意顧客 レポート “検索系SQL実行”アダプタ 売上データ 顧客マスタ 上得意顧客 レポート 👈サイロ化した各種データ 👆 はじめにデータベースへ入れる
11. DataSpiderをETLツールとして使わない ４．９１秒 Ｄ Ｓ Ｓ 単 体 売上データ件数＝1,000,000件 ・売上データCSVの、 ・“金額”を数値へ変換して ・顧客単位に集計して ・2百万円以上の場合には ・顧客マスタを読んで ・住所を結合して ・ソートして ・出力項目を選択して 👇 Excel出力する。
12. DataSpiderをETLツールとして使わない １０８秒 全体108秒。但し、ETLに相当する SQL処理：”出力項目抽出”は0.14秒。 Ｄ Ｂ へ 委 託 WITH 合計 AS ( SELECT 顧客コード ,SUM(金額) 合計金額 FROM 売上 GROUP BY 顧客コード HAVING SUM(金額) > 2000000 ) SELECT 合計.顧客コード ,合計.合計金額 ,顧客.氏名 ,顧客.メールアドレス ,顧客.電話番号 ,顧客.携帯電話番号 ,顧客.郵便番号 ,顧客.住所 FROM 合計 JOIN 顧客 ON 合計.顧客コード = 顧客.顧客コード ORDER BY 1 ０.１４秒
13. DataSpiderをETLツールとして使わない （データベースへ蓄積するタイミング は要検討として、）変換・加工・集計 については、やはりデータベース側で 処理するのが早い！
14. 再帰的にデータソースを参照しない 集計に際して、部門の親の親の親…遡 れるだけ遡った結果を出力したい データベースへ入れてSQLで変換・加 工・集計すればよいのでは？
15. 再帰的にデータソースを参照しない 東京都 港区 赤坂 麻布十番 千代田区 大手町 大阪府 大阪市 北区 梅田 …市 ・・・ やりたいこと
16. 再帰的にデータソースを参照しない 地名 上位ノード 東京都 - 大阪府 - 大阪市 大阪府 千代田区 東京都 港区 東京都 北区 大阪市 大手町 千代田区 赤坂 港区 麻布十番 港区 梅田 北区 手元にあるデータ
17. 再帰的にデータソースを参照しない 同じスクリプトを再帰的にコールする ことで木構造を遡るのか…？
18. 再帰的にデータソースを参照しない （１）ＳＱＬテスト実行 （２）Dataspiderスクリプトと実行結果Excel 再帰的With句を使う 👈 👈
19. ★中間まとめ★ ＳＱＬで処理できるか？ ｜ ｜ できる できない ↓ ｜ ＳＱＬでやる！ ↓ DataspiderでETL処理をする。
20. 目次 DataSpiderをETLツールとして使わない →ＤＢ（または専用ツール）へ代替する 再帰的にデータソースを参照しない →ＤＢへ代替する スケジュールトリガーに執着しない →ジョブスケジューラへ代替する プロジェクトの作成単位を熟考する →運用の経験則 今回 前回
21. スケジュールトリガーに執着しない 業務カレンダーに定義した日だけ 起動したいけど、先行ジョブが異 常終了したときは起動させたくな いんだよな。前後関係が複雑でど うすりゃいいのかわかんない！ 外部ソフト“ジョブスケジューラ”に切 り出してみては？
22. スケジュールトリガーに執着しない ジョブ管理システムとは、コンピュータ上での複数のジョブの起動 や終了を制御したり、ジョブの実行・終了状態の監視・報告などを 行うソフトウェアである。「ジョブスケジューラ」、「タスクスケ ジューラ」とも呼ばれる。 ja.wikipedia.org/wiki/ジョブ管理システム より抜粋 有償 無償 ＜いろいろ選べるジョブスケジューラ＞
23. スケジュールトリガーに執着しない DataSpider DataSpider Ｄ Ｓ Ｓ 単 体 外 部 委 託 ScriptRunner.exe DSE0210_日次帳票.xml ★ ★ ★＝スケジュールの主体 DataSpiderには“ScriptRunner”という、 外部からスクリプトを起動する仕組みがある。 スケジュールの主体をDataSpiderから切り離す。 DataSpiderは「呼ばれたら起動する」に特化する。 ジョブスケジューラ
24. スケジュールトリガーに執着しない
25. スケジュールトリガーに執着しない  DataSpiderのみならず、他のシステムも含めて、 会社全体のジョブの要件を切り出して集約できる  実行順序が把握しやすい  階層構造が把握しやすい  例外処理（正常時だけ／異常時だけ）が把握しやすい  カレンダーによるきめこまやかな運用ができる ＜ジョブスケジューラへ外部委託するメリット＞ 企業の膨大かつ複雑なジョブを管理するに はジョブスケジューラは必須！ Dataspiderからスケジュールを切り離す！
26. プロジェクトの作成単位を大きくしない 最近「プロジェクトをサービスとして 登録」の応答時間がめっちゃ長いよ～。 こんなんじゃ使えないよ～。 プロジェクトの作成単位、 大きすぎない？
27. プロジェクトの作成単位を大きくしない スクリプト プロジェクト 調達業務 発注処理 受入処理 検収通知 遅延督促 ・・・ ・・・ ダメな例 １つのプロジェクトにスクリプトをたくさんぶら下げると、 コンパイルの単位が巨大になって収拾付かなくなるよ！ 👆 コンパイルの単位
28. スクリプト プロジェクト プロジェクトの作成単位を大きくしない よい例 １つのプロジェクトに構成されるのは3～4スクリプト程度に収める。 プロジェクト≒クラス。スクリプト≒メソッド。的な。 POE0260_電子注文書 国内 海外 BOX配信 POE0140_包括購買契約 更新前チェック 最新リスト出力 BOX配信 WPE0010_生産系配信 マスタ定義異常レポート データ連携異常レポート ・・・ ・・・
29. まとめ https://www.hulft.com/software/dataspider/product#anc_01 製品のコンセプトに沿って使うことは大切。 Dataspiderは「つなぐ」ツール。「おまけ」機能に 頼らずに、「餅は餅屋」。スマートに使おう！
30. APPENDIX
31. APPENDIX Dataspider＝「つなぐ」 ツール