DMSCube_DataSpiderの見逃しがちな便利機能（データチェック処理編）

2024年8月27日に開催された【DataSpiderの見逃しがちな便利機能について語ろう！】で画面投影した資料となります。
https://dmscube.com/view/event/13377

Transcript

1. 2024年 8月27日 株式会社テトラ・コミュニケーションズ DataSpiderの見逃しがちな便利機能 （データチェック処理編）
2. 名前： 吉田 彰宏 現職： 株式会社テトラ・コミュニケーションズ 生命保険会社に特化した業務＆システムコンサルティング及び システムの開発・構築・運用・保守 DataSpider歴： 2009年～現在 オンプレ版を利用することが多く、クラウド版の利用は少々。 最近、DataSpiderを購入しているがほとんど使っていなかった お客様に対し、活用をしていただけるよう取り組み中。 いよいよ本格的にAWSを学ぶことになりそうです。
3. こんな経験はありませんか？
4. DataSpiderでデータ連携の自動化を実現！ これで業務を効率化できた。やったー！
5. ところが、、、連携処理でエラーが発生！！ 原因を調べてみると、入力データが想定と違って いたらしい。それなら正しいデータだけ処理する ように改修しよう。
6. 実現はできたけど、簡単なチェック処理をいれたい だけなのに処理が複雑に。 もっと簡単に実現できないのだろうか？
7. そのような時は データチェック処理 が おすすめです！！
8. データチェック処理ではこんなことができます。 ・必須チェック ・型チェック ・最小／最大チェック ・正規表現によるチェック ・オプション（全角数値を許容、日付のフォーマット指定など）
9. 利用イメージ [入力元]－[Mapper]－[出力先]という基本構成の内、 [入力元]と[Mapper]の間に使用するケースが多い（気がします）
10. 実際の利用例をサンプルで見ていきましょう！
11. サンプル１（１／４） その前に、データチェックツールを使わない場合の例です。 CSVの第1項目のバイト数をチェックし、8バイト以下の場合はOK ファイル、8バイトを超えるものはNGファイルへ出し分けます。
12. サンプル１（２／４） ・CSVの項目をそのままマッピングします。 ・第１項目のバイト数を取得します。
13. サンプル１（３／４） ・CSVの項目をそのままマッピングします。 ・第６項目が8以下のレコードを処理。
14. サンプル１（４／４） レコードが振り分けられたCSVが期待通りに作成されました！
15. サンプル２－１（１／３） データチェックツールを使った例です。 同じようにCSVの第1項目のバイト数をチェックし、結果毎にCSV ファイルへ出し分けます。
16. サンプル２－１（２／３）
17. サンプル２－１（３／３） 設定値は３パターンあります
18. サンプル２－２（１／２） 出力レコードに【すべてのレコードとチェック結果を出力する】 を使った例です。
19. サンプル２－２（２／２） 【データチェッすべてのレコードとチェック結果を出力する】を 選択すると最終列のチェック結果が追加されるので、それを元に 判断します。
20. サンプル３（１／６） DMS Cubeの教えて広場への投稿にこのような質問がありました。 レコードに含まれる複数項目のいずれかに値があれば 更新対象とする、ということがやりたいです。（要約版） これをデータチェック処理で実現してみましょう！
21. サンプル３（２／６） 実現イメージ このようなファイルがあった場合、 9行目（A8の行）以外を処理したい。
22. サンプル３（３／６） 処理フローはこれまでのサンプルと同じ構成となります。
23. サンプル３（４／６） これで3～5列目のいずれかに値が入っていれば処理される！
24. サンプル３（６／６） 期待した通りのCSVが作成されました！
25. データチェック処理は大きく次の２つの使い方があります。 ① 正常なデータとエラーデータを分ける ② 正常なデータの中から処理対象のデータだけを抽出する まとめ
26. DataSpiderには日々の業務に有用な機能が色々用意されています。 しかし、普段利用せず、知らないままとなっている機能や使い方も まだまだたくさんあります。 もし、「今まで知らなかった！」というものを見つけた時は DMS Cubeに投稿して教えてもらえると嬉しいです。 最後に
27. ご清聴ありがとうございました。 株式会社テトラ・コミュニケーションズ