自動化技術を応用したデータ分析環境の構築事例 / 20241207 Shinya Takano

2024/12/7 ソフトウェアテスト自動化カンファレンス2024
https://testautomationresearch.connpass.com/event/333442/
株式会社SHIFT
ソリューション本部 ソリューション事業部 アジャイル推進部 DevOps推進2グループ
高野 慎也

Transcript

1. 自動化技術を応用したデータ分析環境の構築事例 株式会社SHIFT ソリューション本部 ソリューション事業部 アジャイル推進部 DevOps推進2グループ 高野 慎也 (Takano Shinya)
2. • SHIFT社歴 約1年 • 入社感 凄い人多い、一緒に成長したいと思える • すきなコト 効率化、Win-Win • きらいなコト 二度手間、繰り返し • 技術領域 Microsoft Power Platform (Now!) むかしは、RTOSカーネルコード書いたり, C/C++、C#、Python使ってモノづくり大好き 1 すこし自己紹介
3. 2 生成AIに “テスト自動化” を題材に ワードクラウド作らせた
4. 3 ※ワードクラウドは 高頻出 ＝ 文字大
5. 4 頻出ワードの “効率化・品質保証” って テスト以外でも 共通課題なんです
6. 5 自動化により解決しました
7. 6 まず・・・事例の背景であるデータ分析環境について データを分析するために、データを自動収集する環境とご理解ください 【出典】統計データ利活用センター(https://www.stat.go.jp/dstart) 本発表では、基本サイクルの中でも 特に「Data」ステップに焦点を当てています
8. 7 自動化技術の構成比 Excel運用しながら刷新していくことや、データ収集の対象バリエーションが多く、 技術選定には脳に汗をかきました Power Automate Desktop 8% 12% 60% 20% ワークフロー自動化ツール ✓ ローコードでスキルトランスファー容易 データ変換・クレンジングツール ✓ Excelで使い慣れている ✓ 気軽に素早くデータ操作したい ✓ Power BIと相性良し 汎用プログラミング言語 ✓ Web API便利 ✓ Seleniumと相性良し Webブラウザ自動化ツール ✓ ほとんど自動化できる
9. 8 データ収集～データ可視化までの全体像 BI分析のためのデータを収集～集積します データソース データ収集・取込 データ集積 データマート データ可視化 インサイト アクション データベース メール PDF, CSV… 共有フォルダ ウェブサイト ウェブサイト データクレンジング、名寄せなど 自動化スコープ
10. 9 野村不動産さま 「ワークライフプラス」への適用
11. 10 サービス概要 オフィスビル入居テナント向けサービスプラットフォーム をご提供されています 【出典】NOMURA WORK-LIFE PLUS(https://www.wl-plus-web.com)
12. 11 サービス情報の可視化（一部抜粋） フィットネス
13. 12 自動実行スケジュール No Power Automate Desktop メインフロー サブフロー 概要 種別 周期 時刻 (処理時間) 備考 1 日次更新 ー •••を日次更新する 更新 日次 0:00am (15min) DB、2種 データファイル、1種 2 ユーザー登録状況更新 ー ユーザー登録状況を最新化して、 登録状況などの条件にマッチする一覧を更新する 更新 毎週 ◦曜日 1:00am (2min) 3 •••••実施 ー •••••リストへメール送信し、 •••••リスト更新する 通知 更新 手動 - 確認必須のため、 日中に手動でロボ起動 4 ★★★データ集計 集計初期化 収集結果管理ファイルを初期化 集計 毎月 1~n日 3:00am (20min) 初回のみ実行 収集 共有フォルダ経由、ウェブ経由など からデータ収集する 共有フォルダ経由、12種 ウェブ経由、5種 など 取込 データクレンジング・名寄せ 収集したファイルをETL取込 PQでエクセル内に取込む。 集積 BIとデータ連携するために、任意の場所へデータを置く 5 BI更新 ※セマンティックモデル定期更新 ー Power BI更新 更新 日次 5:00am (15min) 6 契約状態変更チェック ー 契約の変化分をメール通知する チェック 通知 月次 6:00am (1min) 7 ••••連携 ー ••予定情報更新し、▪▪▪▪▪へ通知する 更新 通知 毎2週 ◦曜日 7:00am (2min) 8 •••シートチェック ー ▲▲データと登録状態に差異が無いかチェックする チェック 通知 日次 8:00am (1min) No.4 が本セッションの事例紹介になりますが、他にも自動化運用しています
14. データ取込 13 No.4 自動化フローの説明 スケジュール 起動 データクレンジング 名寄せ データ整形 データ集積 データ転送 データ収集 共有フォルダから 取得 Webサイトから 取得 DBから 取得 メール添付から 取得 PostgreSQL, SQL requests pandas、csv pickle ... ※データ収集時のエラーは、空データを適用することで継続運用
15. 14 データ収集自動化の効果事例 業務効率の向上 ✓ 事例以外においても自動化を適用 コストの改善 ✓ 削減工数：約 32h/月(4人日) 業務の柔軟性向上 ✓ 属人化軽減 ✓ 変化への対応力強化 データ処理の品質向上 ✓ 人為的ミスほぼゼロ ✓ データの一貫性確保 テスト自動化の技術は、ビジネス課題解決に応用できています
16. 15 最後に…SHIFTの活動を紹介 （自動化あるよ）
17. 16 週次でGitHubトレンドを眺める会をやっています
18. 17 GitHub Trending 掲載順位を可視化したり・・・
19. 18 GitHub Trending 掲載順位を可視化したり・・・ アメリカ 勢いある
20. 19 GitHub Trending 掲載順位を可視化したり・・・
21. 20 GitHub Trending 掲載順位を可視化したり・・・ 日本
22. 21 エンジョイ自動化してます AWSで自動化環境構築
23. 22 ご清聴ありがとう御座いました