BIやめてカスタム開発に移行した話

【クラスメソッド・アクセンチュア デジタル共催】 最新テクノロジー案件最前線！実践ノウハウから伝えるLT×10本勉強会 〜サーバーレス、ビッグデータ、IoT、認証、そしてDevOpsなど〜
https://dev.classmethod.jp/news/190716-lt-ac-vs-cm/

アクセンチュア登壇資料

Transcript

1. BIやめて カスタム開発に 移行した話 アクセンチュア株式会社 宮川 俊樹
2. • 宮川 俊樹 • アクセンチュア歴 約4年 • 前職 インターネット系の広告代理店でWEBアプリエンジニア4年半 自己紹介 Copyright © 2019 Accenture. All rights reserved. 2
3. • アクセンチュアでの仕事 最初2年 • 要件定義やったり設計やったり運用やったり ここ2年 • 2年のブランクを経て開発にも手をのばす 自己紹介 Copyright © 2019 Accenture. All rights reserved. 3
4. • アクセンチュアでの仕事 最初2年 • 要件定義やったり設計やったり運用やったり ここ2年 • 2年のブランクを経て開発にも手をのばす 自己紹介 Copyright © 2019 Accenture. All rights reserved. 4 今日はここの話
5. 事件勃発 Copyright © 2019 Accenture. All rights reserved. 5 社⾧ 分析システムが遅くて使い物にならない! 今すぐ速度改善をしろ!
6. • 大手小売業向け分析システムの開発 • 日々の売上の推移 • 商品別・商品カテゴリ別の売上分析 • 顧客の性別・年代別の売上分析 • 顧客の住所別の売上分析 • 新規客・離反客の分析 • この商品を買った人が他に何を買っているかという分析 • データ量は5000万～1億件/日 そもそもどんなプロジェクトか Copyright © 2019 Accenture. All rights reserved. 6
7. • 一番一般的な日々の売上の推移で15秒程度 • 複雑な分析になると10分以上 どのくらい遅かったか Copyright © 2019 Accenture. All rights reserved. 7
8. • 一番一般的な日々の売上の推移で15秒程度 ⇒ データ量も多いし、適切なデータマートも作っているが、確かに遅い。 • 複雑な分析になると10分以上 ⇒ 内容によっては10分以上かかるのはやむを得ない。 ただ、その間ずっと画面を開いておかなければいけないのはいただけない。 どのくらい遅かったか Copyright © 2019 Accenture. All rights reserved. 8
9. Copyright © 2019 Accenture. All rights reserved. 9 当時の構成 WEBサーバ （PHP + jQuery） BIサーバ (Business Objects) DWH (Greenplum Database) REST APIリクエスト SQL問合わせ 結果返却 グラフを画像で出力
10. Copyright © 2019 Accenture. All rights reserved. 10 何が起こっていたか 14.81秒
11. Copyright © 2019 Accenture. All rights reserved. 11 何が起こっていたか 14.81秒 クエリが14本 しかも直列
12. Copyright © 2019 Accenture. All rights reserved. 12 何が起こっていたか 14.81秒 クエリの結果をBI側で結合
13. • BIの撤廃 • 結合処理はDWH側で実行 • 並列に実行可能なクエリは並列に実行 • 時間のかかる分析は予約機能化 どうやって改善したか Copyright © 2019 Accenture. All rights reserved. 13
14. • BIの撤廃 • フロント＋REST APIの構成にする チームの学習コストを考慮し難易度が低そうなフレームワーク/ライブラリを選択 • Vue.js(Nuxt.js) • chart.js • PHP どうやって改善したか Copyright © 2019 Accenture. All rights reserved. 14
15. • 結合処理はDWH側で実行 • PHPの役割はできるだけ少なくする セッション管理 GETのパラメータとログインユーザからSQLを生成・実行 どうやって改善したか Copyright © 2019 Accenture. All rights reserved. 15
16. • 並列に実行可能なクエリは並列に実行 • JavaScriptのaxiosを利用 アプリケーションサーバに向けて並列にREST APIリクエストを投げることで、SQLを並 列で実行 どうやって改善したか Copyright © 2019 Accenture. All rights reserved. 16
17. • 時間のかかる分析は予約機能化 • 分析実行ボタンを押すと非同期でバッチサーバがEXCELまたはCSVを 作成し、あとでダウンロードしてもらう形式に変更 Vue.jsなどを利用したが想定していたほどチームの学習コストが大きくなかったので、 バッチはkotlin(Spring batch / doma2)にチャレンジ どうやって改善したか Copyright © 2019 Accenture. All rights reserved. 17
18. 18 システム構成 クライアントイントラネット Docker 加盟店 ユーザ 認証 HTTPS データマート (Greenplum) WEBサーバ (nginx) 認証用リバースプロキシ (apache) 認証サーバ (Tomcat) 認証サーバ用 モジュール ドメイン振り分け用 リバースプロキシ (nginx) HTTP auth.xxxx.net JavaScript (Vue.js, chart.js) APPサーバ (PHP-fpm) PHP レポート作成用 バッチサーバ kotlin (spring batch, doma2) HTTP stat.xxxx.net gis.xxxx.net HTTP stat.xxxx.net Unix socket keycloak EXCEL レポート JDBC レポート 配置 PDO Amazon Elastic Container Registry AWS CodeCommit AWS Cloud プロキシサーバ
19. Copyright © 2019 Accenture. All rights reserved. 19 結果 14.81秒から3.16秒に(4.7倍高速化) 3.16秒 並列実行
20. • chart.jsに代わるグラフライブラリを見つけたい • APIサーバもkotlinにしたい • CodeBuildでちゃんとCIを回したい 今後の展望 Copyright © 2019 Accenture. All rights reserved. 20
21. • chart.jsに代わるグラフライブラリを見つけたい • chart.jsはグラフをクリックしてドリルダウンとかグラフのそばに数値を記載 するのが困難という問題があった。 • D3.jsとかamChartsとか調査してみたい。 今後の展望 Copyright © 2019 Accenture. All rights reserved. 21
22. • APIサーバもkotlinにしたい • チームの学習コストを気にしたが、意外とkotlinでも問題なかった。 • Vue.js(nuxt.js)でも、関数言語っぽい書き方してるから? 今後の展望 Copyright © 2019 Accenture. All rights reserved. 22
23. • CodeBuildでちゃんとCIを回したい • 今はCodeCommitで資源管理しかしてないが、CodeBuildでテスト・ ビルドを自動化したい。 • CDはクライアントのネットワークがクローズドでイントラネットから外部への アクセス（ホワイトリストベース）しかできないので難しい。 今後の展望 Copyright © 2019 Accenture. All rights reserved. 23
24. Copyright © 2019 Accenture. All rights reserved. 24 おわり