社内での開発コミュニティ活動～バッチ処理方式設計とSpringBootでのバッチ開発～

社内での開発コミュニティ活動～バッチ処理方式設計とSpringBootでのバッチ開発～ JJUG CCC 2024 Fall 2024/10/27 株式会社野村総合研究所林優一郎

1 Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
開発コミュニティ活動 02 バッチ設計ガイドライン 03 バッチ開発ガイドライン 04 01 野村総合研究所について最後に 05

野村総合研究所について 01

野村総合研究所の事業領域野村総合研究所についてコンサルティングマネジメントとシステム分野においてあらゆる産業のコンサルティング金融ITソリューション金融分野でのシステム開発やソリューションを提供産業ITソリューション産業分野でのシステム開発やソリューションを提供 IT基盤サービス企業のIT基盤の構想・設計・構築・運用などのサービスやソリューションを提供

IT基盤サービス事業領域におけるソリューション例野村総合研究所について ObjectWorks X ［オブジェクトワークステン］システム開発に必要な汎用機能を提供。 OpenStandia [オープンスタンディア] OSSの運用・構築・導入のワンストップサポートサービスを提供。 ※Java、Go、Pythonなどの言語からSpringなどのFWまで幅広くサポート他にも様々なソリューションを提供しています。興味がある方は NRIのHPをご確認ください！ aslead ［アスリード］大規模システム開発において、スムーズな情報共有・課題の管理分析などを提供し成果物の品質向上と業務効率化の双方をサポートする開発管理統合サービスです。

ソリューション紹介：OpenStandia 野村総合研究所について OpenStandiaとは、NRIが提供する OSSに対するサポート＆サービスの総称です。サービスライナップ ◼オープンソース年間サポートサービス ◼オープンソース導入サービス ◼プロフェッショナルサービス（技術相談）公式HP：https://openstandia.jp/oss_info/ 2024/10現在 129製品をサポート！！

開発コミュニティ活動 02

開発コミュニティ活動(xPalette) 野村総合研究所について xPalette(クロスパレット)とは？

xPaletteが提供するモノ開発コミュニティ活動ガイドラインライブラリサンプル/テンプレート Prj 開発手順や方式の説明開発に利用可能な部品群開発の雛形/実装例各処理方式についての設計考慮事項を記載。設計ガイドラインの内容に沿ってアプリケーションを実装する際の実装方式や実装例を参照することで高品質なアプリケーション開発が可能となる。ガイドラインに記載した部品をライブラリとして提供。テンプレートプロジェクトに組み込むことで素早いアプリケーション開発が可能となる。ガイドラインに記載した実装例を実際に動くサンプルコードとして提供。テンプレートは開発開始時にプロジェクトの雛形として利用する。

開発コミュニティ活動(xPalette)の構想開発コミュニティ活動 (開発ベースライン) フィードバック社外のエンジニア/企業 NRIのお客様開発/エンハンス xPalette開発コミュニティ社内開発PJ 公開/利用プロダクト開発公開/利用フィードバック構想 xPalette

開発コミュニティ活動のきっかけ開発コミュニティ活動開発現場のトレンド ◼ 利用技術のオープン化 OSSなどオープンな開発技術の採用が求められる。 ◼ 技術の多様化と高度化クラウドネイティブ、マイクロサービスなどを中心に技術が多様化している。開発現場の課題 ◼ 技術適用の準備が不十分スピーディーな開発が求められており、開発の準備に労力を要する。 ◼ 高度技術エンジニアの不足最適な技術選定・適用方法を検討することができる高度なエンジニアの確保が難しい。全社としての課題 ◼ ノウハウ・ナレッジの点在ノウハウやナレッジ共有の仕組みはあるものの、ソースコードレベルでのノウハウ共有の場（Gitリポジトリ）がないため、全社的な技術情報の共有が効率的にできていない。多様な技術から選択できる半セルフの開発ベースラインが必要。さまざまな案件で得たナレッジで継続的にブラッシュアップする場としてxPaletteを提供する。

xPaletteの活動領域開発コミュニティ活動バックエンド領域アプリ実行基盤領域フロントエンド領域アプリケーションレイヤーインフラレイヤー APP

xPaletteの利用イメージ開発コミュニティ活動フロントエンド領域バックエンド領域アプリ実行基盤領域将来的には生成AIの活用も検討開発に必要となる技術要素を組み合わせて素早いアプリ開発をサポート開発エンジニア

公開事例1（Next.js 公式ドキュメント和訳版）開発コミュニティ活動 xPaletteの活動として作成したNext.js 公式ドキュメントの和訳版を公開

公開事例２（ AILERON Gateway）開発コミュニティ活動 AILERON Gatewayとは各種機能を持つフルスタックなAPI Gatewayです。 NRI発のOSSとして開発中！！ GitHubにて公開予定、乞うご期待！！（2024年度内を予定）

バックエンド領域の活動開発コミュニティ活動バッチアプリケーションオンラインアプリケーション非同期アプリケーションバックエンド領域では「バッチ」「オンライン」「非同期」の3軸で活動中特定の時刻やイベントで起動し、特定の処理を実行するアプリケーションクライアントからのリクエストに応じた処理を実行し、即時に処理結果を応答するアプリケーション処理要求に対して、処理結果を即時に応答せず、別のサーバーで処理を実行するアプリケーション

xPaletteにおけるバッチの取組みバッチ処理方式設計ガイドラインバッチ設計ガイドライン実装言語に依存せず、バッチアプリケーション独自の設計に関する考慮事項を解説したドキュメントバッチ開発ガイドライン設計ガイドラインに記載した設計事項をベースとしてバッチアプリケーションの実装方式について解説するドキュメントサンプルプロジェクト開発ガイドラインに記載している実装例の実コードテンプレートプロジェクト開発時にベースとして利用するテンプレートプロジェクト（ライブラリ込）

バッチ設計ガイドライン 03

バッチ設計ガイドラインとはバッチ設計ガイドラインバッチアプリケーション独自の設計に関する考慮事項を解説したドキュメント ※社内でのみ公開

バッチ設計ガイドラインとはバッチ設計ガイドラインバッチアプリケーション独自の設計に関する考慮事項を解説したドキュメントバッチアプリケーションの設計考慮ポイントや設計観点について解説するドキュメントは少ない印象であったので xPaletteの活動で作成しました

バッチに関連する単語バッチ設計ガイドラインバッチプロジェクトや利用ツールによって利用する単語やニュアンスが異なる各単語の定義や包含関係などを明確化しないとバッチアプリは開発できないジョブタスクジョブネットグループフレームステップウインドウ DAG ワークフロー

バッチの定義はヒトやプロジェクト等によって異なる！バッチの定義バッチ設計ガイドラインバッチの語源通りに分類する派と考えています語源の通り一定量のデータ処理するものをバッチ処理方式であるとしつつ、ファイル削除やマスタレコード更新などの単発処理もバッチ処理として見なす派バッチ＝群、団、束（引用：weblio英和時点・和英辞典）語源の通りバッチとは一定量のデータを処理する処理方式であるとし、ファイル削除やマスタレコード更新などの単発処理はバッチ処理ではないとする派実行形態で分類する派言葉の定義としてはこちらが正システム開発現場ではこちらの考えが多い印象スケジュール/イベント/手動で起動

バッチの定義はヒトやプロジェクト等によって異なる！バッチの定義バッチ設計ガイドラインバッチの語源通りに分類する派と考えています語源の通り一定量のデータ処理するものをバッチ処理方式であるとしつつ、ファイル削除やマスタレコード更新などの単発処理もバッチ処理として見なす派バッチ＝群、団、束（引用：weblio英和時点・和英辞典）語源の通りバッチとは一定量のデータを処理する処理方式であるとし、ファイル削除やマスタレコード更新などの単発処理はバッチ処理ではないとする派実行形態で分類する派言葉の定義としてはこちらが正システム開発現場ではこちらの考えが多い印象スケジュール/イベント/手動で起動バッチ設計ガイドラインは開発現場に寄り添った内容とするため「実行形態で分類」

バッチ設計ガイドラインの目次バッチ設計ガイドライン ◼バッチ処理とは • バッチ処理方式 • ジョブとジョブネット • ジョブマネージャー ◼ジョブ設計方式 • ジョブ分割 • ジョブマネージャーの役割 • 例外処理とリラン • ロギング • 入力チェック • ジョブ運用日付 • 排他制御 • ジョブ実行 ◼性能を考慮したジョブ設計 • データ読み込み処理 • データ書き込み処理 • 多重実行と並列実行

バッチ開発ガイドライン 04

バッチ開発ガイドラインとはバッチ開発ガイドライン設計ガイドラインに記載した設計事項をベースとして SpringBootを利用したバッチアプリケーションの実装方式を解説するドキュメント ※社内でのみ公開

バッチアプリケーション開発の選択肢バッチ開発ガイドラインバッチアプリケーションを開発する場合、大きく下記の3パターンの方法がある開発方式概要 OSSの利用 OSSの仕様に則ってアプリケーションを開発する方法 OSSの独自拡張 OSSをベースとして不足機能を独自機能として追加する方法フルスクラッチ実装 OSSを利用せずにアプリケーションに必要となる機能を独自実装する方法大多数は「OSS利用」もしくは「OSSの独自拡張」を選択する主な選択肢は以下の2つ SpringBatch JSR-352 Batch Applications for the Java Platform

バッチアプリケーション開発の選択肢バッチ開発ガイドラインバッチアプリケーションを開発する場合、大きく下記の3パターンの方法がある開発方式概要 OSSの利用 OSSの仕様に則ってアプリケーションを開発する方法 OSSの独自拡張 OSSをベースとして不足機能を独自機能として追加する方法フルスクラッチ実装 OSSを利用せずにアプリケーションに必要となる機能を独自実装する方法大多数は「OSS利用」もしくは「OSSの独自拡張」を選択する主な選択肢は以下の2つ Spring Batch JSR-352 Batch Applications for the Java Platform バッチ開発ガイドラインはSpringBootをベースとするが、 SpringBatchは利用しない方針としている（OSSの独自拡張に分類）

なぜSpringBatchではないのか？バッチ開発ガイドライン開発現場におけるSpringBatchの課題（特にSI開発で） • フレームワークのアーキテクチャを理解した上でのジョブ設計が必要となるため、ジョブ設計のコストが高くなる • Input/Processor/Outputの構成が前提となるため、処理途中で入出力が発生する複雑なジョブの実装に不向き • JobRepositoryと呼ばれるジョブ管理機能がデフォルトで有効化されてしまうため、DBの利用が必須 • Taskletを利用するのであればSpringBatchにこだわる必要はない SpringBatch自体はバッチアプリケーションにおける素晴らしいOSSであるが・・・

なぜSpringBatchではないのか？バッチ開発ガイドライン開発現場におけるSpringBatchの課題（特にSI開発で） • フレームワークのアーキテクチャを理解した上でのジョブ設計が必要となるため、ジョブ設計のコストが高くなる • Input/Processor/Outputの構成が前提となるため、処理途中で入出力が発生する複雑なジョブの実装に不向き • JobRepositoryと呼ばれるジョブ管理機能がデフォルトで有効化されてしまうため、DBの利用が必須 • Taskletを利用するのであればSpringBatchにこだわる必要はない SpringBatch自体はバッチアプリケーションにおける素晴らしいOSSであるが・・・ SpringBatchを利用しないSpringベースのバッチ実装機能が必要だと思い開発ガイドラインを作成しました

バッチ開発ガイドラインのコンセプトバッチ開発ガイドライン Springフレームワークが提供するDIといった基本機能は利用する開発者は業務ロジック処理部分のみ実装する SpringBatchのコア機能は利用しない(SpringBatchに関する学習や実現性検証が不要) 提供部品は必要最低限とする

バッチ開発ガイドラインのスタックバッチ開発ガイドライン開発ガイドラインではSpringBootをベースとした開発方式について解説 Spring Framework (SpringBoot) Java Job（業務ロジック）独自ライブラリ Spring Batch Infrastructure Bean Validator Mybatis Other OSS libraries ファイル入出力機能でのみ SpringBatchの部品 (FlatFileItemReader)を利用。

バッチ開発ガイドラインで解説する内容バッチ開発ガイドラインジョブ起動 ApplicationRunnerをベースとしてジョブ起動のために実装した部品と利用方法を解説。業務ロジック実装開発者が提供したジョブ IFを利用して業務ロジック(ジョブ)をどう実装するのかについて解説。終了コードジョブ実行終了時に返却する終了コード定義部品や部品の利用方について解説。例外処理例外ハンドリング箇所と部品として提供する Exceptionクラスの利用方法について解説。ロギング Logback, slf4jを利用したロギング方式やどういったログを出力すべきかについて解説。入力チェック BeanValidatorラップした入力チェック部品とその利用方について解説。ジョブ多重化マルチスレッドジョブを起動するための部品および実装方について解説。データ入出力(DB) Mybatisを利用したDBの入出力の実装方法について解説。データ入出力(ファイル) SpringBootが提供する FlatFileItemReaderを利用したファイル入出力方式について解説。トランザクション DB to ファイル、ファイル to DBなど入出力パターンごとのトランザクションパターンを実装例で解説。ビルド/テストプロジェクトのビルドやコンテナイメージのビルド方式や手順について解説。部品部品部品部品部品部品部品共通部品として実装した機能

バッチ開発ガイドラインで解説する内容バッチ開発ガイドラインジョブ起動 ApplicationRunnerをベースとしてジョブ起動のために実装した部品と利用方法を解説。業務ロジック実装開発者が提供したジョブ IFを利用して業務ロジック(ジョブ)をどう実装するのかについて解説。終了コードジョブ実行終了時に返却する終了コード定義部品や部品の利用方について解説。例外処理例外ハンドリング箇所と部品として提供する Exceptionクラスの利用方法について解説。ロギング Logback, slf4jを利用したロギング方式やどういったログを出力すべきかについて解説。入力チェック BeanValidatorラップした入力チェック部品とその利用方について解説。ジョブ多重化マルチスレッドジョブを起動するための部品および実装方について解説。データ入出力(DB) Mybatisを利用したDBの入出力の実装方法について解説。データ入出力(ファイル) SpringBootが提供する FlatFileItemReaderを利用したファイル入出力方式について解説。トランザクション DB to ファイル、ファイル to DBなど入出力パターンごとのトランザクションパターンを実装例で解説。ビルド/テストプロジェクトのビルドやコンテナイメージのビルド方式や手順について解説。部品部品部品部品部品部品部品共通部品として実装した機能本日お話する機能本日はジョブ起動/実行関連機能を解説します

ジョブ起動 ApplicationRunnerをベースとしてジョブ起動のために実装した部品と利用方法を解説。業務ロジック実装開発者が提供したジョブ IFを利用して業務ロジック(ジョブ)をどう実装するのかについて解説。終了コードジョブ実行終了時に返却する終了コード定義部品や部品の利用方について解説。例外処理例外ハンドリング箇所と部品として提供する Exceptionクラスの利用方法について解説。ロギング Logback, slf4jを利用したロギング方式やどういったログを出力すべきかについて解説。入力チェック BeanValidatorラップした入力チェック部品とその利用方について解説。ジョブ多重化マルチスレッドジョブを起動するための部品および実装方について解説。データ入出力(DB) Myabtisを利用したDBの入出力の実装方法について解説。データ入出力(ファイル) SpringBootが提供する FlatFileItemReaderを利用したファイル入出力方式について解説。トランザクション DB to ファイル、ファイル to DBなど入出力パターンごとのトランザクションパターンを実装例で解説。ビルド/テストプロジェクトのビルドやコンテナイメージのビルド方式や手順について解説。部品部品部品部品部品部品まずは通常ジョブの実行終了に関する内容について

【ジョブ起動】：SpringBootにおけるジョブ実装バッチ開発ガイドライン実装引数の受け取り方 ApplicationRunner 独自に引数をパースすること無く実装可能。 CommandLineRunner コマンド引数を利用する場合はパースが必要。開発ガイドラインでは ApplicationRunnerをベースにジョブ起動機能を独自拡張 SpringBootではCLIアプリケーション向けの機能として ApplicationRunnerとCommandLineRunnerを提供している

【ジョブ起動】： ApplicationRunner バッチ開発ガイドライン ApplicationRunnerを実装したクラスを作成しrunメソッド実装するだけでOK 実装例実行結果一見、独自部品を作り込む必要がなさそうだが・・・

【ジョブ起動】： ApplicationRunnerの問題点バッチ開発ガイドライン 1つの開発プロジェクトに複数のApplicationRunnerの実装クラスを追加した場合

【ジョブ起動】： ApplicationRunnerの問題点バッチ開発ガイドライン 1つの開発プロジェクトに複数のApplicationRunnerの実装クラスを追加した場合 ApplicationRunnerだけでは複数のジョブ開発ができないため、アプリ起動時にジョブ名から処理対象のジョブを引き当てる仕組みを実装

【ジョブ起動】：開発ガイドラインにおけるジョブ起動方式バッチ開発ガイドライン

ジョブ起動例バッチ開発ガイドライン「ジョブ識別子」と「ジョブ実行ID」をコマンドとして指定する例：java –jar <jarファイル> <ジョブ識別子> <ジョブ実行ID> <ジョブパラメータ> ジョブ識別子(必須) バッチアプリケーション起動時にどのジョブを実行するかを明示的に示す識別子。実装するジョブに設定する値であり、ジョブ名/ジョブ IDなどを設定する。ジョブ実行ID(任意) バッチアプリケーション起動時に設定するID起動したジョブをトレーシングするためのIDでログに出力する。過去・未来で一意となる値を設定する。設定しない場合はUUID が自動で設定される。ジョブパラメータ(任意) 業務処理に必要となる値を設定するパラメータ。パラメータを必要としないジョブの場合は不要である。

【ジョブ起動/業務ロジック実装】：Jobの実装バッチ開発ガイドライン（1）「sample-job」というジョブ識別子のジョブの実装例 (1): ジョブ識別子の設定 @JobIdentifierアノテーションでジョブ識別子を設定する。 (2): ジョブ定義基底クラスの継承ジョブを実装する場合、Jobインタフェースを継承した基底クラスをextendして実装する。 • SingleExecutionJob：シングルスレッドジョブ用 • MultiExecutionJob：マルチスレッドジョブ用 (3): ジョブ実装メソッドの実装基底クラスのジョブ実行メソッド「execute」をoverrideしてジョブを実装する。（2）（3）

【ジョブ起動/業務ロジック実装】： JobContext バッチ開発ガイドライン（1）「sample-job」というジョブ識別子のジョブの実装例 (1): JobContext バッチアプリケーション起動時に指定したジョブ識別子やコマンドラインパラメータ、終了コードなどジョブ実行に必要となる基本情報を格納したContextクラス。

【終了コード】：JobExecutionResult バッチ開発ガイドライン（1）「sample-job」というジョブ識別子のジョブの実装例 (1): 終了コードジョブの終了コードを管理するクラス。業務ロジックで終了コードを指定する。終了コードは「SUCCESS」「ERROR」「WARNING」が選択可能。

【ジョブ起動】JobRunner バッチ開発ガイドライン ApplicationRunnerを継承したジョブ実行のコアクラス。ジョブ起動時に指定したジョブ識別子に一致するジョブ実装クラスのBeanを取得し実行する

【ジョブ起動】JobRunner バッチ開発ガイドライン ApplicationRunnerを継承したジョブ実行のコアクラス。ジョブ起動時に指定したジョブ識別子に一致するジョブ実装クラスのBeanを取得し実行する（1） (1): JobContextの生成 JobContextを生成し、ジョブ識別子やジョブ実行ID、ジョブ起動パラメータなどを設定する。

【ジョブ起動】JobRunner バッチ開発ガイドライン ApplicationRunnerを継承したジョブ実行のコアクラス。ジョブ起動時に指定したジョブ識別子に一致するジョブ実装クラスのBeanを取得し実行する (1): Jobの引き当て＆実行ジョブ実行時に設定したジョブ識別子に一致するBeanを JobFactoryから取得し実行する。 (2): エラーハンドリングと終了ログの出力ジョブで発生したExceptionをcatchし、ログ出力および終了コードを設定しジョブを終了する。（1）（2）

ジョブ起動 ApplicationRunnerをベースとしてジョブ起動のために実装した部品と利用方法を解説。業務ロジック実装開発者が提供したジョブ IFを利用して業務ロジック(ジョブ)をどう実装するのかについて解説。終了コードジョブ実行終了時に返却する終了コード定義部品や部品の利用方について解説。例外処理例外ハンドリング箇所と部品として提供する Exceptionクラスの利用方法について解説。ロギング Logback, slf4jを利用したロギング方式やどういったログを出力すべきかについて解説。入力チェック BeanValidatorラップした入力チェック部品とその利用方について解説。ジョブ多重化マルチスレッドジョブを起動するための部品および実装方について解説。データ入出力(DB) Myabtisを利用したDBの入出力の実装方法について解説。データ入出力(ファイル) SpringBootが提供する FlatFileItemReaderを利用したファイル入出力方式について解説。トランザクション DB to ファイル、ファイル to DBなど入出力パターンごとのトランザクションパターンを実装例で解説。ビルド/テストプロジェクトのビルドやコンテナイメージのビルド方式や手順について解説。部品部品部品部品部品部品マルチスレッドで実行するジョブ向けの部品について解説

【多重実行】並列と多重の定義バッチ開発ガイドライン並列化多重化異なるジョブを横並びで同時に実行する異なるデータに対して同じジョブを横並びで同時に実行する設計/開発ガイドラインでは並列と多重を以下のように定義ジョブマネージャーで制御ジョブマネージャーやマルチスレッドジョブで制御

【多重実行】並列と多重の定義バッチ開発ガイドライン並列化多重化異なるジョブを横並びで同時に実行する異なるデータに対して同じジョブを横並びで同時に実行する設計/開発ガイドラインでは並列と多重を以下のように定義ジョブマネージャーで制御ジョブマネージャーやマルチスレッドジョブで制御多重化におけるマルチスレッドジョブの部品を提供

【多重実行】多重実行の前提バッチ開発ガイドライン入力対象データを多重度に合わせて分割するジョブ。ファイルの場合、1つのファイルを複数ファイルに分割する。 DBの場合は、処理範囲を複数のファイルに出力する。データ分割ジョブデータ分割ジョブで分割したファイルを入力データとして受け取る。ファイル数を多重度としてマルチスレッドで対象データを処理する。マルチスレッドジョブジョブを多重実行させる場合、事前にデータの分割処理を別のジョブで実装する必要がある

【多重実行】多重実行ジョブの実装バッチ開発ガイドライン非同期にジョブを実行するために多重実行用の基底クラスを提供。開発者は基底クラスをextendsしたジョブクラスを実装するだけで多重実行可能なジョブの実装が可能。 (1). ジョブが受け取るデータを「preHandleExcute」メソッドで指定する。 →入力ファイルのパスを配列化する。 (2). 「execute」メソッドに多重実行する業務ロジックを実装。 → 配列の要素単位でバッチ処理を実行。多重実行ジョブの実装例（1）（2）

最後に 05

◼開催情報日時：2024/11/22(金) 18:00～20:00 場所：横浜野村ビル(みなとみらい) 主催：Netadashi Meetup運営事務局 ※株式会社野村総合研究所「Netadashi Meetup #13」のお知らせ Netadashi Meetupとは？ Netadashi Meetupは、技術に興味がある人が集まって交流することを目的とした会です。食事とお酒を楽しみながら、技術ネタの発表を通じてワイワイしてます！今回は13回目の開催で、「バックエンド領域」をメインテーマとした内容を予定しています。本日詳しく話せなかったバッチ設計についてお話します。ネタまる (Netadashi Meetup公式キャラクター) 「技術には詳しくないけど興味はある方」「飲みたい!方」「様々な方と交流したい方」などなど大歓迎です！ ★イベント申込みはこちらから★

社内での開発コミュニティ活動 ～バッチ処理方式設計とSpringBootでのバッチ開発～

社内での開発コミュニティ活動 ～バッチ処理方式設計とSpringBootでのバッチ開発～

Other Decks in Programming

Featured

Transcript

社内での開発コミュニティ活動～バッチ処理方式設計とSpringBootでのバッチ開発～

社内での開発コミュニティ活動～バッチ処理方式設計とSpringBootでのバッチ開発～