NiFiフローのバージョン管理

2024/8/28の NiFi Meetup Japan で、高田宏輝さん（https://x.com/htkd_1207）がLTで使用されていた資料です。
ご本人に許可をいただき、Connpassでの資料連携用に Speaker Deck に上げさせていただきました。
現版（Canva）のリンクはこちらです。
https://t.co/qe1a2DModP

Transcript

1. NiFiRegistryを用いた NiFiフローのバージョン管理 クオリサイトテクノロジーズ株式会社 高田 宏輝
2. 自己紹介 名前　高田 宏輝 NiFi歴　３年くらい NiFi関連で興味があること 　NiFiフロー開発における品質の向上 　（バージョン管理、レビュ、テストなど…）
3. こんな経験はありませんか フローへの変更がどの断面で行われたか調べたい 変更加えたら動かなくなったので過去の断面に戻したい 複数人で同じフローを触っている状況で、特定の変更を誰が行ったのか把握したい →NiFiフローもプログラムのようにバージョン管理したい NiFi Registry https://nifi.apache.org/projects/registry/
4. NiFi Registry NiFiのデータフローをバージョン管理するための専用ツール 変更履歴の追跡や差分の確認が可能 過去のバージョンへの戻しやロールバックが可能 バージョン管理対象のフローのインポートとエクスポートは以下の方法で可能 NiFiの画面から登録 NiFiからエクスポートしたフローをNiFiRegistryの画面から登録 下記のようにNiFi画面からフローの管理状況を確認可能 バージョン管理はしているが最新ではないバージョン バージョン管理対象のフローだがNiFiRegistryから参照できない バージョン管理をしているものから更新が入った状態 バージョン管理済み
5. デモ NiFiからのバージョン登録 1. Exportしたjsonファイルからのバージョン登録 2. 変更点の確認とRevert 3. 別バージョンへの変更 4.
6. 応用編
7. バックアップフローを作ってみた NiFi Registryでは内部にjsonファイルでフローを管理している バージョン管理に必要な情報はDBで管理している →これらをコピーすればバックアップが可能 nifi-registry バックアップフローのイメージ
8. flow_storageのバックアップ NiFi Registryでのflowの管理場所 NiFi Registryでバージョン管理対象のフローは下記に 配置されているので右記のフローで ディレクトリ構成ごと別の場所にコピーする flow_storageのバックアップフロー
9. バージョン管理用DBのバックアップ デフォルトでバージョン管理用のDBにはH2が使われているが、 設定で複数クライアントからの同時アクセスができないようになっているため 下記のようにnifi-registry.propertiesを変更する必要がある 変更前 変更後 NiFi Registryでバージョン管理に必要な情報はDBで管理しているため、 DBの中身をファイルとしてExportすることでバックアップを行う。※次ページで紹介
10. ExecuteSQLのプロセッサを使いたかったが、H2へConnectionPoolを作れなかったため テーブルの参照はGroovyからJDBC経由で行っている 以下の流れでバックアップの取得を行う ①cron実行で毎日0時に起動 ②管理テーブル一覧をクエリで取得 ③-1テーブルのカラム情報をクエリを実行して取得 ③-2テーブルの中身をクエリを実行して取得 ④③で取得したものをjsonファイルとして出力
11. まとめ NiFiフローのバージョン管理ツールとしてNiFi Registryを紹介 NiFiを用いてNiFi Registryをバックアップする方法を紹介
12. 今後やりたいこと バックアップファイルからNiFi Registryの復元 別環境ネットワーク上で稼働するNiFiへエクスポートしたファイルを使ってデプロイ