クラウドネイティブな省エネサービスの内製開発で、BizDevOpsを実現する / Achieving BizDevOps in in-house development of cloud-native energy-saving services

by Genki Ogasawara

Slide 1

Slide 1 text

北海道ガス株式会社小笠原元気クラウドネイティブな省エネサービスの内製開発で、BizDevOpsを実現する 1 2024.6.15 CloudNative Days Summer 2024

Slide 2

Slide 2 text

⾃⼰紹介 Genki （⼩笠原元気）北海道ガス株式会社（2017〜）・Job, Role フロントエンド・バックエンドエンジニア開発チームのテックリード趣味︓旅⾏・筋トレ CloudNative Days 歴︓4年（2020初参加）最近興味があること︓Next.js, Vercel @geivk 2

Slide 3

Slide 3 text

Agenda 会社 / プロジェクト（Mys3︓ミース）概要クラウドネイティブと BizDevOps とは︖ 内製開発の取り組みとその課題課題解決のためのクラウドネイティブ技術 Future works・まとめ 3

Slide 4

Slide 4 text

今⽇のお話の内容 ● クラウドネイティブで組織や事業の課題を解決した話 ● 事業会社・事業部⾨だからこそ感じたクラウドやクラウドネイティブの良さ ● 初⼼者スタートでも熱量とコミュニティで乗り切った話 4

Slide 5

Slide 5 text

Agenda 会社 / プロジェクト（Mys3︓ミース）概要クラウドネイティブと BizDevOps とは︖ 内製開発の取り組みとその課題課題解決のためのクラウドネイティブ技術まとめ 5

Slide 6

Slide 6 text

北海道ガス株式会社主要事業内容本社所在地従業員数沿⾰ 1911年設⽴ガス事業電気供給業ガス機器販売 851名札幌市東区北7条東2丁⽬1-1 売上⾼ 1,738億円（連結） 2024年3⽉末時点お客さま件数ガス︓604,329件電⼒︓254,956件会社概要 6

Slide 7

Slide 7 text

業務⽤省エネサービス「Mys3（ミース）」 • 多額の初期投資が必要 • 既設設備の停⽌期間や⼤掛かりな⼯事が必要 • 中⼩規模向けの選択肢（少機能・低価格）が少ない。 Make your smart solution service Mys（ミース）: スウェーデン語で“楽しい・⼼地よい” の意最新の技術を活⽤した多様なサービスで、お客さまの楽しい・⼼地よいを創造する意図を込めている。業務⽤のお客さまで省エネ設備を導⼊する際の課題こうしたお客さまの課題を、デジタル技術を⽤いて解決北ガスグループ独⾃開発 7

Slide 8

Slide 8 text

「Mys3（ミース）」i-Ch / REM 常時計測・監視、⾃動で省エネ制御セントラル空調機器当社クラウドシステム冷温⽔（往）冷温⽔（還）アタッチメント型制御ユニットを設置計測データの⾒える化遠隔制御吸収式冷温⽔機遠隔省エネサービス当社クラウドシステム計測データの⾒える化 CO2/温度/湿度データ CO2・温湿度可視化サービス

Slide 9

Slide 9 text

Mys3の技術スタック ● パブリッククラウド︓Amazon Web Services (AWS) ● 通信 ︓SORACOM ● インフラ ︓AWS IoT, AWS Lambda, Amazon ECS ● バックエンド ︓Python (AWS SDK) ● フロントエンド ︓React.js ● 可視化画⾯ ︓Grafana（on Amazon ECS） ● DevTools ︓AWS CDK, Amazon CodeCatalyst 9

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Agenda 会社 / プロジェクト（Mys3︓ミース）概要クラウドネイティブと BizDevOps とは︖ 内製開発の取り組みとその課題課題解決のためのクラウドネイティブ技術まとめ 11

Slide 12

Slide 12 text

CNCF Cloud Native Definition v1.1 ● Cloud Native Computing Foundation(CNCF) スケーラブルなアプリケーションの構築と実⾏するための能⼒ → 回復⼒・管理⼒・可観測性・疎結合アーキテクチャシステム⾃動化イミュータブルインフラストラクチャ宣⾔的API コンテナサービスメッシュマイクロサービス 12

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Cloud Native glossary ● クラウドネイティブアプリケーションは、クラウドアーキテクチャと容易に統合でき、クラウドのリソースとスケーリング機能を活⽤できます。 ● クラウドネイティブアプリケーションは弾⼒性があり、管理しやすく、それに付随する⼀連のクラウドサービスによって⽀援されます。さまざまなクラウドサービスによって、⾼度なオブザーバビリティが有効になり、ユーザーは問題が深刻化する前に発⾒して対処することができます。堅牢な⾃動化と組み合わせることで、エンジニアは最⼩限の労⼒で、インパクトの⼤きい変更を頻繁にかつ予想通りに⾏うことができます。 https://glossary.cncf.io/ja/ より引⽤ 14

Slide 15

Slide 15 text

クラウドネイティブで私たちは何が得られるのか︖ クラウドネイティブアプリケーションによる価値新しいサービス・付加価値の創出に注⼒できるお客さまに提供できるサービスの幅が広がる DX(Developer eXperience) 開発者体験の向上 15

Slide 16

Slide 16 text

Bizチーム・Devチーム・Opsチーム Biz, Dev, Ops チームがそれぞれのKPI を持っている状態 ● 関⼼事は⾃チームの最⼤化 ● 事業部⾨で初期から別々の組織で進めていくのはかなりのハードル予算・リソース・能⼒全てが不⾜ Biz Dev Ops 16

Slide 17

Slide 17 text

BizDevOps Biz, Dev, Ops チームが共通の KPI を持っている状態＝密な連携 ● 関⼼事は共通になっている ● お互いにそれぞれを理解している ● ⾼速に概念検証を繰り返す ● 継続的なサービスリリース / 改善 → 特に事業部⾨では BizDevOps が必要 Biz Dev Ops 17

Slide 18

Slide 18 text

Agenda 会社 / プロジェクト（Mys3︓ミース）概要クラウドネイティブと BizDevOps とは︖ 内製開発の取り組みとその課題課題解決のためのクラウドネイティブ技術まとめ

Slide 19

Slide 19 text

Mys3 の構想の当初 19 低価格最⼩機能(MVP) ⼤規模⼯事不要⾃動化 IoT クラウド通信プログラミング市場ニーズ技術シーズ ✔ ✔ ✔ ✔ ? ? ? ? ニーズはあったが、技術がなかった＝Dev, Ops について知識がなかった

Slide 20

Slide 20 text

従来エネルギー会社 SIer/ベンダー 2次請 3次請・・・ IT部⾨/システム系グループ会社当社の従来のシステム開発の課題要件定義に⻑期間かかる少しの画⾯修正で数⼗万オーダーの発注 20 IoT クラウド通信プログラミング技術シーズ ? ? ? ? 多額の初期投資ができない状況＋社内ナレッジの取得 ⇒ 内製開発へ

Slide 21

Slide 21 text

内製開発の始まり 2018年〜クラウド/IT分野は技術・ビジネスの変化が激しい 2018/7⽉〜社内有志メンバーで勉強会・サークルを⽴ち上げ（プログラミングやIoT技術を中⼼に）技術論者ではなく、技術的な思考と⾏動を両⽴するスピーディな実践者の集まりが必要クラウドは良いですよ︕ それって、おいしいですか︖ What is Cloud? はじめは「無知状態」サーバーが何か知らなかった 21

Slide 22

Slide 22 text

業務⽤分野の EMS推進経営のミッション DX ビジネスサイド経営課題への取り組み内製開発のターニングポイント新しい分野への挑戦熱源機器IoT化内製開発による PoCスタート若⼿の熱量知的好奇⼼ボトムアップ社内サークル⽴ち上げ 22

Slide 23

Slide 23 text

しかし、内製開発のスタート時は・・・エネルギーサービス業務発電所業務 PdM 開発ほかの業務と兼業からのスタート（現在も継続中） 23

Slide 24

Slide 24 text

◆ ビジネスの課題︓安価で⾃由度の⾼いサービス ● 早期にペイするようなサービス設計 ● 切り売りができる組み合わせ⾃由度の⾼いサービス提供事業部⾨の内製開発が抱える BizDevOps の課題 24

Slide 25

Slide 25 text

事業部⾨の内製開発が抱える BizDevOps の課題 ◆ ビジネスの課題︓安価で⾃由度の⾼いサービス ● 早期にペイするようなサービス設計 ● 切り売りができる組み合わせ⾃由度の⾼いサービス提供 ◆ 開発の課題︓周辺ツールの理解のハードルと開発の柔軟性 ● アーキテクチャの柔軟な変更（SaaSからの乗り換え） ● オンボーディングの環境構築のハードルの⾼さ ● クラウドインフラの複雑化 25

Slide 26

Slide 26 text

◆ ビジネスの課題︓安価で⾃由度の⾼いサービス ● 早期にペイするようなサービス設計 ● 切り売りができる組み合わせ⾃由度の⾼いサービス提供 ◆ 開発の課題︓周辺ツールの理解のハードルと開発の柔軟性 ● アーキテクチャの柔軟な変更（SaaSからの乗り換え） ● オンボーディングの環境構築のハードルの⾼さ ● クラウドインフラの複雑化 ◆ 運⽤の課題︓とにかく省⼒化・⾃動化 ● ⼿作業によるデプロイでオペレーションミス・属⼈化・複雑なプロセス ● インフラ管理の省⼒化事業部⾨の内製開発が抱える BizDevOps の課題

Slide 27

Slide 27 text

Agenda 会社 / プロジェクト（Mys3︓ミース）概要クラウドネイティブと BizDevOps とは︖ 内製開発の取り組みとその課題課題解決のためのクラウドネイティブ技術まとめ 27

Slide 28

Slide 28 text

クラウドネイティブのアプローチ⾃動化サービスメッシュイミュータブルインフラストラクチャコンテナマイクロサービス宣⾔的 API クラウドネイティブのアプローチやクラウドのメリットを最⼤限利⽤し BizDevOps の課題を解決していった 28

Slide 29

Slide 29 text

Slide 30

Slide 30 text

安価かつ⾃由度の⾼いサービスを提供するには︖ ● 従来のシステム開発⼿法やデバイスで構築するの難しい ◆ システムの課題解決 ● IoTのプラットフォームを作成 ● 接続すれば遠隔計測・遠隔制御ができるようにしたい ● 従量課⾦制のパブリッククラウドが最適 ● 後からニーズに合わせて機能追加したい → マイクロサービス 30

Slide 31

Slide 31 text

安価かつ⾃由度の⾼いサービスを提供するには︖ ● 従来のシステム開発⼿法やデバイスで構築するの難しい ◆ システムの課題解決 ● IoTのプラットフォームを作成 ● 接続すれば遠隔計測・遠隔制御ができるようにしたい ● 従量課⾦制のパブリッククラウドが最適 ● 後からニーズに合わせて機能追加したい → マイクロサービス ◆ デバイスの課題解決 ● 当初、制御でよく使われる汎⽤のPLCを利⽤ ● さらに安価にするためマイコン＋IoTゲートウェイの構成に 31

Slide 32

Slide 32 text

「やってみた」の恩恵 ● 知的好奇⼼をベースとした「やってみた」の実践 ● 部署・部⾨を超えて⾃由に報告しあう社内コミュニティの役割 ■技術習得プログラミング⾔語 IoT技術 Raspberry Pi ESP32 モノ通信クラウド ■知⾒獲得機械学習画像処理コンテナ組込フロント昼休みハンズオンすべて独学学習→熱量→実践→共有→・・・の好循環 32

Slide 33

Slide 33 text

環境と外部コミュニティ ● 「やってみる」の熱量 ● 「やってみなさい」の上司のサポート⼼理的安全性や裁量があったことが重要 ● 外部コミュニティへの参加初⼼者ながら「やってみた」を JAWS FESTA 2019 SAPPORO で発表コミュニティの熱量を⽣で感じたクラウドの最新事例を常に収集できる 33

Slide 34

Slide 34 text

Slide 35

Slide 35 text

マイクロサービスとは（イメージ） ● 機能を異なるマイクロサービスに分離することにより、それらを独⽴して ● デプロイ、アップデート、スケールすることが容易になります。 35 機能 A 機能 B 機能 C 機能 D 機能 A 機能 B 機能 C 機能 D モノリスマイクロサービス https://glossary.cncf.io/ja/ より引⽤

Slide 36

Slide 36 text

PoC のアーキテクチャ ◆ PoC ● ほぼ SORACOM 完結したアーキテクチャ ● AWS 上にデータレイク＋パイプラインを構築 ● デバイスの設定情報は直接 SSH で接続して書き換える（ここまでデータベース構築なし） CloudNative アプローチマイクロサービス PLC modbus アナログ I/O 制御信号ゲートウェイ SORACOM AWS Cloud データ遠隔操作可視化クラウドアダプタ IoT Core データレイク SSH 制御盤 36

Slide 37

Slide 37 text

サービスローンチ時のアーキテクチャ ◆ サービスローンチ仕様 ● フロントエンドからデバイスの設定情報を書き換えたい ● AWS IoT を使って MQQT(S) の相互通信(Pub/Sub)・即時通信 ● API を⽤意しバックエンドで IoT Core へ指令 ● ファームウェアの OTA(On The Air)アップデートも実装 CloudNative アプローチマイクロサービスアナログ I/O 制御信号制御盤 SORACOM AWS Cloud IoT Core クラウド転送サービス遠隔指令 MQTT REST API 37

Slide 38

Slide 38 text

宣⾔的 API（イメージ） ● ⽬的の状態を定義（設定ファイルのイメージ） ● コントローラが⽬的状態と差分をチェックし⽬的の状態へ⾃⼰修復する 38 https://glossary.cncf.io/ja/ より引⽤設定情報コンテナの数︓10 コントローラ

Slide 39

Slide 39 text

サービスローンチ時のアーキテクチャ ◆ サービスローンチ仕様 ● 可視化画⾯を SaaS からセルフホストに変更（OSS︓Grafana） ● データベースとして時系列DB・Key-Value DBを採⽤ ● コンテナオーケストレーションサービスの宣⾔的 API で運⽤の省⼒化 CloudNative アプローチコンテナ・宣⾔的API AWS IoT Core Amazon Timestream （時系列DB） Amazon DynamoDB （Key-Value DB） Amazon ECS コンテナオーケストレーション 39

Slide 40

Slide 40 text

アーキテクチャの段階的な変更 ● クラウドならではの「リソースの使い捨て」ワンクリックでリソースを起動、失敗した時にすぐリソースを廃棄できる ● アーキテクチャをその段階の最適なものに変えられる PoC→サービスローンチ時ビッグバンの移⾏ではなく拡張性が必要な箇所から、機能を徐々に移⾏できる CloudNative アプローチマイクロサービス 40

Slide 41

Slide 41 text

Slide 42

Slide 42 text

コンテナとは（イメージ） ● コンピューターのオペレーティングシステムがリソースと機能⾯で制限を管理する、実⾏中のプロセス ● コンテナイメージとしてパッケージ化されている 42 https://glossary.cncf.io/ja/ より引⽤ランタイムライブラリ設定コンテナイメージビルドコンテナ

Slide 43

Slide 43 text

開発環境の設定のハードル事業会社で内製開発をする悩み︓新⼊社員教育でプログラミングがないこと ● 初⼼者には環境設定のハードルが⾼い ● オンボーディングの場合も周辺ツールが多すぎてハードルが⾼い Python インストール Python を homebrew で… Docker・git ・CDK も… Node.js もお願いします main ブランチから git clone してください開発にJoin したメンバー（初⼼者）・・・ PATH 設定必要です CloudNative アプローチコンテナ 43

Slide 44

Slide 44 text

開発環境の設定のハードルの解決 ◆ Amazon CodeCatalyst Dev Environments ● 特定のブランチをgit clone した状態で SSH でコンテナに接続 ● デフォルトで⼊っているミドルウェア ○ Docker, Helm, AWS CLI, SAM CLI, CDK CLI ○ Node.js, Python, Go, Ruby, Java, PHP ● Github CodeSpaces も同様の機能コンテナ＝クラウドネイティブ技術のメリット CloudNative アプローチコンテナ 44

Slide 45

Slide 45 text

Slide 46

Slide 46 text

イミュータブルインフラストラクチャ（イメージ） ● ⼀度デプロイされると変更することができないインフラストラクチャ＝インフラは使い捨て、変更があるたびに再構築する 46 https://glossary.cncf.io/ja/ より引⽤ v1 v2 v3 構築再構築再構築機能追加パッチ Infrastructure as Code

Slide 47

Slide 47 text

Infrastructure as Code: IaC ● 当初は、簡単な ETL の関数のみのためコンソールから作成 ● API ゲートウェイ＋サーバレスファンクションで構築 ● フロントエンドからの要件増 → サーバレスファンクションの数が増⼤ CloudNative アプローチイミュータブルインフラストラクチャ ETL 遠隔指令通信確認設定情報取得デバイス取得エラーロガー設定履歴データクエリデバイス認証 ETL etc. 47

Slide 48

Slide 48 text

Infrastructure as Code: IaC ● いつ・誰が・どのファンクションを・どのように変更したかわからない ● 認知負荷・管理⼯数⼤ → Infrastructure as Code で管理 ● Terraform or AWS CDK → IoT リソースに対応している AWS CDK を採⽤ ◆ ⾔語の選定 ● 最初は Python で記述していたが型がない ● 必須プロパティなども毎回 Document で調べなくてはいけない → 途中から、Python から TypeScript に全⾯移⾏ CloudNative アプローチイミュータブルインフラストラクチャ 48

Slide 49

Slide 49 text

Slide 50

Slide 50 text

IaC の⾃動デプロイ ● 当初、３つの環境にそれぞれ⼿動デプロイしていた ● 開発者も開発環境に毎回デプロイが必要になっていた ● オペレーションミスが発⽣し、特定の⼈がいないとデプロイできない ● ビッグバンデプロイになりがちだった dev （開発環境） stage （テスト環境）開発者 prod （本番環境）デプロイ職⼈によるデプロイ CloudNative アプローチ⾃動化 50

Slide 51

Slide 51 text

51 dev （開発環境） stage （テスト環境）開発者 Repo git push Workflow Repo/ Issue プルリク作成 Workflow 承認デプロイデプロイ prod （本番環境）⼿動テスト（デバイス） Workflow Repo デプロイプルリク作成承認 Amazon CodeCatalyst テストの⾃動化・デプロイの⾃動パイプラインを構築 CI/CD パイプラインの構築 CloudNative アプローチ⾃動化・コンテナ

Slide 52

Slide 52 text

テストの重要性 ● テスト・・・とは・・・︖ 何から⼿をつけたらいいかわからない状態継続的インテグレーション / デプロイの⾼頻度デプロイ → 既存の機能が担保されているという意味でテストが重要 ü AWS CDK を TypeScript に移⾏するタイミングでテストを導⼊ ü バックエンドのロジックにもテストを導⼊ ● ただし開発⼈員が限られているため、コア機能にテストを集約 CloudNative アプローチ⾃動化 52

Slide 53

Slide 53 text

Agenda 会社 / プロジェクト（Mys3︓ミース）概要クラウドネイティブと BizDevOps とは︖ 内製開発の取り組みとその課題課題解決のためのクラウドネイティブ技術 Future works・まとめ

Slide 54

Slide 54 text

サービスローンチ後の機能追加 ● サービスローンチ後も、お客さまからのフィードバックで機能を実装 ● 曜⽇別・時間別のスケジュール運転機能 ● 気象情報による天気に連動した運転機能 ● 他の機器への拡張性・・・etc. デバイスへの実装は、影響が⼤きいクラウドにて素早く・柔軟に実装⾼速に実装し検証しながらフィードバックをもらうお客さま開発チーム（お客さまに近い⽴場） 54

Slide 55

Slide 55 text

FUTURE WORKS ◆ クラウドサービス ● CSPM: Sysdig CSPM の利⽤検討（オペレーションコスト低減） ● RDB: TiDB Serverless に移⾏できないか検討（コスト低減）開発当初より多様かつ、さらに安価なサービスが出ている 55

Slide 56

Slide 56 text

FUTURE WORKS ◆ クラウドサービス ● CSPM: Sysdig CSPM の利⽤検討（オペレーションコスト低減） ● RDB: TiDB Serverless に移⾏できないか検討（コスト低減）開発当初より多様かつ、さらに安価なサービスが出ている ◆ ⽣成 AI ● ⼈数が少ないからこそ、⽣成 AI をフル活⽤したい ● ローカル LLM やコード⽣成、Github Copilot Workspace など進化が著しいため、特定のサービスにとらわれずトライしたい 56

Slide 57

Slide 57 text

まとめ ● 内製開発こそ、クラウドネイティブの考えを取り⼊れるべき事業により注⼒できるようになるメリットが⾮常に⼤きい ● 社外コミュニティで熱量を感じ、最新のクラウドネイティブ事例を取り⼊れる社内のコミュニティでまずは「やってみた」を実践 ● クラウドネイティブをすぐに取り⼊れられなくても、知っていることが重要 → 事業化・サービス化のどこかで必要なタイミングが出てくる ● クラウドネイティブを取り⼊れたことで BizDevOps を実現できたお客さまのフィードバックから機能実装することができている 57

Slide 58

Slide 58 text

Thank you!