Cloud Native やる前とやりながら考えておきたいこと

Cloud Native やる前とやりながら考えておきたいこと

2019/11/28 cndjp第13回 俺たちの最適なCloud Nativeを求めて…。本気のこと始め!での藤原の講演資料になります

Eea9a05e6e222a3d50c73f54a49fadf4?s=128

Recruit Technologies

November 28, 2019
Tweet

Transcript

  1. 1.

    Cloud Native やる前とやりながら考えておきたいこと 1 (C) Recruit Technologies Co.,Ltd. All rights

    reserved. 株式会社リクルートテクノロジーズ ITエンジニアリング本部 プロダクティビティエンジニアリング部 クラウドアーキテクトグループ 藤原 涼馬
  2. 2.

    自己紹介 藤原 涼馬 株式会社リクルートテクノロジーズ ITエンジニアリング本部プロダクティビティエンジニアリング部 クラウドアーキテクトグループ 経歴 2011-2015 ユーザ系SIer にてR&D

    2016/1〜 リクルートテクノロジーズに入社 主な活動(社外含む) • コンテナ・クラウド等の先進アーキテクチャの事業への装着 • Rancher JPコアメンバー • 各種勉強会登壇 (Rancher JP meetup, Docker meetup tokyo, Japan Container Days, Cloud Native Daysほか) • 寄稿 @IT 先行事例に学ぶKubernetes 企業活用の現実・コンテナベースのCI/CD本番事例大解剖, ThinkIT マルチクラウド時代の最強コンビ RancherによるKubernetes活用ガイド) • 執筆 • RancherによるKubernetes活用ガイド(Think IT Books, インプレス) 2 (C) Recruit Technologies Co.,Ltd. All rights reserved.
  3. 3.

    リクルートグループの紹介 3 (C) Recruit Technologies Co.,Ltd. All rights reserved. 創業

    1960年3月31日 「大学新聞広告社」としてスタート グループ 従業員数 45,856名 (2019年3月31日時点) 連結売上高 23,107億円 (2018年4月1日〜2019年3月31日) 連結営業利益 2,230億円 (2018年4月1日〜2019年3月31日) グループ 企業数 344社 (子会社および関連会社、2019年3月31日時点) 目指す世界観 「あなた」を支える存在でありたい
  4. 4.

    事業内容の紹介 4 (C) Recruit Technologies Co.,Ltd. All rights reserved. 3

    ラ イ フ イ ベント 領域 進学 就職 結婚 転職 住宅購⼊ ⾞購⼊ 出産/育児 旅⾏ ビジネス⽀援 ⽣活/地域情報 グルメ ・ 美容 ラ イ フ スタ イ ル領域 選択・ 意思決定を⽀援する情報サービスを提供し 、 「 まだ、 こ こ にない、 出会い。 」 を実現する。
  5. 5.

    所属組織の紹介: リクルートテクノロジーズ 5 (C) Recruit Technologies Co.,Ltd. All rights reserved.

    リクルートグループのビジネス・サービス リクルートテクノロジーズ IT・マーケティング ソリューション ビジネス視点の ITマネジメント 横断的にソリューションを提供 上記は対象企業・サービスの一部抜粋です。
  6. 10.

    クラウドネイティブ技術 取り組む前に考えておくこと (これが全てではないです) 10 (C) Recruit Technologies Co.,Ltd. All rights

    reserved. TL;DR 様々な概念について自分の認識・言葉で語れるようになることが重要
  7. 13.

    そもそもCloud Nativeって?(もう少しわかりやすく) 言い直すと以下の要件を満たす技術 • 様々なレイヤの仮想化を活用 • 自動で大小の障害から復旧 • 高い管理性を備える •

    詳細まで観測できる • 積極的に自動化している 上記を通じてアプリケーション・インフラの大胆な変更を 少ない労力で実施できる技術 13 (C) Recruit Technologies Co.,Ltd. All rights reserved.
  8. 14.

    そもそもCloud Nativeって?(もう少しわかりやすく) 言い直すと以下の要件を満たす技術 • 様々なレイヤの仮想化を活用 • 自動で大小の障害から復旧 • 高い管理性を備える •

    詳細まで観測できる • 積極的に自動化している 上記を通じてアプリケーション・インフラの大胆な変更を 少ない労力で実施できる技術 14 (C) Recruit Technologies Co.,Ltd. All rights reserved. とはいえこれで大丈夫か?そんなに簡単な話なのか? 追加で考えないといけないこと、注意点を挙げてみる。
  9. 17.

    自動で大小の障害から復旧する Kubernetesをいれれば終わり • そもそもの障害種別の分類と対処方法 • 障害といってもいろいろあるけど、それぞれの障害をどうカバーするか • どこまでの障害対策をスコープに含めるか? • AWSでいうと単一のインスタンス・単一AZ・単一リージョン全体、どこまでをスコープ

    にして復旧または、サービスへの影響が発生しないようにするか? • 定めたスコープに対してどうやってSPOFを排除するか? 17 (C) Recruit Technologies Co.,Ltd. All rights reserved. どの程度の障害まで配慮するか、それぞれの障害に対して どのような手法・テクノロジーで対処するかを考える。 (たしかにk8sはこのレイヤではかなり強力なテクノロジーであることは事実)
  10. 18.

    自動で大小の障害から復旧する Kubernetesをいれれば終わり • そもそもの障害種別の分類と対処方法 • 障害といってもいろいろあるけど、それぞれの障害をどうカバーするか • どこまでの障害対策をスコープに含めるか? • AWSでいうと単一のインスタンス・単一AZ・単一リージョン全体、どこまでをスコープ

    にして復旧または、サービスへの影響が発生しないようにするか? • 定めたスコープに対してどうやってSPOFを排除するか? 18 (C) Recruit Technologies Co.,Ltd. All rights reserved. そこまで考えた上でKubernetesなり、ECSなりのテクノロジーの 備える諸機能で対応するといった話になる
  11. 21.

    高い管理性を備える 管理性が高いとはそもそもどういうことか? • 手間がかからない (間違ってはないが…) • コードによる管理が可能 21 (C) Recruit

    Technologies Co.,Ltd. All rights reserved. コードによる管理が可能 = ソフトウェア工学的な改善アプローチが適用しやすくなる
  12. 22.

    高い管理性を備える 管理性が高いとはそもそもどういうことか? • 手間がかからない (間違ってはないが…) • コードによる管理が可能 22 (C) Recruit

    Technologies Co.,Ltd. All rights reserved. コードによる管理が可能 = ソフトウェア工学的な改善アプローチが適用しやすくなる 工学的な改善アプローチがポイント 種々の活動の再現性向上(≒属人性の低減)を実現するための手段を考えられるようになる
  13. 25.

    詳細まで観測することができる 道具は揃っている(OSSから商用まで幅広く) • 詳細まで観測してどうする? 25 (C) Recruit Technologies Co.,Ltd. All

    rights reserved. 観測結果(特に平常時と異なる状態が見られた場合)に応じた アクションにつながるものでなければ価値は低い。
  14. 26.

    詳細まで観測することができる 道具は揃っている(OSSから商用まで幅広く) • 詳細まで観測してどうする? 26 (C) Recruit Technologies Co.,Ltd. All

    rights reserved. 観測結果(特に平常時と異なる状態が見られた場合)に応じた アクションにつながるものでなければ価値は低い。 クラウドネイティブ技術はアクションを自動化することを容易にはする。
  15. 27.

    詳細まで観測することができる 道具は揃っている(OSSから商用まで幅広く) • 詳細まで観測してどうする? 27 (C) Recruit Technologies Co.,Ltd. All

    rights reserved. 観測結果(特に平常時と異なる状態が見られた場合)に応じた アクションにつながるものでなければ価値は低い。 クラウドネイティブ技術はアクションを自動化することを容易にはする。 どんなアクションをとるかについては人間が考えなければいけない
  16. 29.

    自動化が積極的に行われている 自動化するだけでは運用が最終的に破綻する • メンテナンス可能な自動化形態にできるか • 可能な限り環境が異なる場合も同じコード・設定で利用できるか • 環境による可変部分を最小化できるか 29 (C)

    Recruit Technologies Co.,Ltd. All rights reserved. ただし、相手はコードなのでまだ打つ手はある ソースコードのリファクタリングといった話になる (あまりコード書いたりが得意でないインフラエンジニアにはおそらく最も辛いところ)
  17. 30.

    クラウドネイティブ技術 見直してみる 言い直すと以下の要件を満たす技術 • 様々なレイヤの仮想化を活用 • 自動で大小の障害から復旧 • 高い管理性を備える •

    詳細まで観測できる • 積極的に自動化している 上記を通じてアプリケーション・インフラの大胆な変更を 少ない労力で実施できる技術 30 (C) Recruit Technologies Co.,Ltd. All rights reserved.
  18. 33.

    考えなければいけないことはたくさんあるが… • 実はクラウドネイティブ関係なく本来は考えなきゃいけないこと • IPAの非機能要求グレードなどを広く捉えた場合 (https://www.ipa.go.jp/sec/softwareengineering/std/ent03-b.html) 33 (C) Recruit Technologies

    Co.,Ltd. All rights reserved. クラウドネイティブ技術は非機能に関連した課題について 部分的ではあるものの標準的かつ(以前に比べて)実現が容易な解決案をあたえてくれるだけ それを活かすプロセスについてはノータッチ(あくまでも技術なので)
  19. 38.

    クラウドネイティブ技術 と DevOps クラウドネイティブ技術 + DevOps文化・プロセス • クラウドネイティブ技術 • 高い非機能品質を実現するため技術を提供

    • 高頻度なデプロイを支援するための仕組みを提供 (特に重要なポイントなので抽出) • DevOps文化・プロセス • 高速な仮説検証サイクルを回すための組織文化・プロセスを醸成 • ビジネスに直接貢献する部分はこちら 38 (C) Recruit Technologies Co.,Ltd. All rights reserved.
  20. 39.

    クラウドネイティブ技術 と DevOps クラウドネイティブ技術 + DevOps文化・プロセス • クラウドネイティブ技術 • 高い非機能品質を実現するため技術を提供

    • 高頻度なデプロイを支援するための仕組みを提供 (特に重要なポイントなので抽出) • DevOps文化・プロセス • 高速な仮説検証サイクルを回すための組織文化・プロセスを醸成 • ビジネスに直接貢献する部分はこちら 39 (C) Recruit Technologies Co.,Ltd. All rights reserved. 文化やプロセスがあって初めてクラウドネイティブ技術が活きる。 文化やプロセスを技術でブースト(≒実現を容易化・効果を最大化)する
  21. 40.

    DevOps + クラウドネイティブ技術において特に重要な技術的ポイント • コードリポジトリ(大前提) • 様々なレイヤのコード化を通じた再現性の向上 • テストの自動化 +

    テスト駆動開発(+ テスト環境の動的な払い出し) • テスト駆動開発と開発スピードについては下記URLを参照 • 質とスピード(https://speakerdeck.com/twada/quality-and-speed, t-wada) • デプロイプロセスのシンプル化・自動化 40 (C) Recruit Technologies Co.,Ltd. All rights reserved.
  22. 41.

    DevOps + クラウドネイティブ技術において特に重要な技術的ポイント • コードリポジトリ(大前提) • 様々なレイヤのコード化を通じた再現性の向上 • テストの自動化 +

    テスト駆動開発(+ テスト環境の動的な払い出し) • テスト駆動開発と開発スピードについては下記URLを参照 • 質とスピード(https://speakerdeck.com/twada/quality-and-speed, t-wada) • デプロイプロセスのシンプル化・自動化 41 (C) Recruit Technologies Co.,Ltd. All rights reserved. エンジニア個々人が品質に対する責任を果たしやすくする ここまでやったからには失敗したら誰のせいとかではないよねと言える状態 の実現を目指す。
  23. 42.

    DevOps + クラウドネイティブ技術において特に重要な技術的ポイント • コードリポジトリ(大前提) • 様々なレイヤのコード化を通じた再現性の向上 • テストの自動化 +

    テスト駆動開発(+ テスト環境の動的な払い出し) • テスト駆動開発と開発スピードについては下記URLを参照 • 質とスピード(https://speakerdeck.com/twada/quality-and-speed, t-wada) • デプロイプロセスのシンプル化・自動化 42 (C) Recruit Technologies Co.,Ltd. All rights reserved. エンジニア個々人が品質に対する責任を果たしやすくする ここまでやったからには失敗したら誰のせいとかではないよねと言える状態 の実現を目指す。 非難のないポストモーテムとそこからの確実な学びへと繋げる
  24. 49.

    Cloud Native Trail Map 49 (C) Recruit Technologies Co.,Ltd. All

    rights reserved. https://github.com/cncf/trailmap
  25. 50.

    Cloud Native Trail Map 50 (C) Recruit Technologies Co.,Ltd. All

    rights reserved. https://github.com/cncf/trailmap 1. コンテナ化 2. CI/CD 3. オーケストレーション ・アプリケーション定義 4. 可観測性と分析 5. サービスプロキシ ・ディスカバリ・メッシュ
  26. 51.

    Cloud Native Trail Map 51 (C) Recruit Technologies Co.,Ltd. All

    rights reserved. https://github.com/cncf/trailmap 1. コンテナ化 2. CI/CD 3. オーケストレーション ・アプリケーション定義 4. 可観測性と分析 5. サービスプロキシ ・ディスカバリ・メッシュ いったん5までで解説 (6以降は完全に未経験なので)
  27. 52.

    Cloud Native Trail Map 1. コンテナ化 2. CI/CD 3. オーケストレーション・アプリケーション定義

    4. 可観測性と分析 5. サービスプロキシ・ディスカバリ・メッシュ 52 (C) Recruit Technologies Co.,Ltd. All rights reserved. 個別の項目で特に何を達成することを期待するかを意識する
  28. 53.

    Cloud Native Trail Map (何を達成することを期待するかの一例) 1. コンテナ化 – ビルドの定型化 2.

    CI/CD – テストプロセスの定型化 – デプロイプロセスの定型化 3. オーケストレーション・アプリケーション定義 – デプロイ後の定性的な非機能品質の実現 – ある程度複雑なアプリケーションのデプロイプロセスの単純化・定型化 4. 可観測性と分析 – デプロイ後の定量的な非機能品質の測定 – 観測結果を用いた改善の判断 5. サービスプロキシ・ディスカバリ・メッシュ – より複雑なデプロイプロセスの実現(カナリアリリースなど) 53 (C) Recruit Technologies Co.,Ltd. All rights reserved.
  29. 54.

    Cloud Native Trail Map (何を期待するのかの一例) 1. コンテナ化 – ビルドの定型化 2.

    CI/CD – テストプロセスの定型化 – デプロイプロセスの定型化 3. オーケストレーション・アプリケーション定義 – デプロイ後の定性的な非機能品質の実現 – ある程度複雑なアプリケーションのデプロイプロセスの単純化・定型化 4. 可観測性と分析 – デプロイ後の定量的な非機能品質の測定 – 観測結果を用いた改善の判断 5. サービスプロキシ・ディスカバリ・メッシュ – より複雑なデプロイプロセスの実現(カナリアリリースなど) 54 (C) Recruit Technologies Co.,Ltd. All rights reserved. ツール選定・個別の機能をどこで実現するかについては を期待する内容を軸にして考えると納得感のある構成となりやすい (参考) Kubernetes、コンテナ技術を活用した開発アジリティー向上にインフラアーキテクトはどう貢献したのか (@IT, https://www.atmarkit.co.jp/ait/articles/1902/18/news013.html)
  30. 56.

    どこまで登るか? 既存の組織としての技術資産 を意識する 56 (C) Recruit Technologies Co.,Ltd. All rights

    reserved. いきなり、Docker, Kubernetes, Helm, Istioと…… みたいなことをすると破綻しやすい。 細かくステップを刻む
  31. 57.

    どこまで登るか? 既存の組織としての技術資産 を意識する 57 (C) Recruit Technologies Co.,Ltd. All rights

    reserved. いきなりジャンプアップはできない ただし過去や他の事例から学んでスピードアップはできる いきなり、Docker, Kubernetes, Helm, Istioと…… みたいなことをすると破綻しやすい。 細かくステップを刻む