ghe_ameba_arekore

Transcript

1. 1.

   Amebaのinfraを支える GHEとアレコレ CyberAgent, Inc 岩永 翔

2. 2.

   自己紹介

3. 3.

   ❏ ：インフラエンジニアしてます @CyberAgent ❏ ：Ameba基盤システムの面倒見るマンしてます ❏ ：コンテンツ配信、認証、ナドナドの基盤 ❏ ：最近、GHEのAdminチームのお手伝い始めた ❏

   ♨：マイブームは、Consul ❏ ：どっかで雑に組み込みたい 岩永 翔 （いわなが かける）@kakerukaeru
4. 4.

   突然ですが

5. 5.

   今日は GHEのAdmin 的な話はしません

6. 6.

   Agenda

7. 7.

   ❏ AmebaとGHE ❏ Amebaとinfra ❏ Amebaのinfraを支えるGHEとアレコレ ❏ まとめ Agenda

8. 8.

   AmebaとGHE

9. 9.

   ❏ 2013/04導入 ❏ 現在 ❏ 879 users ❏ 10,150 repos

   ❏ 407 Organizations AmebaとGHE
10. 10.

    Amebaとinfra

11. 11.

    ❏ 2004年ぐらいから発足 Amebaとinfra

12. 12.

    ❏ 2004年ぐらいから発足 ❏ 意外と長い Amebaとinfra

13. 13.

    ❏ 2004年ぐらいから発足 ❏ 意外と長い ❏ 現在のinfra環境 Amebaとinfra

14. 14.

    ❏ 2004年ぐらいから発足 ❏ 意外と長い ❏ 現在のinfra環境 ❏ private Cloud(OpenStack/KVM) +

    AWS + GCP Amebaとinfra
15. 15.

    ❏ 2004年ぐらいから発足 ❏ 意外と長い ❏ 現在のinfra環境 ❏ private Cloud(OpenStack/KVM) +

    AWS + GCP ❏ オンプレ分だけで18000台ぐらいかかえてる Amebaとinfra
16. 16.

    ❏ 2004年ぐらいから発足 ❏ 意外と長い ❏ 現在のinfra環境 ❏ private Cloud(OpenStack/KVM) +

    AWS + GCP ❏ オンプレ分だけで18000台ぐらいかかえてる ❏ public cloud分は把握できてない... Amebaとinfra
17. 17.

    ❏ 2004年ぐらいから発足 ❏ 意外と長い ❏ 現在のinfra環境 ❏ private Cloud(OpenStack/KVM) +

    AWS + GCP ❏ オンプレ分だけで18000台ぐらいかかえてる ❏ public cloud分は把握できてない... ❏ インフラエンジニアは20人ぐらい Amebaとinfra
18. 18.

    ❏ 2004年ぐらいから発足 ❏ 意外と長い ❏ 現在のinfra環境 ❏ private Cloud(OpenStack/KVM) +

    AWS + GCP ❏ オンプレ分だけで18000台ぐらいかかえてる ❏ public cloud分は把握できてない... ❏ インフラエンジニアは20人ぐらい ❏ 新陳代謝の激しいPROJECT達 :) Amebaとinfra
19. 19.

    ❏ 2004年ぐらいから発足 ❏ 意外と長い ❏ 現在のinfra環境 ❏ private Cloud(OpenStack/KVM) +

    AWS + GCP ❏ オンプレ分だけで18000台ぐらいかかえてる ❏ public cloud分は把握できてない... ❏ インフラエンジニアは20人ぐらい ❏ 新陳代謝の激しいPROJECT達 :) ❏ PROJECT数は2000ぐらいから数えるのをやめた Amebaとinfra
20. 20.

    ❏ こういう環境で起こりがちなこと Amebaとinfra

21. 21.

    ❏ こういう環境で起こりがちなこと ❏ 次々と立ち上がるサービス達 Amebaとinfra

22. 22.

    ❏ こういう環境で起こりがちなこと ❏ 次々と立ち上がるサービス達 ❏ インフラエンジニアの年金を支える若者的構図 Amebaとinfra

23. 23.

    ❏ こういう環境で起こりがちなこと ❏ 次々と立ち上がるサービス達 ❏ インフラエンジニアの年金を支える若者的構図 Amebaとinfra

24. 24.

    ❏ こういう環境で起こりがちなこと ❏ 次々と立ち上がるサービス達 ❏ インフラエンジニアの年金を支える若者的構図 ❏ 進むinfra codeの負の遺産化 Amebaとinfra

25. 25.

    ❏ こういう環境で起こりがちなこと ❏ 次々と立ち上がるサービス達 ❏ インフラエンジニアの年金を支える若者的構図 ❏ 進むinfra codeの負の遺産化 ❏

    久しぶりにchef動かしたら、通らない... Amebaとinfra
26. 26.

    ❏ こういう環境で起こりがちなこと ❏ 次々と立ち上がるサービス達 ❏ インフラエンジニアの年金を支える若者的構図 ❏ 進むinfra codeの負の遺産化 ❏

    久しぶりにchef動かしたら、通らない... ❏ 同じroleのサーバだけど設定の差分が... Amebaとinfra
27. 27.

    ❏ こういう環境で起こりがちなこと ❏ 次々と立ち上がるサービス達 ❏ インフラエンジニアの年金を支える若者的構図 ❏ 進むinfra codeの負の遺産化 ❏

    久しぶりにchef動かしたら、通らない... ❏ 同じroleのサーバだけど設定の差分が... ❏ サーバ構築の職人化... Amebaとinfra
28. 28.

    ❏ こういう環境で起こりがちなこと ❏ 次々と立ち上がるサービス達 ❏ インフラエンジニアの年金を支える若者的構図 ❏ 進むinfra codeの負の遺産化 ❏

    久しぶりにchef動かしたら、通らない... ❏ 同じroleのサーバだけど設定の差分が... ❏ サーバ構築の職人化... ❏ もうだめだ Amebaとinfra
29. 29.

    ❏ 改善したい Amebaとinfra

30. 30.

    ❏ 改善したい ❏ 単純なinfraのCode化ではダメ Amebaとinfra

31. 31.

    ❏ 改善したい ❏ 単純なinfraのCode化ではダメ ❏ 生まれた瞬間から負債化 Amebaとinfra

32. 32.

    ❏ 改善したい ❏ 単純なinfraのCode化ではダメ ❏ 生まれた瞬間から負債化 ❏ 負債化しにくい仕組みが大事 Amebaとinfra

33. 33.

    ❏ 改善したい ❏ 単純なinfraのCode化ではダメ ❏ 生まれた瞬間から負債化 ❏ 負債化しにくい仕組みが大事 ❏ 何で実現しよう？

    Amebaとinfra
34. 34.

    ❏ 改善したい ❏ 単純なinfraのCode化ではダメ ❏ 生まれた瞬間から負債化 ❏ 負債化しにくい仕組みが大事 ❏ 何で実現しよう？

    ❏ infraの継続的インテグレーション(CI)？ Amebaとinfra
35. 35.

    ❏ 改善したい ❏ 単純なinfraのCode化ではダメ ❏ 生まれた瞬間から負債化 ❏ 負債化しにくい仕組みが大事 ❏ 何で実現しよう？

    ❏ infraの継続的インテグレーション(CI)？ ❏ あるべき姿を定義し Amebaとinfra
36. 36.

    ❏ 改善したい ❏ 単純なinfraのCode化ではダメ ❏ 生まれた瞬間から負債化 ❏ 負債化しにくい仕組みが大事 ❏ 何で実現しよう？

    ❏ infraの継続的インテグレーション(CI)？ ❏ あるべき姿を定義し ❏ infraの継続的デリバリー(CD)？ Amebaとinfra
37. 37.

    ❏ 改善したい ❏ 単純なinfraのCode化ではダメ ❏ 生まれた瞬間から負債化 ❏ 負債化しにくい仕組みが大事 ❏ 何で実現しよう？

    ❏ infraの継続的インテグレーション(CI)？ ❏ あるべき姿を定義し ❏ infraの継続的デリバリー(CD)？ ❏ フローを整え属人化の排除 Amebaとinfra
38. 38.

    Amebaのinfraを支える GHEとアレコレ

39. 39.

    ❏ CI / CD を加速させるGitHub Integration達 Amebaのinfraを支えるGHEとアレコレの一例

40. 40.

    ❏ CI / CD を加速させるGitHub Integration達 ❏ OS imageのCI/CD Amebaのinfraを支えるGHEとアレコレの一例

41. 41.

    ❏ CI / CD を加速させるGitHub Integration達 ❏ OS imageのCI/CD ❏

    GHE + CircleCI + packer + serverspec Amebaのinfraを支えるGHEとアレコレの一例
42. 42.

    ❏ CI / CD を加速させるGitHub Integration達 ❏ OS imageのCI/CD ❏

    GHE + CircleCI + packer + serverspec ❏ OpenStack環境のCI/CD Amebaのinfraを支えるGHEとアレコレの一例
43. 43.

    ❏ CI / CD を加速させるGitHub Integration達 ❏ OS imageのCI/CD ❏

    GHE + CircleCI + packer + serverspec ❏ OpenStack環境のCI/CD ❏ GHE + CircleCI + Terraform ⇒ OpenStack Amebaのinfraを支えるGHEとアレコレの一例
44. 44.

    ❏ CI / CD を加速させるGitHub Integration達 ❏ OS imageのCI/CD ❏

    GHE + CircleCI + packer + serverspec ❏ OpenStack環境のCI/CD ❏ GHE + CircleCI + Terraform ⇒ OpenStack ❏ infra ProvisioningのCI/CD Amebaのinfraを支えるGHEとアレコレの一例
45. 45.

    ❏ CI / CD を加速させるGitHub Integration達 ❏ OS imageのCI/CD ❏

    GHE + CircleCI + packer + serverspec ❏ OpenStack環境のCI/CD ❏ GHE + CircleCI + Terraform ⇒ OpenStack ❏ infra ProvisioningのCI/CD ❏ GHE + CircleCI + serverspec + chef Amebaのinfraを支えるGHEとアレコレの一例
46. 46.

    ❏ CI / CD を加速させるGitHub Integration達 ❏ OS imageのCI/CD ❏

    GHE + CircleCI + packer + serverspec ❏ OpenStack環境のCI/CD ❏ GHE + CircleCI + Terraform ⇒ OpenStack ❏ infra ProvisioningのCI/CD ❏ GHE + CircleCI + serverspec + chef ❏ DNS レコードのCI/CD Amebaのinfraを支えるGHEとアレコレの一例
47. 47.

    ❏ CI / CD を加速させるGitHub Integration達 ❏ OS imageのCI/CD ❏

    GHE + CircleCI + packer + serverspec ❏ OpenStack環境のCI/CD ❏ GHE + CircleCI + Terraform ⇒ OpenStack ❏ infra ProvisioningのCI/CD ❏ GHE + CircleCI + serverspec + chef ❏ DNS レコードのCI/CD ❏ GHE + Jenkins + Roadworker Amebaのinfraを支えるGHEとアレコレの一例
48. 48.

    ❏ 言葉だけじゃなんのこっちゃ Amebaのinfraを支えるGHEとアレコレの一例

49. 49.

    ❏ 言葉だけじゃなんのこっちゃ ❏ infra ProvisioningのCI/CDを例に。 Amebaのinfraを支えるGHEとアレコレの一例

50. 50.

    infra Provisioningの継続的インテグレーション ① chef-recipeの pullreqを契機に CircleCIのbuildが 走りだし... ② OpenStack上に 検証環境を作成し

    chef + serverspec でtest
51. 51.

    infra Provisioningの継続的デリバリー ① slack経由でhubotに release branchを 切らせて... ② 各環境に CircleCI経由で

    chef適用
52. 52.

    infra Provisioningの継続的インテグレーション + α 定期的に、 serverspec用の検証用branchを切らせて 各環境へserverspecの検証を行う

53. 53.

    ❏ 言葉だけじゃなんのこっちゃ ❏ infra ProvisioningのCI/CDを例に。 ❏ もう一つ ❏ OSレイヤ以下のCI/CD Amebaのinfraを支えるGHEとアレコレの一例

54. 54.

    infra Provisioningの継続的デリバリー ① terraformの.tf fileの pullreqを契機に、 terraform plan ② testが通ればmergeボ

    タンを押す。 コレを契機に 本番へ適用
55. 55.

    ❏ 言葉だけじゃなんのこっちゃ ❏ infra ProvisioningのCI/CDを例に。 ❏ もう一つ ❏ OSレイヤ以下のCI/CD ❏

    pullreqありきのインフラ開発・構築になってきた Amebaのinfraを支えるGHEとアレコレの一例
56. 56.

    まとめ

57. 57.

    ❏ GHEを導入してinfraのCode化が加速 まとめ

58. 58.

    ❏ GHEを導入してinfraのCode化が加速 ❏ 豊富なIntegrationのおかげでCI/CD化が楽に出来た まとめ

59. 59.

    ❏ GHEを導入してinfraのCode化が加速 ❏ 豊富なIntegrationのおかげでCI/CD化が楽に出来た ❏ 結果 ❏ devとopsがより密接に。 まとめ

60. 60.

    ❏ GHEを導入してinfraのCode化が加速 ❏ 豊富なIntegrationのおかげでCI/CD化が楽に出来た ❏ 結果 ❏ devとopsがより密接に。 ❏ devのpullreqをopsがmergeでinfra環境作成

    まとめ
61. 61.

    ❏ GHEを導入してinfraのCode化が加速 ❏ 豊富なIntegrationのおかげでCI/CD化が楽に出来た ❏ 結果 ❏ devとopsがより密接に。 ❏ devのpullreqをopsがmergeでinfra環境作成

    ❏ pullreq駆動のinfra開発に。 まとめ
62. 62.

    ❏ GHEを導入してinfraのCode化が加速 ❏ 豊富なIntegrationのおかげでCI/CD化が楽に出来た ❏ 結果 ❏ devとopsがより密接に。 ❏ devのpullreqをopsがmergeでinfra環境作成

    ❏ pullreq駆動のinfra開発に。 ❏ CIによるinfraクオリティ向上 まとめ
63. 63.

    ❏ GHEを導入してinfraのCode化が加速 ❏ 豊富なIntegrationのおかげでCI/CD化が楽に出来た ❏ 結果 ❏ devとopsがより密接に。 ❏ devのpullreqをopsがmergeでinfra環境作成

    ❏ pullreq駆動のinfra開発に。 ❏ CIによるinfraクオリティ向上 ❏ CDによりビルドの再現可能性の向上 まとめ
64. 64.

    ❏ GHEを導入してinfraのCode化が加速 ❏ 豊富なIntegrationのおかげでCI/CD化が楽に出来た ❏ 結果 ❏ devとopsがより密接に。 ❏ devのpullreqをopsがmergeでinfra環境作成

    ❏ pullreq駆動のinfra開発に。 ❏ CIによるinfraクオリティ向上 ❏ CDによりビルドの再現可能性の向上 ❏ : ) まとめ
65. 65.

    thank you ！