インフラ構築の自動化・量産化

Transcript

1. インフラ構築の自動化・量産化 ～Chefによる運用管理～
2. 従来のインフラ構築では…
3. 従来のインフラ構築では… 手順書 A 手順書どお りに 用意して!!
4. 従来のインフラ構築では… 手順書 A Apacheインストール MySQLインス…あっ、 エラーだぁorz 用意して!! 用意して!!
5. 従来のインフラ構築では… 手順書 A よしあとこれ終われば 帰れる….. 用意して!! 用意して!! 用意して!!
6. Chefを使用したインフラ構築では…
7. Chefを使用したインフラ構築では… 用意して!!
8. レシピ Chefを使用したインフラ構築では… 用意して!!
9. レシピ Chefを使用したインフラ構築では… 用意して!!
10. レシピ Chefを使用したインフラ構築では… 用意して!!
11. Chefとは
12. Chefとは サーバの自動構築のためのフレームワーク
13. Chefとは サーバの自動構築のためのフレームワーク あたかもRubyでプログラミングをするように インフラの構成管理をコードによって行える
14. Chefとは サーバの自動構築のためのフレームワーク あたかもRubyでプログラミングをするように インフラの構成管理をコードによって行える 設定＋確認作業をミス無く実施(もしくは 間違いが発生しても複数台に即修正を 反映)できる
15. Chefの理念
16. Chefの理念 ~Infrastructure as CODE~ インフラをプログラミングしてコード化
17. Chefの理念 ~Infrastructure as CODE~ インフラをプログラミングしてコード化 Idempotence サーバのあるべき状態に管理 する「冪等性（べきとうせい） 」
18. Chefの理念 ~Infrastructure as CODE~ インフラをプログラミングしてコード化 Idempotence サーバのあるべき状態に管理 する「冪等性（べきとうせい） 」 手順ではなく状態を定義 サーバの状態をコードという外部表 現で管理
19. Chefの理念 ~Infrastructure as CODE~ インフラをプログラミングしてコード化 Idempotence サーバのあるべき状態に管理 する「冪等性（べきとうせい） 」 手順ではなく状態を定義 サーバの状態をコードという外部表 現で管理 あるべき状態に収束 冪等性によるあるべき状態 への収束を保証
20. Chefの理念 ~Infrastructure as CODE~ インフラをプログラミングしてコード化 Idempotence サーバのあるべき状態に管理 する「冪等性（べきとうせい） 」 手順ではなく状態を定義 サーバの状態をコードという外部表 現で管理 あるべき状態に収束 冪等性によるあるべき状態 への収束を保証 アプリケーション領域との切り分け アプリケーションのデプロイ以前まで のプロビジョニングを行う
21. Chefの概要 レシピ
22. Chefの概要 レシピ Server レシピやノード情報を管理する
23. Chefの概要 レシピ Workstation Server ナイフを使用しChef Serverおよ びレシピを操作する
24. Chefの概要 レシピ Workstation Server knife Chef Serverおよびレシピを管理 するリポジトリを操作するため のツール
25. Chefの概要 レシピ Workstation Server knife Cookbooks Recipes レシピ： システムをコードで定義したもの クックブック： レシピや配布するファイル、メタデータな どをまとめたもの
26. Chefの概要 レシピ Workstation Server node node node knife Cookbooks Recipes Chef-clientによって構築・設定 変更が行われるマシン
27. Chefの概要 レシピ Workstation Server node node node Client Client Client knife Cookbooks Recipes 構築対象マシンでレシピに基づ いて構築・設定変更を行うクライ アントプログラム
28. Chefの概要 レシピ Workstation Server node node node Client Client Client role Webサーバ DBサーバ Webサーバ knife Cookbooks Recipes Nodeの役割（特定のパターンと プロセス）を記述
29. Chefの概要 レシピ Workstation Server node node node Client Client Client role Environment Webサーバ DBサーバ 本番機 Webサーバ ステージング 本番機 knife Cookbooks Recipes 環境ごとに設定内容を切り分ける
30. Chefの概要 レシピ Workstation Server node node node Client Client Client role Environment Webサーバ DBサーバ 本番機 Webサーバ ステージング 本番機 ドメイン、ホスト名 knife Cookbooks Recipes Attributes ドメイン、ホスト名 テンプレートやレシピから参照でき る値を設定
31. Chefの概要 Server WebUI
32. Chefの概要 Server WebUI # # Cookbook Name:: rcmd # Recipe:: squid # # Copyright 2014, e-Agency # # All rights reserved - Do Not Redistribute # ##################################################### # munin ##################################################### package "squid" do action :install end service "squid" do supports :restart => true, :start=>true, :stop=>true action [ :enable,:start] end template "/etc/squid/squid.conf" do source "squid/squid.conf.erb" mode "0640" owner "squid" group "root" notifies :restart, 'service[squid]' end # iptables iptables_rule "default" iptables_rule "squid" Recipe
33. Chefの概要 Server WebUI # # Cookbook Name:: rcmd # Recipe:: squid # # Copyright 2014, e-Agency # # All rights reserved - Do Not Redistribute # ##################################################### # munin ##################################################### package "squid" do action :install end service "squid" do supports :restart => true, :start=>true, :stop=>true action [ :enable,:start] end template "/etc/squid/squid.conf" do source "squid/squid.conf.erb" mode "0640" owner "squid" group "root" notifies :restart, 'service[squid]' end # iptables iptables_rule "default" iptables_rule "squid" Recipe # # Customized configuration: # acl CONNECT method CONNECT acl allinternets src all acl localhost src 127.0.0.1/32 <% node['squid']['accessserver'].each do |fqdn, ipaddress| -%> acl <%= fqdn %> src <%= ipaddress %> <% end -%> # without any cache cache deny allinternets http_access allow localhost <% node['squid']['accessserver'].each do |fqdn, ipaddress| -%> http_access allow <%= fqdn %> <% end -%> http_access deny allinternets # http_port 3128 # hide client & proxy info forwarded_for off request_header_access Referer deny all request_header_access X-Forwarded-For deny all request_header_access Via deny all # Apache combined format Log emulate_httpd_log off logformat combined %>a %ui %un [%tl] "%rm %ru HTTP/%rv" >Hs %<st ¥"%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh access_log /var/log/squid/access.log combined template
34. Chefの概要 Server WebUI # # Cookbook Name:: rcmd # Recipe:: squid # # Copyright 2014, e-Agency # # All rights reserved - Do Not Redistribute # ##################################################### # munin ##################################################### package "squid" do action :install end service "squid" do supports :restart => true, :start=>true, :stop=>true action [ :enable,:start] end template "/etc/squid/squid.conf" do source "squid/squid.conf.erb" mode "0640" owner "squid" group "root" notifies :restart, 'service[squid]' end # iptables iptables_rule "default" iptables_rule "squid" Recipe # # Customized configuration: # acl CONNECT method CONNECT acl allinternets src all acl localhost src 127.0.0.1/32 <% node['squid']['accessserver'].each do |fqdn, ipaddress| -%> acl <%= fqdn %> src <%= ipaddress %> <% end -%> # without any cache cache deny allinternets http_access allow localhost <% node['squid']['accessserver'].each do |fqdn, ipaddress| -%> http_access allow <%= fqdn %> <% end -%> http_access deny allinternets # http_port 3128 # hide client & proxy info forwarded_for off request_header_access Referer deny all request_header_access X-Forwarded-For deny all request_header_access Via deny all # Apache combined format Log emulate_httpd_log off logformat combined %>a %ui %un [%tl] "%rm %ru HTTP/%rv" >Hs %<st ¥"%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh access_log /var/log/squid/access.log combined template HTTP(S) 通信でのやりとりを前提とした サーバ・クライアント式のモデル
35. Chefの概要 Server WebUI # # Cookbook Name:: rcmd # Recipe:: squid # # Copyright 2014, e-Agency # # All rights reserved - Do Not Redistribute # ##################################################### # munin ##################################################### package "squid" do action :install end service "squid" do supports :restart => true, :start=>true, :stop=>true action [ :enable,:start] end template "/etc/squid/squid.conf" do source "squid/squid.conf.erb" mode "0640" owner "squid" group "root" notifies :restart, 'service[squid]' end # iptables iptables_rule "default" iptables_rule "squid" Recipe # # Customized configuration: # acl CONNECT method CONNECT acl allinternets src all acl localhost src 127.0.0.1/32 <% node['squid']['accessserver'].each do |fqdn, ipaddress| -%> acl <%= fqdn %> src <%= ipaddress %> <% end -%> # without any cache cache deny allinternets http_access allow localhost <% node['squid']['accessserver'].each do |fqdn, ipaddress| -%> http_access allow <%= fqdn %> <% end -%> http_access deny allinternets # http_port 3128 # hide client & proxy info forwarded_for off request_header_access Referer deny all request_header_access X-Forwarded-For deny all request_header_access Via deny all # Apache combined format Log emulate_httpd_log off logformat combined %>a %ui %un [%tl] "%rm %ru HTTP/%rv" >Hs %<st ¥"%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh access_log /var/log/squid/access.log combined template Rubyによる記述 HTTP(S) 通信でのやりとりを前提とした サーバ・クライアント式のモデル
36. Chefの概要 Server WebUI # # Cookbook Name:: rcmd # Recipe:: squid # # Copyright 2014, e-Agency # # All rights reserved - Do Not Redistribute # ##################################################### # munin ##################################################### package "squid" do action :install end service "squid" do supports :restart => true, :start=>true, :stop=>true action [ :enable,:start] end template "/etc/squid/squid.conf" do source "squid/squid.conf.erb" mode "0640" owner "squid" group "root" notifies :restart, 'service[squid]' end # iptables iptables_rule "default" iptables_rule "squid" Recipe # # Customized configuration: # acl CONNECT method CONNECT acl allinternets src all acl localhost src 127.0.0.1/32 <% node['squid']['accessserver'].each do |fqdn, ipaddress| -%> acl <%= fqdn %> src <%= ipaddress %> <% end -%> # without any cache cache deny allinternets http_access allow localhost <% node['squid']['accessserver'].each do |fqdn, ipaddress| -%> http_access allow <%= fqdn %> <% end -%> http_access deny allinternets # http_port 3128 # hide client & proxy info forwarded_for off request_header_access Referer deny all request_header_access X-Forwarded-For deny all request_header_access Via deny all # Apache combined format Log emulate_httpd_log off logformat combined %>a %ui %un [%tl] "%rm %ru HTTP/%rv" >Hs %<st ¥"%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh access_log /var/log/squid/access.log combined template Rubyによる記述 HTTP(S) 通信でのやりとりを前提とした サーバ・クライアント式のモデル OS・ディストリビューションによる 違いも吸収
37. e-Agencyにおける導入 ~クラウドプロダクト部における事例~
38. 導入方針
39. 導入方針 新規のサーバからChefを導入
40. 導入方針 新規のサーバからChefを導入 レシピ等コード管理はGithub管理
41. 導入方針 新規のサーバからChefを導入 レシピ等コード管理はGithub管理 ユーザー作成・管理、初回のみ実行の標準的なミド ルウエアは引き続き既存のAnsibleを利用
42. 導入方針 新規のサーバからChefを導入 レシピ等コード管理はGithub管理 ユーザー作成・管理、初回のみ実行の標準的なミド ルウエアは引き続き既存のAnsibleを利用 既存のサーバも並行運用できるようにする
43. 導入方針 新規のサーバからChefを導入 レシピ等コード管理はGithub管理 ユーザー作成・管理、初回のみ実行の標準的なミド ルウエアは引き続き既存のAnsibleを利用 既存のサーバも並行運用できるようにする Vagrantによる検証環境を活用
44. 導入方針 新規のサーバからChefを導入 レシピ等コード管理はGithub管理 ユーザー作成・管理、初回のみ実行の標準的なミド ルウエアは引き続き既存のAnsibleを利用 既存のサーバも並行運用できるようにする Vagrantによる検証環境を活用 プロダクトのデプロイはCapistranoを使用
45. 導入方針 新規のサーバからChefを導入 レシピ等コード管理はGithub管理 ユーザー作成・管理、初回のみ実行の標準的なミド ルウエアは引き続き既存のAnsibleを利用 既存のサーバも並行運用できるようにする Vagrantによる検証環境を活用 プロダクトのデプロイはCapistranoを使用 サーバ状態のテストはServerspecを使用
46. 構成 Workstation
47. 構成 Workstation レシピ作成 by Ruby
48. 構成 Workstation ローカル検証
49. 構成 Workstation ローカルテスト
50. 構成 Workstation Ansible 初期構築
51. 構成 Workstation Chef Server ノード登録 ＆レシピ適用
52. 構成 Workstation Serverspec テストツール
53. 構成 Workstation Github バージョン管理
54. 今後の展望
55. 今後の展望 API使用によるさくらのクラウド・AWSでのスケール アップ・スケールアウトの一括管理
56. 今後の展望 API使用によるさくらのクラウド・AWSでのスケール アップ・スケールアウトの一括管理 LDAP等のユーザー一括管理ツールとの併用 (Ansibleの置き換えを視野にいれて）
57. 今後の展望 API使用によるさくらのクラウド・AWSでのスケール アップ・スケールアウトの一括管理 LDAP等のユーザー一括管理ツールとの併用 (Ansibleの置き換えを視野にいれて） レシピの再利用性・共通化を進めて、社内インフ ラの見通しを良くする
58. 今後の展望 API使用によるさくらのクラウド・AWSでのスケール アップ・スケールアウトの一括管理 LDAP等のユーザー一括管理ツールとの併用 (Ansibleの置き換えを視野にいれて） レシピの再利用性・共通化を進めて、社内インフ ラの見通しを良くする JenkinsによるレシピのGithubコミット→テスト→ サーバ構築・適用までの統合管理化
59. 今後の展望 API使用によるさくらのクラウド・AWSでのスケール アップ・スケールアウトの一括管理 LDAP等のユーザー一括管理ツールとの併用 (Ansibleの置き換えを視野にいれて） レシピの再利用性・共通化を進めて、社内インフ ラの見通しを良くする JenkinsによるレシピのGithubコミット→テスト→ サーバ構築・適用までの統合管理化 Dockerを利用した開発環境のアプリの実行環 境管理(Immutable Infrastructure 不変なサーバ基盤 の実装）
60. インフラ構築~展望~
61. ローカル開発 インフラ構築~展望~ レシピ作成 by Ruby
62. ローカル開発 インフラ構築~展望~ ローカル検証
63. ローカル開発 インフラ構築~展望~ ローカル検証
64. ローカル開発 インフラ構築~展望~ Github バージョン管理
65. インフラ構築~展望~ Github Jenkins 通知
66. インフラ構築~展望~ Github Jenkins Workstation 指示
67. インフラ構築~展望~ Jenkins 仮想 環境 仮想 環境 仮想 環境 検証サーバ Workstation テスト環境構築
68. インフラ構築~展望~ Jenkins 仮想 環境 仮想 環境 仮想 環境 Serverspec 検証サーバ 検証
69. インフラ構築~展望~ Jenkins Workstation 構築指示
70. インフラ構築~展望~ Jenkins Chef Server Workstation 初期構築 ノード登録 ＆レシピ適用
71. インフラ構築~展望~ Jenkins Serverspec テスト指示
72. 開発環境配布 Chef Server
73. 開発環境配布 Chef Server Workstation 開発 環境
74. 開発環境配布 Chef Server Workstation 開発 環境
75. 開発環境配布 Chef Server Workstation 開発 環境
76. 開発環境配布 Chef Server Workstation 開発 環境
77. Infrastructure as CODEがもたらすもの
78. Infrastructure as CODEがもたらすもの 作業手順が全部コードになる。
79. Infrastructure as CODEがもたらすもの 作業手順が全部コードになる。 インフラもコードレビュー。チーム全体で共有。
80. Infrastructure as CODEがもたらすもの 作業手順が全部コードになる。 インフラもコードレビュー。チーム全体で共有。 インフラの継続的インテグレーション。頻繫なテ スト、品質チェックによる問題の早期発見。
81. Infrastructure as CODEがもたらすもの 作業手順が全部コードになる。 インフラもコードレビュー。チーム全体で共有。 インフラの継続的インテグレーション。頻繫なテ スト、品質チェックによる問題の早期発見。 アプリケーション開発で行われてきたいろいろな "ワークフロー" をインフラ作業の世界にも導入
82. 以上 https://github.com/AkimitsuHamaguchi https://github.com/croud-product https://github.com/hrix Members