クラウドが発展しようと、インフラエンジニアの食い扶持はあるぞというお話

Kixs Vol.009にて飛び入りで発表したネタです。
本来はふくあずに備えて作ってたものですが、ここで話しても面白そうな気がしたので発表してみた感じです。
主に、クラウドコンポーネントでインフラ観点がないと危ないポイントを纏めています。

Transcript

1. BLUECORE.NET Home IT infrastructure hobbyist 本当にクラウドが広まったら インフラエンジニアはオワコンなのだろうか？ 最近そういう若人が増えたよね 2019/04/24 第二版 BLUECORE.NET/localYouser/Yuichi Tominaga <(_ _)> ﾄﾞｰｿﾞﾖﾛｼｸｵﾅｼｬｰｽ
2. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET 自己紹介  ろーかるゆーざー(localYouser)/ Yuichi Tominaga：40歳  2003年より社会人になり、以降ITインフラ系一本で生きております  九州在住のITオンプレ専門インフラエンジニア（？）をやって〼。  @localadms@social.bluecore.netと言うアカウントでMastodonというSNSやってます  Webサイトは https://www.bluecore.net
3. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET 構成例：Azureに絞った構成概要図 Microsoft Backbone EASTUS GLOBAL Public IP (DNAT) Public IP (DNAT) Internet JPWEST P2S VPN (L2TP/IPsec) S2S VPN (IPsec/IKEv2) 踏み台兼Proxy 試験用IDS AppGw VPNGw 統合ストレージ Functions用 ストレージ 権威DNS アプリ勉強用 SQL Server アプリ勉強用 WebApps アプリ勉強用 Functions アラート KeyVault Azure AD Sec Center Portal Traffic Manager CDN 至：本番環境(BBIQ:100Mbps) 至：DR環境(BBIQ:100Mbps) ※筆者予算都合により 規模縮小している可能性があります
4. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET 最近よく聞く言葉 インフラ屋は東京にしか仕事がなくなる クラウドが流行ると・・・・・・・ 今時ネットワークの構築とかwwww ・・・・・・・・とか OSとか意識しなくても楽勝ww
5. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET
6. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET クラウド->思ったより簡単ではない  インフラを知らずに構築は危ない  PaaSは基本的にインターネットから繋がるアドレス群でアクセスを行う  どことどこ通信してるかわかってる・・・？  設備仕様の都合でできることとできないことがある  結局物理的に動いてるのは、サーバ・ストレージ・スイッチ・データセンタ・受電設 備・・・ 地方インフラエンジニアが、 数件のAzure案件やって まだまだインフラで飯食えるぞこれ と感じたことを書いてみようかと
7. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET 例えば ・・・・・・・ネットワーク
8. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET Microsoft Azureのネットワーク これまでの常識では理解しづらいネットワーク特性がある。 ただ、予め一定の素養があると食いつきやすい。既存ネットワークの常識を一度外して考 える必要はある。 経路制御は全体的にBGPとStatic Routeが使用される。 VNET Peering/Express RouteにおけるPrivate Peering, Microsoft Peering等 UDRはStaticRouteだね。 原則ICMPに疎通許可は出してない。 ゲートウェイやサービスエンドポイントに対してpingを打ってもTracerouteを打っても意 味がないので、サービス単位で確認方法を探る必要がある。 VM上のファイアウォールソフトウェアは止まってる。 NSGで制御する前提になっている。ソッチのほうが楽なので、おとなしく従うが吉。 我々がほんとうの意味で触れるのは表層だけ。 我々が見ることすらできない内部ネットワークがあり、そこに対する制御は不可。 従来ネットワーク構成との違いを 説明できるコーディネータになればいい
9. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET IaaSのパーツ構成  例えばAppGateway。  インタフェース、実は一つ。  グローバル側の出口はPublic IPの持つNAT機能で担保  NSGを組む際は、中を流れるネットワークは全部プライベートIP(NATの内側)  そのことを前提にフィルタリングルールを書かないと何も意味をなさなくなる Public IP (DNAT) Microsoft Backbone Application Gateway (V1/SKU:S) VNET +Routing Table VPN Gateway Public IP (DNAT) Microsoft Backbone Application Gateway (V1/SKU:S) VNET +Routing Table VPN Gateway こうじゃない こう。
10. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET VNETの構造を紐解いてみる default via 172.30.100.1 dev eth0 168.63.129.16 via 172.30.100.1 dev eth0 proto static 169.254.0.0/16 dev eth0 scope link metric 1002 169.254.169.254 via 172.30.100.1 dev eth0 proto static 172.30.100.0/24 dev eth0 proto kernel scope link src 172.30.100.5 ip rコマンドの結果 gateway (172.30.100.1) at 12:34:56:78:9a:bc [ether] on eth0 arpコマンドの結果 Subnet A Subnet B Gateway Subnet リージョン内NW リージョン間NW Microsoft Backbone内 どうやら、VNET単位で 見えざるゲートウェイが 居るらしい .1 .1 .1 ルートテーブル との関連付け ・・・・・！？ VPN Gateway VirtualMachine Endpoint Resources
11. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET その他VNETの特性 L2制御はAzure Network Fabricが完全に制御しているようだ。 MACアドレスが12:34:56:78:9a:bcになってるのは、OSに対する偽装目的もあるよ うだ。 代わりに制約もある。 Azureのネットワークはマルチキャスト/ブロードキャストができない。 ⇒VRRPはUnicastモードにしないと使えない。 IPアドレス設定はDHCP配布が大前提。 ⇒サーバローカルでIPアドレス変更すると、そのまま疎通断に。
12. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET DDoS対策とかしてるの？  DDoS プロテクションFree版が全ユーザ実装されているはず  無償かつ強制  恐らくは、Azureプラットフォーム最前段にいると予想される。  パケット監視してます、DDoS止めます、でも一切通知とかしません・・というもの。  通知ほしければ、モニタリングしたければ有償のStandardを・・・(・・・高いよ) DDoSシステムは一般的に超高価。なので、個人的には非常にありがたい。 Internet DDoS Protection Firewall等
13. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET ExpressRouteで完全閉域にできる？  パーツ自体としてはある程度あり。だが、原則完全閉域は不可能。  それ以前にAzurePortalがインターネットアクセスなしには動かない。  というよりは表示が崩れる。多分。 原因はMicrosoftが結構CDNに頼ってること PaaS IaaS Express Route Private Peer Microsoft Peer Internet Access
14. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET 例えば ・・・・・・・PaaS
15. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET Microsoft AzureのPaaS 作るのは簡単。スケールも簡単。だがセキュリティが辛い。 スケール設定が簡単であることについては、正直衝撃を受けた。 グローバルアドレスでやり取りしてナンボの構造。Isolated(ASE)プランを除き、セ キュリティに対して意識させないよう構成しているように見える。。。 が、それだけじゃ困るよ。マジで。 セキュリティは現状、IP制限で耐えしのぐしかないが、AppServiceを使用する限り、 Azure Storageがセキュリティネックになってしまう(詳細は後述) 仕様の頻繁な変更に追従しつつ セキュリティ鉄板構成が組めるようになれば、存在価値は上がる デプロイ時など、ユーザが意識しない処理における 通信の流れ・方向がつかめると、更に価値は上がると思う。
16. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET 知らないとまずいこと リージョン内NW Azure Storage (同一リージョン) リージョン間 ネットワーク Azure Storage (異なるリージョン) 送信IP 受信IP  App Serviceの制約  我々から見えない「リージョン内部アドレス」というのがある  AppServiceの受信IPアドレス、送信IPアドレス、それぞれ異リージョン もしくはインターネットへ出入りする際に使用される  リージョン内部アドレスは非公開、動的 つまり、Storageに IPアドレス制限ができない 回避方法はIsolatedプラン(ASE)を使用するか、 新型VNET統合を使うかの二択しかない 特にFunction、ローカルスト レージにBLOBをもろに使うため、 IP制限かけると起動不能に。
17. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET 現実的な方策とは？  正直、「運用をがっちり固める」ぐらいしか思いつかない。  アクセスキーの完全な隠蔽  基本、アクセスキーをそのまま使わない  アクセスキーしか許容しないような腐ったシステムはそもそも採用しない(ないと思うけど)  SASの徹底活用  アクセスキーをもとに作られる、様々な権限の設定・期限設定が可能なトークン  Storage Explorerでも作ることができる。(対象BLOBコンテナを右クリック)  AppServiceが直接触るAzure Storage IP制限は一切かけない  （というか、かけられない）  これは、HTTP/HTTPS/FTP/CIFSいずれに対しても言えること。  逆に言えば、AppServiceが全く触れないStorageはIP制限をかけることができるという ことになる。
18. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET 例えば ・・・・・・・SaaS
19. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET CDN  VerizonプランのSSLモードのデフォルト設定が「IP Binding」。  つまりは、FQDNとSSL証明書が1つずつであることが前提  オリジンサイトにAppGatewayを配置し、マルチサイト構成とした場合は注意。  この場合、「SNI Binding」になる。  何も知らずに設定しただけだと、502エラーが返ってくる。  対応策としては、SSLバインド方式をSNIにしてもらうようお願いすること Azure Portalやazコマンド等では制御できない部分がある ということが理解するのは、インフラ寄りエンジニアのほうがより容易
20. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET 例えば ・・・・・・・保守
21. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET OEMなリソースには注意を  CDN(Microsoft Standard以外)  Linux OS  SAP on Azure  OSS製品全般  Oracleアプリケーション 参考：https://blogs.msdn.microsoft.com/dsazurejp/2015/03/01/azure-2/ Microsoftはエスカレーションだけ OSSに対してはサポートしない 英語サポートしかしないケースも多い CDNで問い合わせをしたときは・・・・ ⚫ MSは、問題の切り分けまでは手伝ってくれるし、ログ解析もしてくれる。 ⚫ が、設定の変更などについては、MS中継＆VDMS(Verizon Digital Media Services 社)への依頼をすることになる。 ⚫ VDMSに対する問い合わせ文は、自ら作成する必要がある。 ⚫ あとのやり取りは、Microsoft側のサポートエンジニアが対応してくれる。 MS側のサポートの対応自体はとっても丁寧 ただ、エンドユーザ側がこの対応で納得するとも思えない
22. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET というわけで、  Microsoftと顧客の間に立って、正確に解釈でき、伝達できる人材は必要不可欠。  保守を安定させるには、関連製品に対して一丸となって対応できる体制づくりが必要。  連携の取れ、冷静に対処できるには、やっぱしインフラ技術要素が不可欠なように思う。  厳密な部分で異なるところは大きいが、その異なる部分を理解できるのはインフラエンジニ アが一番近いところにいるんじゃないだろうか？
23. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET 安心しろ！ まだまだ俺たちは飯が食えそうだ！ う おお おおおおあああああああ！
24. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET 教訓 <(_ _)> ﾄﾞｰﾓｱｼﾞｬｯｼﾀｰ インフラエンジニアが飯食うための種はまだまだある ただ・・・・・ 一体俺はいつになったら楽になるんだろう・・ 継続的な勉強が 必須！ そう、それは辛くて長いマラソンを延々やるようなもの・・・・(吐血）