Upgrade to Pro — share decks privately, control downloads, hide ads and more …

クラウドが発展しようと、インフラエンジニアの食い扶持はあるぞというお話

 クラウドが発展しようと、インフラエンジニアの食い扶持はあるぞというお話

Kixs Vol.009にて飛び入りで発表したネタです。
本来はふくあずに備えて作ってたものですが、ここで話しても面白そうな気がしたので発表してみた感じです。
主に、クラウドコンポーネントでインフラ観点がないと危ないポイントを纏めています。

localYouser

April 24, 2019
Tweet

More Decks by localYouser

Other Decks in Technology

Transcript

  1. BLUECORE.NET
    Home IT infrastructure hobbyist
    本当にクラウドが広まったら
    インフラエンジニアはオワコンなのだろうか?
    最近そういう若人が増えたよね
    2019/04/24 第二版
    BLUECORE.NET/localYouser/Yuichi Tominaga
    <(_ _)>
    ドーゾヨロシクオナシャース

    View full-size slide

  2. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    自己紹介
     ろーかるゆーざー(localYouser)/ Yuichi Tominaga:40歳
     2003年より社会人になり、以降ITインフラ系一本で生きております
     九州在住のITオンプレ専門インフラエンジニア(?)をやって〼。
     @[email protected]と言うアカウントでMastodonというSNSやってます
     Webサイトは https://www.bluecore.net

    View full-size slide

  3. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    構成例:Azureに絞った構成概要図
    Microsoft Backbone
    EASTUS GLOBAL
    Public IP
    (DNAT)
    Public IP
    (DNAT)
    Internet
    JPWEST
    P2S VPN
    (L2TP/IPsec)
    S2S VPN
    (IPsec/IKEv2)
    踏み台兼Proxy
    試験用IDS
    AppGw
    VPNGw
    統合ストレージ
    Functions用
    ストレージ
    権威DNS
    アプリ勉強用
    SQL Server
    アプリ勉強用
    WebApps
    アプリ勉強用
    Functions
    アラート
    KeyVault
    Azure AD
    Sec Center Portal
    Traffic
    Manager
    CDN
    至:本番環境(BBIQ:100Mbps)
    至:DR環境(BBIQ:100Mbps)
    ※筆者予算都合により
    規模縮小している可能性があります

    View full-size slide

  4. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    最近よく聞く言葉
    インフラ屋は東京にしか仕事がなくなる
    クラウドが流行ると・・・・・・・
    今時ネットワークの構築とかwwww
    ・・・・・・・・とか
    OSとか意識しなくても楽勝ww

    View full-size slide

  5. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET

    View full-size slide

  6. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    クラウド->思ったより簡単ではない
     インフラを知らずに構築は危ない
     PaaSは基本的にインターネットから繋がるアドレス群でアクセスを行う
     どことどこ通信してるかわかってる・・・?
     設備仕様の都合でできることとできないことがある
     結局物理的に動いてるのは、サーバ・ストレージ・スイッチ・データセンタ・受電設
    備・・・
    地方インフラエンジニアが、
    数件のAzure案件やって
    まだまだインフラで飯食えるぞこれ
    と感じたことを書いてみようかと

    View full-size slide

  7. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    例えば
    ・・・・・・・ネットワーク

    View full-size slide

  8. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    Microsoft Azureのネットワーク
    これまでの常識では理解しづらいネットワーク特性がある。
    ただ、予め一定の素養があると食いつきやすい。既存ネットワークの常識を一度外して考
    える必要はある。
    経路制御は全体的にBGPとStatic Routeが使用される。
    VNET Peering/Express RouteにおけるPrivate Peering, Microsoft Peering等
    UDRはStaticRouteだね。
    原則ICMPに疎通許可は出してない。
    ゲートウェイやサービスエンドポイントに対してpingを打ってもTracerouteを打っても意
    味がないので、サービス単位で確認方法を探る必要がある。
    VM上のファイアウォールソフトウェアは止まってる。
    NSGで制御する前提になっている。ソッチのほうが楽なので、おとなしく従うが吉。
    我々がほんとうの意味で触れるのは表層だけ。
    我々が見ることすらできない内部ネットワークがあり、そこに対する制御は不可。
    従来ネットワーク構成との違いを
    説明できるコーディネータになればいい

    View full-size slide

  9. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    IaaSのパーツ構成
     例えばAppGateway。
     インタフェース、実は一つ。
     グローバル側の出口はPublic IPの持つNAT機能で担保
     NSGを組む際は、中を流れるネットワークは全部プライベートIP(NATの内側)
     そのことを前提にフィルタリングルールを書かないと何も意味をなさなくなる
    Public IP
    (DNAT)
    Microsoft Backbone
    Application
    Gateway
    (V1/SKU:S)
    VNET
    +Routing Table
    VPN Gateway
    Public IP
    (DNAT)
    Microsoft Backbone
    Application
    Gateway
    (V1/SKU:S)
    VNET
    +Routing Table
    VPN Gateway
    こうじゃない こう。

    View full-size slide

  10. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    VNETの構造を紐解いてみる
    default via 172.30.100.1 dev eth0
    168.63.129.16 via 172.30.100.1 dev eth0 proto static
    169.254.0.0/16 dev eth0 scope link metric 1002
    169.254.169.254 via 172.30.100.1 dev eth0 proto static
    172.30.100.0/24 dev eth0 proto kernel scope link src 172.30.100.5
    ip rコマンドの結果
    gateway (172.30.100.1) at 12:34:56:78:9a:bc [ether] on eth0
    arpコマンドの結果
    Subnet A
    Subnet B
    Gateway Subnet
    リージョン内NW
    リージョン間NW
    Microsoft
    Backbone内
    どうやら、VNET単位で
    見えざるゲートウェイが
    居るらしい
    .1
    .1
    .1
    ルートテーブル
    との関連付け
    ・・・・・!?
    VPN Gateway
    VirtualMachine
    Endpoint
    Resources

    View full-size slide

  11. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    その他VNETの特性
    L2制御はAzure Network Fabricが完全に制御しているようだ。
    MACアドレスが12:34:56:78:9a:bcになってるのは、OSに対する偽装目的もあるよ
    うだ。
    代わりに制約もある。
    Azureのネットワークはマルチキャスト/ブロードキャストができない。
    ⇒VRRPはUnicastモードにしないと使えない。
    IPアドレス設定はDHCP配布が大前提。
    ⇒サーバローカルでIPアドレス変更すると、そのまま疎通断に。

    View full-size slide

  12. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    DDoS対策とかしてるの?
     DDoS プロテクションFree版が全ユーザ実装されているはず
     無償かつ強制
     恐らくは、Azureプラットフォーム最前段にいると予想される。
     パケット監視してます、DDoS止めます、でも一切通知とかしません・・というもの。
     通知ほしければ、モニタリングしたければ有償のStandardを・・・(・・・高いよ)
    DDoSシステムは一般的に超高価。なので、個人的には非常にありがたい。
    Internet
    DDoS Protection
    Firewall等

    View full-size slide

  13. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    ExpressRouteで完全閉域にできる?
     パーツ自体としてはある程度あり。だが、原則完全閉域は不可能。
     それ以前にAzurePortalがインターネットアクセスなしには動かない。
     というよりは表示が崩れる。多分。
    原因はMicrosoftが結構CDNに頼ってること
    PaaS
    IaaS
    Express Route
    Private Peer
    Microsoft Peer
    Internet Access

    View full-size slide

  14. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    例えば
    ・・・・・・・PaaS

    View full-size slide

  15. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    Microsoft AzureのPaaS
    作るのは簡単。スケールも簡単。だがセキュリティが辛い。
    スケール設定が簡単であることについては、正直衝撃を受けた。
    グローバルアドレスでやり取りしてナンボの構造。Isolated(ASE)プランを除き、セ
    キュリティに対して意識させないよう構成しているように見える。。。
    が、それだけじゃ困るよ。マジで。
    セキュリティは現状、IP制限で耐えしのぐしかないが、AppServiceを使用する限り、
    Azure Storageがセキュリティネックになってしまう(詳細は後述)
    仕様の頻繁な変更に追従しつつ
    セキュリティ鉄板構成が組めるようになれば、存在価値は上がる
    デプロイ時など、ユーザが意識しない処理における
    通信の流れ・方向がつかめると、更に価値は上がると思う。

    View full-size slide

  16. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    知らないとまずいこと
    リージョン内NW
    Azure Storage
    (同一リージョン)
    リージョン間
    ネットワーク
    Azure Storage
    (異なるリージョン)
    送信IP
    受信IP
     App Serviceの制約
     我々から見えない「リージョン内部アドレス」というのがある
     AppServiceの受信IPアドレス、送信IPアドレス、それぞれ異リージョン
    もしくはインターネットへ出入りする際に使用される
     リージョン内部アドレスは非公開、動的
    つまり、Storageに
    IPアドレス制限ができない
    回避方法はIsolatedプラン(ASE)を使用するか、
    新型VNET統合を使うかの二択しかない
    特にFunction、ローカルスト
    レージにBLOBをもろに使うため、
    IP制限かけると起動不能に。

    View full-size slide

  17. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    現実的な方策とは?
     正直、「運用をがっちり固める」ぐらいしか思いつかない。
     アクセスキーの完全な隠蔽
     基本、アクセスキーをそのまま使わない
     アクセスキーしか許容しないような腐ったシステムはそもそも採用しない(ないと思うけど)
     SASの徹底活用
     アクセスキーをもとに作られる、様々な権限の設定・期限設定が可能なトークン
     Storage Explorerでも作ることができる。(対象BLOBコンテナを右クリック)
     AppServiceが直接触るAzure Storage IP制限は一切かけない
     (というか、かけられない)
     これは、HTTP/HTTPS/FTP/CIFSいずれに対しても言えること。
     逆に言えば、AppServiceが全く触れないStorageはIP制限をかけることができるという
    ことになる。

    View full-size slide

  18. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    例えば
    ・・・・・・・SaaS

    View full-size slide

  19. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    CDN
     VerizonプランのSSLモードのデフォルト設定が「IP Binding」。
     つまりは、FQDNとSSL証明書が1つずつであることが前提
     オリジンサイトにAppGatewayを配置し、マルチサイト構成とした場合は注意。
     この場合、「SNI Binding」になる。
     何も知らずに設定しただけだと、502エラーが返ってくる。
     対応策としては、SSLバインド方式をSNIにしてもらうようお願いすること
    Azure Portalやazコマンド等では制御できない部分がある
    ということが理解するのは、インフラ寄りエンジニアのほうがより容易

    View full-size slide

  20. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    例えば
    ・・・・・・・保守

    View full-size slide

  21. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    OEMなリソースには注意を
     CDN(Microsoft Standard以外)
     Linux OS
     SAP on Azure
     OSS製品全般
     Oracleアプリケーション
    参考:https://blogs.msdn.microsoft.com/dsazurejp/2015/03/01/azure-2/
    Microsoftはエスカレーションだけ
    OSSに対してはサポートしない
    英語サポートしかしないケースも多い
    CDNで問い合わせをしたときは・・・・
    ⚫ MSは、問題の切り分けまでは手伝ってくれるし、ログ解析もしてくれる。
    ⚫ が、設定の変更などについては、MS中継&VDMS(Verizon Digital Media Services
    社)への依頼をすることになる。
    ⚫ VDMSに対する問い合わせ文は、自ら作成する必要がある。
    ⚫ あとのやり取りは、Microsoft側のサポートエンジニアが対応してくれる。
    MS側のサポートの対応自体はとっても丁寧
    ただ、エンドユーザ側がこの対応で納得するとも思えない

    View full-size slide

  22. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    というわけで、
     Microsoftと顧客の間に立って、正確に解釈でき、伝達できる人材は必要不可欠。
     保守を安定させるには、関連製品に対して一丸となって対応できる体制づくりが必要。
     連携の取れ、冷静に対処できるには、やっぱしインフラ技術要素が不可欠なように思う。
     厳密な部分で異なるところは大きいが、その異なる部分を理解できるのはインフラエンジニ
    アが一番近いところにいるんじゃないだろうか?

    View full-size slide

  23. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    安心しろ!
    まだまだ俺たちは飯が食えそうだ!

    おお
    おおおおあああああああ!

    View full-size slide

  24. Home IT infrastructure hobbyist -BLUECORE.NET
    Home IT infrastructure hobbyist -BLUECORE.NET
    教訓
    <(_ _)>
    ドーモアジャッシター
    インフラエンジニアが飯食うための種はまだまだある
    ただ・・・・・
    一体俺はいつになったら楽になるんだろう・・
    継続的な勉強が
    必須!
    そう、それは辛くて長いマラソンを延々やるようなもの・・・・(吐血)

    View full-size slide