Upgrade to Pro — share decks privately, control downloads, hide ads and more …

20250307 雲端原生:引領數位轉型與永續的雙贏之道

20250307 雲端原生:引領數位轉型與永續的雙贏之道

Phil Huang

March 06, 2025
Tweet

More Decks by Phil Huang

Other Decks in Technology

Transcript

  1. 3 Photo by Rolf van Root on Unsplash 2020 年時就已經採用

    7,500 個 節點 https://openai.com/index/scaling-kubernetes-to-7500-nodes/
  2. 4 1,920 張 NVIDIA H100-80G 21 天 連續訓練 9.8 T

    Tokens 想要訓練出類同 Microsoft Phi-4 (14B) 的 Small Language Model (SLM)? 你需要... https://huggingface.co/microsoft/phi-4
  3. 5 Phil Huang 黃秉鈞 • CNCF Ambassador 雲原生基金會大使 • Cloud

    Native Taiwan User Group 成員 • Microsoft 資深雲端解決方案架構師
  4. 6 何謂 Cloud Native Computing Foundation (CNCF)? 1. 雲原生計算基金會:是 Linux

    Foundation 旗下的一個非營利組織,致力推動雲原生技術 的普及,讓軟體能靈活運行於現代雲端環境 2. 建立開源生態系統:該基金會以供應商中立 (Vendor Neutral) 的態度,支援並託管多個 知名開源專案,如 Kubernetes 與 Prometheus,以促進全球技術生態的健康發展 3. 推動標準化與最佳實踐:為雲原生技術制定統一的定義、 API 規範以及最佳實踐,確保各大 專案或產品之間互相操作性高、部署與管理更簡便
  5. 8 永續議題與 AI • 法規治理要求 ◦ 歐洲能源效率指令 (EED) 將會要求透明的 資訊中心能源效率報告

    ◦ 歐洲人工智慧法案 (EU AI Act) 要求訓練模 型的能源/碳足跡報告 • 自 2012 年來,AI 訓練所運用的算力每 3.43 個月 就會翻倍,到 2018 年,AI 算力需求增長了 30 萬 倍 ◦ OpenAI GPT-4 使用 1.7 Trillion 參數和 13 Trillion Tokens,耗時 100 天,使用 25,000 NVIDIA A100 GPU.估計訓練期 間的能源消耗為 50 GWh,考慮到台灣每 戶每年耗電量為 4,056 kWh,大概可滿足 台灣家庭相當於 12,500 戶每年用電左右
  6. 10 永續議題對 CNCF 來說非常重要 CNCF 專門成立一個子組別 Environmental Sustainability 進 行相關議題探討和開發

    主要關注議題: 1. 資源優化:採用雲原生技術如 Kubernetes 調度資源技術和 其他 CNCF 可觀測專案通過最佳化資源使用,針對 Power Usage Effectivenss (PUE)、Water Usage Effectiveness (WUE)、Carbon Usage Effectiveness (CUE) 進行數據持續性觀測 2. 成本節約:永續實踐通常與效率提升和成本節約相關,具有相 當直接的經濟效益 3. 風險管理:透過穩定的綠色能源 (Green Power)、再生水資 源等永續措施,企業可以在日益嚴峻的氣候變遷挑戰下維持 正常營運降低能源供給不足的營運風險
  7. © 2023 Cloud Native Computing Foundation 12 選擇資料中心的區域其實也可以影響碳排變化 Img: https://www.accton.com.tw/design-and-development/

    Ref: How Microsoft measures datacenter water and energy use to improve Azure Cloud sustainability | Azure Blog | Microsoft Azure • Green Power: 主要為再生能源 (Renewable Energy),來源為光 > 風 > 水 > 廢棄物 > 地熱 • Power Usage Effectiveness (PUE): 用電效率, 數字越接近 1 越好,現行 Microsoft 全球資料中心平 均為 1.18,其他多數都在 1.3x ~ 1.5x 左右 • Water Usage Effectiveness (WUE): 用水效率, 單位為 L/kWh,現行 Microsoft 全球資料中心平均 為 0.30 L/kWh • Carbon Usage Effectiveness (CUE): 用碳效率, 單位為 kgCO2/kWh
  8. 13 CNCF 與其他永續組織的合作 • Green Software Foundation (GSF) ◦ Software

    Carbon Intensity (SCI) Specificiation • Linux Foundation Energy (LF Energy) • Cloud Carbon Footprint • Energy Efficient High Performance Computing Working Group (EE HPC WG) • Open Compute Project (OCP)
  9. 14 Green Software Foundation (GSF) 推動規格 ISO 標準 化 ISO/IEC

    21031:2024 • 比較不同軟體或程式的環境影響: 比較具 有相同功能的多個軟體在使用時對環境的 影響 • 評估軟體修改的碳影響:評估對軟體進行 變更後對碳排放量的影響 • 適用於各類軟體:包含 AI 等 LLM 之應用 估算
  10. 16 Kubernetes 與永續性議題的結合 • 資源最適化與自動調整:Kubernetes 能夠基於特定條件下 進行動態縮放資源、自動擴縮容容器 (Container) 負載,可在 非高峰時段自動關閉或調整資源大小,達到節能效果

    • 現代服務容器化:相較於單一服務放置於裸機、虛擬機上,透 過 Kubernetes 管理的容器化環境能夠更有效率地處理雲端 資源,提升整體能源執行效率 • 採用多種 CNCF 永續性應用工具:CNCF Kepler、 Carbon-Aware KEDA Operator 、KubeGreen 等
  11. 17 KubeGreen • 專為雲原生平台設計的專案:一個專為 Kubernetes 設計的工具,能在非高峰時段暫 停 不必要的工作負載,顯著降低能源消耗 • 自動暫停閒置資源:KubeGreen

    能夠在非工作 時間 (如夜間或週末) 自動暫停不需要運行的 Kubernetes 資源,藉此避免資源浪費 • 降低能源消耗與碳排放:透過自動關閉閒置資源 ,KubeGreen 減少了不必要的運算負載,從而 降低電力消耗並大幅減少 CO2 排放 https://kube-green.dev/docs/FAQ/#how-many-co2-is-produced-by-pod
  12. 18 KubeGreen Demo https://kube-green.dev/docs/FAQ/#how-many-co2-is-produced-by-pod apiVersion: kube-green.com/v1alpha1 kind: SleepInfo metadata: name:

    working-hours spec: weekdays: "1-5" sleepAt: "20:00" wakeUpAt: "08:00" timeZone: "Asia/Taipei" suspendCronJobs: true excludeRef: - apiVersion: "apps/v1" kind: Deployment name: api-gateway 平時約略 12 台 Kubernetes 節點在運行 離峰狀態約略 8 台 Kubernetes 節點在運行, 約可節省 33 % 左右的成本
  13. 19 Kepler • 精確能源監控技術:Kepler 利用 eBPF 技術 和 CPU 性能計數器,能夠在

    Kubernetes 環境中及時捕捉各項系統運作數據,從而精確 估算個工作服仔的電力消耗 • 深度整合 Kubernetes 與 Prometheus:Kepler 能夠將捕捉到的能耗 數據,以 Promtheus 兼容格式輸出,使監 控、調度與自動化擴展更加無縫和高效 • 支援能源優化與可持續發展決策: 透過持續監 測和數據分析,Kepler 能幫助使用者帳喔系 統全局電力消耗狀況,進而調整資源分配,降 低碳排放 https://kube-green.dev/docs/FAQ/#how-many-co2-is-produced-by-pod 每一個 Pod 運行的能源消耗量
  14. 21 結語 • 採用 Kubernetes 作為數位轉型核心引擎:Kubernetes 作為容器編排平台,能最佳化 統合容器化後的微服務,提供企業彈性且高效的基礎架構支援 • 考慮新增軟體碳排強度

    (SCI) 作為評估軟體執行效率因子之一: 基於國際化標準 ISO/IEC 21031:2024 開始進行評估及建立基礎量測數 值 • 多參與開源軟體的應用及分享: 如導入 KubeGreen、Kepler 等雲原生專案,並持續於 CNCF 社群上分享經驗