ビッグデータ活用と環境に配慮した Microsoft Cloud

2022年時点での Microsoft Cloud の Datacenter としての堅牢性、セキュリティ、Sustainabilityの概略を紹介しています。
そして、それらを管理するためには Data が重要になります。その Data 扱うための Microsoft Fabric の概要・ハイライトを取り上げています。

探索型のデータ分析程、苦労をしますが、魅力的な現場はありません。その現場で、最新の Microsoft の Big Data ツールをお役立てください。

Transcript

1. ビッグデータ活用 と 環境に配慮した Microsoft Cloud 畠山 大有 | Daiyu Hatakeyama Architect && Software Engineer && Applied Data Scientist Microsoft Japan /dahatake @dahatake /in/dahatake /dahatake /dahatake /dahatake
2. データが ビジネスを動かす 新しい原動力になる
3. Datacenter 1.
4. 65+ Azure regions Regions coming soon Edge zones Network PoPs WAN links Ground stations Available regions 200+ datacenters worldwide 175k+ miles of fiber Network extends to space with Azure Orbital ground stations 190+ network PoPs
5. Microsoft Cloud と AI の信頼性 お客様のデータはお客様のもの データは高度なエンタープライズ コンプライアンス、セキュリティ制御によって 保護されます お客様のデータはAIモデルのトレーニングに 利用しません お客様管理の鍵で暗号化 VNET、RBAC Soc2, ISO, HIPPA, CSA STAR コンプライアンス
6. ⚫ Azure は、日本初のクラウド セキュリティ ゴールドマークの取得 (外部監査人による ISO 27017 認定)を始め、ISO 27018、 HIPAA、FedRAMP、SOC 1、SOC 2 などの、幅広い国際的および業界固有のコンプライアンス基準に適合しています。 米国防総省、英国政府での採用、日本の FISC などの国ごとの基準も満たしています。 ⚫ Azure DC は、ネットワーク レイヤに人工知能を用いた DDoS / DOS / IDS 防御機能を標準で備え、不正なトラフィックを 自動検知・遮断することができます。 ⚫ マイクロソフトは、サイバークライム センターを運営しています。サイバークライムセンターでは、24 時間の監視体制で、 １日５億件以上のトラフィックを分析し、マルウェアの情報/状況を把握するとともに、攻撃元の特定を行い、 セキュリティ関連団体、インターポールや各国の警察機関に情報を提供しています。 ⚫ サイバークライム センターは、米国本社の他、日本を含む世界５都市に拠点を展開しています。 世界最高レベルの安全性 6 サイバークライム センター
7. 多くの攻撃は、自分以外の誰かが先に受けている 脅威インテリジェンスの活用 自社が持っている攻撃データを分析するよりも、多くの組織のデータが集約されたデータを活用する方がはるかに合理的 マイクロソフト インテリジェント セキュリティグラフ 1日約24兆を超えるセキュリティ情報を分析
8. サイバーセキュリティのトレンド Microsoft デジタル防衛レポート 2022 | Microsoft Security
9. 国家主導型の 攻撃 重要インフラへの サイバー犯罪 ハイブリッドワークに おける対策強化 サプライチェーン、 IoT/OT セキュリティ サイバーセキュリティのトレンド
10. ランサムウェア遭遇デバイス数 : 企業のお客様 (Defender のデータ) サイバーセキュリティのトレンド ランサムウェアの遭遇件数は全体的に増加しており、RaaS が成長し始めた 2019年後半と、COVID-19 のパンデミックが始まった 2020年前半には 個人および企業での遭遇件数が顕著に急増 ランサムウェアに関する業種別の DART※ 契約数 ※ DART : Detection and Response Team, マイクロソフトによるお客様のサイバー攻撃被害の解決支援チーム • ランサムウェアの拡大 ・・・ この1年間で、自動化された攻撃ではなく、攻撃者が操作する ランサムウェアに破壊的に進化 (Human Operated ランサムウェア) • 日本も標的に ・・・ ランサムウェアの被害に遭った業種は消費者向け小売業がトップ (13%)、 国では米国を筆頭に、中国、日本、ドイツ、UAE と続く 重要インフラへの サイバー犯罪
11. • 攻撃の変化 ・・・ 古い認証プロトコルのブロック等のセキュリティ対策の強化によって ブルートフォース攻撃が減少、一方でフィッシングやマルウェアによる侵害が大幅に増加 • 多要素認証の活用不足 ・・・ 使用しているのは全ユーザーの 20％ • クラウドシフトの遅れ ・・・ 攻撃者は VPN やオンプレミスの古いシステムを標的としており、 セキュリティの侵入がより困難なクラウドにインフラを移行する必要性が強まっている 攻撃カテゴリー別の月間侵害ユーザー数 (2020年6月～2021年6月) OAuth リクエストの URL を利用したフィッシングメールの増加 ハイブリッドワークに おける対策強化 サイバーセキュリティのトレンド
12. データ を集めて 分かった事
13. Sustainability 2.
14. Carbon 2030年までに カーボンネガティブ Water 2030年までに ウォーターポジティブ Waste 2030年までに 廃棄物ゼロ Ecosystem プラネタリー コンピューターの構築 • 2025 年までに直接排出 量をほぼゼロにする • 2030 年までに スコープ 3 の排出量を 半分に削減する • 2050 年までに 創業以来のCO2 排出量を 削減する • 水の使用量を削減する • 水ストレスの 高い地域に水を補給する • より多くの水へのアクセスを 確保する • 水データのデジタル化 • Microsoft Circular Center でデバイスを 再利用および リサイクルする • 使い捨てプラスチックを 排除する • 従業員の参加により 廃棄物を減らす取り組み • ビッグデータとテクノロジーを 使用して自然界を監視、 モデル化、管理する • 2025年 までに使用する 土地よりも多くの土地を 保護する Microsoft Commitment
15. サステナブルなデータセンター 24時間 365日 稼働 データセンターの消費電力と風 力/水力発電所の供給量を 1 時間ごとに計測してマッチング 40 万トン削減 エスポーと近隣地域に断熱パイプを 通して排熱を伝送して CO2 排出量 を削減へ スウェーデン フィンランド (予定) 事例: How Microsoft’s new datacenter region in Sweden incorporates the company’s sustainability commitments 再生可能ディーゼル 従来と比較して CO2 排出量 を 45% 削減できる再生可能 ディーゼルの発電機を採用 カーボン フリー データセンターの排熱を空調や 給湯などに利用し、クリーンな 地域暖房の実現へ 事例: Microsoft announces intent to build a new datacenter region in Finland, accelerating sustainable digital transformation and enabling large scale carbon-free district heating 172 億ユーロ以上 フィンランドに 4 年間で €172 億の収益と 1.1 万人の IT 雇用を創出すると予測 Circular Center 機械学習でデータを安全に消 去したハードウェアを部品にし、 全社で 78％ をリサイクル 廃炉 エスポーにある Fortum 社の 最後の石炭を使用した 火力発電所の廃止に繋がると期待 水の使用量 90％ 削減 雨水を貯水してデータセンター の加湿に必要な水を供給する ことで水道の使用を削減
16. データセンターのサステナビリティを実現する イノベーション 95% 削減 50℃ で沸騰する特殊な液体 にサーバーを沈めて冷却すること で水の使用量を削減 8 倍の信頼性 水中での故障率は地上に比べ 1/8 のため、海底データセンター が有効であることを実証 液浸冷却 新しいサーバー冷却方法では、エネルギー消費を低減しながら、 高い処理能力を維持。水の消費量を削減するのにも役立つ 海底データセンター Project Natick では、水深 117 フィートの海底にデータセンターを 設置。2 年間、サーバーの性能と信頼性をテストし、監視した サーバー ブレード 誘電性流体 AI マイクロチップ 参考: Real tech ready to power 5 ~ 15％ 削減 液浸冷却により将来的にサーバー のエネルギー消費量を削減できると 予測 エネルギー効率 海中は常に温度が低いため、 エネルギー効率の高いデータ センターの設計が可能 事例: マイクロソフト、海底データセンターの信頼性、実用性、エネルギー消費の持続可能性を実証
17. 液体冷却 マイクロ- チャンネル コールドプレー 最初の 液浸 空冷 オリンパス 2回目の 液浸 : Olympus
18. 2022 Environmental Sustainability Report | Microsoft CSR
19. カーボンテーブル 1 2030年までのカーボンネガティブに向けた年間進捗状況の追跡 22年度は、カーボンニュートラルという年間カーボンコミットメントの達成に向けた取り組みの一環として、 144万トンを調達し、514,156トンの炭素除去を達成しました。毎年契約される炭素除去には、同じ年に廃止され、将 来廃止されるクレジットが含まれます。 19 カーボンテーブル 詳細については、 環境データファクトシートをご覧ください。 a. チャートは、最新の方法論、経営陣の基準指標、および構造変更調整を組み込んだ最新の実績値を反映するように更新されました。スコープ2 と3の値は、市場ベースであり、経営陣の基準指標です。 b. 2030年までにカーボンネガティブ:企業は、毎年排出するよりも多くの炭素を除去すると、カーボンネガティブになります。 カーボンテーブル 2 スコープ1、2、3にわたる排出量の追跡 マイクロソフトの全体的な排出量は、22 年度に 0.5% 減少しました。これは、当社の業務の改善、テレメトリベースの 測定、新しい再生可能エネルギーへの投資、持続可能な航空燃料の購入、およびバンドルされていない再生可能 エネルギー証明書(REC)の調達によって推進されました。 詳細については、 環境データファクトシートをご覧ください。 a. スコープ2と3の値は、市場ベースであり、経営陣の基準指標です。 b. FY20およびFY21の報告排出量は、社内再計算ポリシーに従って精度を向上させるために再計算されています。リースされたデータセンターの一部 について、以前に報告されていない電力を分解して特定できたのは、そのようなデータを取得する能力が向上したためです。
20. 20 カーボンテーブル カーボンテーブル 3 FY22スコープ3排出量の発生源別の内訳 Microsoft のスコープ 3 排出量は総排出量の 96% 以上を占めており、これらの排出量の大部分は、上流の 2 つのカテゴリ (購入商品とサービス (カテゴリ 1) と資本財 (カテゴリ 2)、 および下流の 1 つのカテゴリである販売製品の使用 (カテゴリ 11) からのものです。 詳細については、環境データファクトシートをご覧ください。 a. スコープ2と3の値は、市場ベースであり、経営陣の基準指標です。 スコープ3 スコープ 3 は、22 年度の Microsoft の年間排出量の 96% に相当します。スコープ3の排出量は、主に数万の サプライヤー(上流)の事業と、何百万ものお客様(下流) での製品の使用に起因します。 スコープ 3 の排出量を削減するには、Xbox デバイスや Surface ノート PC などの製品によって消費される電力と、 半導体から光ファイバー ケーブルまであらゆるものの製造 に使用される電力の両方に対応するために、Microsoft のバリュー チェーン全体で企業のクリーン エネルギー購入 を前例のない規模に拡大する必要があります。さらに、 スコープ3への取り組みは、データセンターで使用される 鉄鋼、コンクリート、その他の建材、出張や物流用の ジェット燃料など、削減が困難な産業の脱炭素化を意 味します。
21. データ を集めて 分かった事
22. Data Analytics 3.
23. 測定できないものは 管理できない Record Report | Share Run Business 2023年6月15日 14:00時点
24. System of Record 起票 承認 転記 Data Workflow Actor 実取引 Sales 従業員 管理者 System of Insight 知る 必要に 探す 購買 Payment どういう人? どこで? どこで? どうやって? なぜ? 配送 根拠に基づく世界=正解に近い 仮説の域を出にくい世界 正解のある世界 と 無い世界 演繹的アプローチ 帰納的アプローチ 顧客
25. 自分たちで作るコトの価値 ビジネス要件は仮説 仮説測定の仮KPI設定 仮KPI測定の為の Proof of Concept 自前であれば、早いし、アプリは捨てやすい 記録・データは残す 人に Know-How が蓄積 Feedback を基に 素早く 軌道修正
26. “Data Warehouse” という言葉は 1970年代には あったそうで… Source: Data warehouse - Wikipedia
27. 未だ解決していない? 既存の Data Warehouse 頻繁な技術の進化 進まないデータ利活用 セキュリティ・ガバナンス 専門家の必要性 困難なリスキリング 膨れ上がるコスト 組織・会社間の調整 膨大なエンティティ コンピューティング能力 不足 ベンダーロックイン などなど…
28. ”簡潔に言うと、私は最高データ責任者であり、 最高統合責任者にはなりたくありません。” - すべてのCDO、すべてのエンタープライズ企業
29. Microsoft Fabric 次世代 データプラットフォーム データ 統合 Data Factory データ エンジニアリング Synapse データ ウェアハウス Synapse データ サイエンス Synapse リアルタイム 分析 Synapse ビジネス インテリジェンス Power BI 統合データ基盤 OneLake 永続的なデータガバナンスとセキュリティ Microsoft Purview リアルタイム 検出と監視 Data Activator Copilot Microsoft Fabric Copilot その他の ADLS互換性のある アプリケーション Databricks Azure HDI マルチクラウド | ハイブリット 単独でも使える点を 忘れずに!
30. 完全な Analytics Platform 全てが統合 SaaS 化 Azure OpenAI データに関する全てのワークフローをカバー Professional から 従業員 まで Lake 中心 かつ Open OneLake One Copy 常に同期 すべてのオフィス ユーザーに力を 親しみやすく直感的 Office 組み込み 洞察から行動へ 広範なセキュリティと ガバナンス エンドツーエンドの可視性 常に管理 Secure by default 次世代の Analytics Platform
31. 発表 Copilot in Microsoft Fabric
32. あなたの言葉で、あなたのデータと会話し、 あなたのデータだからこそ、 あなたのことを理解してくれます それが Microsoft abric AI Copilot
33. 最後に 3.
34. いわゆる「業務の記録」 がいまだに多い （出典）総務省（2020）「デジタルデータの経済的価値の計測と活用の現状に関する調査研究」 https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r02/html/nd132110.html 日本の データ 活用状況の “実態”
35. 日本が Software と データ を 自在に扱える 武器にすれば 無敵じゃね?😎
36. データが ビジネスを動かす 新しい原動力になる
37. Data Center Home - Microsoft Datacenters Sustainability 2030 年に向かって: マイクロソフト 2022 年環境サステナビリティ レポート - News Center Japan (microsoft.com) Microsoft の持続可能性 - 持続可能な未来のための製品 Data Analytics Microsoft Fabric のドキュメント - Microsoft Fabric | Microsoft Learn Financial Solutions 金融サービスに Azure | Microsoft Azure 更に深く知るために
38. © Copyright Microsoft Corporation. All rights reserved. Invent with purpose.