世界最強のOSSコミッター企業・Alibaba Cloudはなぜデータに強いのか

世界3位のクラウドサービス・Alibaba Cloudがなぜデータ処理や分析に強いのか、なぜAlibaba GroupやAlibaba Cloudが優れているのかをご紹介します。

Transcript

1. 世界最強のOSSコミッター企業・ Alibaba Cloudはなぜデータに強いのか 2021年10月26日 大原陽宣
2. 世界でみるクラウドサービス 2
3. クラウドサービス利用状況で「中国」は世界で2位 3
4. Alibaba Cloudが展開しているRegion/Zone 4 US West (Silicon Valley) US East (Virginia) Europe (London) Europe (Frankfurt) Middle East (Dubai) Asia Pacific (Singapore) Asia Pacific (Mumbai) Asia Pacific (Jakarta) Asia Pacific (Kuala Lumpur) Asia Pacific (Tokyo) Asia Pacific (Sydney) China (Hohhot) China (Shenzhen) China (Chengdu) China (Ulanqab) China (Guangzhou) China (Heyuan) China (Hong Kong) China (Beijing) China (Qingdao) China (Zhangjiakou) China (Shanghai) China (Hangzhou) Philippines (Manila) 80 Zone（中国53Region、中国外27Region） 3000+ CDN Nodes 25 Region（中国12Region、中国外13Region） 200+ Countries グリーン・データセンター 水冷、自然空冷、液冷技術により、 PUE1.0へ貢献 24時間365日のセキュリティ監視・保守 体制、各国のデータ規制・法律に準拠 多重セキュリティ対策 冗長化された電源、ネットワーク構成を 持ち、災害に強い構造を実現 高可用性
5. 世界No3、アジア全域No1のクラウドサービス 5 Global IaaS Market Share， 2019 Asia IaaS Market Share， 2019 No.1 IaaS + PaaS Provider in China 2020 H1 Alibaba Cloud AWS Microsoft Tencent Huawei Kingsoft Google Others Alibaba Cloud Others AWS Huawei Tencent AWS Microsoft Alibaba Cloud Google Tencent Huawei IBM Others Source: Gartner Market Share: IT Services，2019 Source：IDC China Public Cloud Service Tracker, 2020 H1 Alibaba Cloudは世界No3、アジア全域No1のクラウドサービス
6. Alibaba Groupとは 6 ～世界最大の Eコマース企業～ 2000年頃、孫社長が中国ビジネスを広めるために色々な企業に訪問。 そのうち1社がAlibabaであり、ジャックマーと対話したところ、孫社長曰く 「他の（会社の）人は投資をして欲しいと言う。けれど、ジャックだけはお金を 頼まなかった。事業計画すら言わなかった。未来はどうあるべきかという話が 中心だった。彼らの夢の実現がなぜ必要か、哲学の話ばかりだった。 ジャックだけが目がキラキラしていた」 「（ジャックマー氏は）各分野の優秀な人を引き寄せていく、若い世代を それぞれの専門家に育てていくことが得意だ｣ ｢リーダーは、将来に向かって進んで行くべき。良い部分と悪い部分が あるかもしれないが、いい方向に導いていかないといけない。」 「1番の会社の商品は“従業員”。彼らなくしてはサービスや商品は良くなら ない。彼らがビジネスに力を与えられる。これは価値感でありミッションだ｣ 以降、AlibabaはSoftbank Groupの仲間入りに。
7. 中国のGDPとAlibaba Groupの成長 7 1999 2003 2004 2007 2009 2008 2010 2012 2013 2014 2015 2016 2017 2018 2019 国際サイト 中国サイト 2020
8. Alibaba Groupのビジネスが強い理由 8 個人・中小事業者たちが連合軍となって、巨大のECエコシステムを展開  Alibabaが淘宝網（タオバオ）などのプラットフォームを立ち上げ、事業者は加入して販売  購入者観点で、多様多種な商品が様々なタイプへアクセスすることが可能  プラットフォーム塔載料は無料、マーケティングと技術サポートのサービスのみ課金  Alibaba Groupのプラットフォームは小売や、物流、金融などがあり、常にデータを連携
9. なぜAlibaba Groupはこんなに売れているのか？ 9 購入者・ 中小事業者 クラウドサービス 毎日高画質の映画2000万本分の データを処理し他プラットフォームへ 連携するように横串展開 Alibabaの解決策： 低コストで大規模データ処理基盤 物流インフラ 課題：小売から発生する膨大な在庫管理や 配送負荷問題 Alibabaの解決策：在庫管理の最適化や 配送ルート自動選定で人件費・コスト削減 決済・金融サービスインフラ 課題：モノを売りたい個人や中小事業者と、モノを買いたい 消費者を結びつける場がないことによる、決済不安問題 Alibabaの解決策：信用スコアを用いた、金融サービスを提供 クラウドサービス・AI 課題：平均5億ユーザーが20億を 超える商品へアクセス Alibabaの解決策： クラウドサービス・リアルタイム処理基盤 データマネジメントプラットフォーム 課題：日々変動する大規模データから ユーザーにおすすめな商品を提示 Alibabaの解決策：リアルタイムレコメンテーション 購入者・中小事業者が履歴、購入情報、支払情報、在庫情報、配送情報、etc、、 全てをライブデータ化し、継続的なデータ処理・機械学習展開・フィードバックを 繰り返すことにより、少ないコスト・リソースで最大の価値を提供 出所：「アリババ 世界最強のスマートビジネス」 リテール
10. 楽天の年間売上の2倍を たった数日で達成!! 11.11独身の日=年に1度の期間限定イベント 10 8億円 14億円 83億円 0.3兆円 0.5兆円 0.9兆円 1.4兆円 1.9兆円 2.6兆円 3.4兆円 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 4.2兆円 2019 2020 Total 7.9兆円
11. 独身の日でAlibaba Cloudは1度も落ちなかった。1度も 11 一方、paypayでは4年で 25回以上の 大規模障害が発生・・・ 2020年独身の日では、、 ・ ピーク時のオーダー作成数は毎秒583千件 ・ 8億人以上の消費者が参加 ・ Cainiaoで2,321百万件の宅配便注文 ・ コアビジネスの80%をコンテナに展開 ・ 31,000以上の海外ブランドが展開 More than 100× increase in TPS along with stable response time observed during Alibaba’s Singles’ Day Shopping Festival in 2018. 出所：Cloud-Native Database Systems at Alibaba: Opportunities and Challenges
12. そこで疑問 12 Alibaba Cloudは Paypayのキャンペーンイベントを上回る 大規模処理が連続で発生しても 一度も落ちずにビジネスが継続出来たのは なぜだろう？
13. はじめに：中国の人口・企業あたりが持つデータ平均量 13 中国は日本の13倍、アメリカの4.5倍の人口を持つため、 中国企業は日本やアメリカと比較してデータ保持量が大きい 平均800TB 平均10.4PB 出所：Exploring big data and 5G cloudification
14. ビッグデータ量 14 出所:総務省・情報流通・蓄積量の計測手法に係る調査研究 報告書 ビッグデータを活用した行政課題解決に関する調査研究 Alibaba Groupは各種産業業界においてデータ量が最も多く、 今後成長率が高い「リテール」「サービス」を専門 2019年 2020年 2025年 ・・・ Eコマーズ 収益成長率 18.5% 収益成長率 年率22.5% 1.8兆ドル 出所:Top 5 Fastest-Growing Industries in China in 2021 ・・・
15. IBM/Oracle/EMCらベンダー依存から脱却 15 AlibabaはAlibaba Groupのビジネスニーズを満たすために、 独自技術でベンダー依存から脱却＋ベンダーを超えたサービスを展開 ⇒世界の市場をリードするベンダーを超えた技術力が必要なので AlibabaはGAFAを含め世界各地からトップクラスのエンジニアを招集
16. Alibabaのオープンソース経緯 16 元々、Alibabaはオープンソース活動をしていたが、 米中貿易戦争時、米Linux Foundation， Apache Software Foundationなどの機関が 「オープンソースはアメリカの輸出規制を受けない」と 発表。 これにより、 中国政府や企業はオープンソースを積極的に投資。 Alibabaもオープンソース推進室を開設。 アリババをはじめ、様々な中国発企業がオープンソースの エコシステムに参加しながら活動推進することで、 中国から全世界のIT産業をオープンソースで振興。 https://opensource.alibaba.com/
17. Alibabaは有名OSSのコミッター、広報を優遇 17 https://job.alibaba.com/zhaopin/PositionDetail.htm?positionId=118102 オープンソースを通じて技術力向上、 ブランド強化のために、コミッターを優遇 ・お金はサブスクリプションで儲かるので、エンジニアを高給で待遇 ・中国ではコードの透明性をPRすることが重要となっている
18. オープンソースに貢献している企業 18 Alibabaは世界企業のうち 3番目にオープンソース活動・貢献 MySQL、 PostgreSQL、 Redis、 MongoDB、 Apache Hive、 Apache Flink、 Apache Spark、 Kubernetes、 TensorFlow もAlibabaが支えています。 出所：オープンソースに貢献している企業
19. AlibabaにいるApache TopPJ 貢献者たち 19 Apache HBaseのPMC Hbaseを長年開発した経験を活かし、 フルマネージドのHBase (Lindorm)を 設計・開発。 Chunhui Shen Apache HudiのPMC 現在、次世代のDataLake プロダクトサービスを開発中 Shaofeng Li Apache HadoopのPMC フルマネージド型Hadoop、Hiveを意識 しMaxComputeを設計・開発。 現在MaxCompute開発チームに所属 Tao Yang Apache HiveのPMC Hive on Sparkを初めて設計・開発。 現在MaxCompute開発チームに所属 Xuefu Zhang Apache Hive、Apache OCRのPMC MaxComputeのストレージを設計開発。 現在MaxCompute開発チームに所属 Rui Li Apache KylinのPMC eBayやYahoo!Japanも愛用してる 超高速OLAPサービスを10年以上設計・開発。 現在、Hologres開発チームに所属 Billy Liu Hadoop、Hive、Spark、Flink、Presto、HBaseなど Big DataのOSSを開発し、今も貢献し続けてるコアコミッター
20. AlibabaにいるCNCF TopPJ 貢献者たち 20 OpenYurtのPMC・コミッター Kubernetesをエッジコンピューティングに 拡張しながら、スケーリング、配信、管理、 監視するプラットフォームを設計、開発 Xinsheng（新胜） FluidのPMC・コミッター Kubernetesベースでデータ集約アプリ ケーション向けの分散オーケストレーション およびアクセラレーションを設計、開発。 Cheyang（车漾） kubevelaのPMC・コミッター Kubernetesでマイクロサービスベースの ハイブリット・マルチクラウドを構築デプロイ できるプラットフォームを設計、開発。 Tianyuan (天元) DragonflyのPMC・コミッター Kubernetesに基づく分散オーケストレーション システムとしてP2PベースのImage配信 プラットフォームを設計、開発。 Bade（巴德） OpenKruiseのPMC・コミッター Kubernetesを使った大規模アプリケーション 自動化管理エンジンを設計、開発。 Jiuzhu（酒祝） KubeDLのPMC・コミッター KubernetesでDeep Learningを より簡単かつ効率的に行う プラットフォームを設計、開発。 Qiusuo（求索） Alibaba Groupの強固なインフラ基盤を支える CNCF仲間入りのコンテナベースのOSSを開発し、今も貢献中
21. Analytics系サービス 21 RealtimeCompute for Apache Flink Hologres MaxCompute  EBレベルまで対応できる、サーバレス型フルマネージドDWHサービス  SQLや処理リソースに応じてクラウド上で処理ノードを一時的にスケーリング  Alibaba独自技術により、ストレージ代はS3やOSSより10倍安い  SQLによる様々な機械学習を提供。Hivemallにも互換性あり バッチ処理とリアルタイム処理を両方支えるリアルタイムDWHサービス OLAPサービスとして、Delete/Update/Insertをサポート PostgreSQLに対応する各種ユーティリティに対応 2019独身の日では2.5PBのDWHで毎秒1億3千万のリアルタイム レコードを処理しながら、クエリの99.99%を130msに返却 Apache Flinkに基づくリアルタイムのビッグデータ処理プラットフォーム AlibabaとVervericaのApache Flinkを統合し、フルマネージド化 Apache Flinkの3倍以上のパフォーマンスを提供 サービス基盤はKubernetes上でデプロイされるため、非常に安価 2019独身の日では1秒に最大10億レコードを止めることなく処理
22. Database系サービス 22 HBase (Lindorm) AnalyticDB PolarDB  Alibaba独自開発の分散リレーショナルデータベース  Redoログ高速同期、ワークロードに応じて水平・垂直にオートスケーリング  MySQL、PostgreSQLと100%互換性を持ち、Oracleと高い互換性  通常のデータベースから70%もコスト削減を実現  2020年の独身の日では1億4,000万クエリ/秒（QPS）を記録 PBまでスケーリングするオンライン超並列処理（MPP）型DWH MySQL/PostgreSQLと高い互換性あり OSSと直接連携しつつ、ストレージコストを削減 TPC-DSベンチマークNo.1の高速処理（2020年7月） Apache HBaseに基づくKVS形式の分散型データベースプラットフォーム Apahce HBaseをPMC・コミッターによりサーバレス型フルマネージド化 Apache HBaseの3~8倍以上のパフォーマンスを提供 淘宝網などAlibabaエコシステムで毎秒7億件のリクエスト処理をサポート
23. コンテナ系サービス 23 Service Mesh Elastic Container Instance Container Service for Kubernetes  フルマネージド型Kubernetesサービス。コストはノード代のみと安価  KubernetesやYAMLファイル初心者向けウィザードを提供  複数のクラスターやノードタイプを自由に購入設定が可能  コンソール上のボタンをクリックでCI/CDシステム全体構築を実現  独身の日ではリソース効率化で1時間に100万コンテナへスケーリング サーバレス型Kubernetesサービス。コストはvCPU・メモリごとの秒単位課金 サーバレスタイプの様々なビジネスシナリオに対応。 GPUサポートのため、並列処理が求められる機械学習アプローチが可能 同時タスク処理を完全サポートするため、費用対効果を発揮 フルマネージド型サービスメッシュプラットフォーム オープンソースのIstioメッシュと互換性があり、サービス管理の簡易化を提供 Kubernetesを通じてハイブリット・マルチクラウド構築を積極的にサポート トラフィック管理およびメトリック収集と監視機能を提供
24. Network系サービス 24 Global Accelerator Cloud Enterprise Network Smart Access Gateway  Alibaba Cloud が開発したパブリッククラウド初のSDWANルーター  ゼロタッチプロビジョニング対応で簡単セットアップ  ドングル要らずの4GLTE対応でお手軽にBCP対策を実現  Wi-Fi 内蔵でワイヤレス接続も可能 Alibaba Cloud リージョン間を接続する専用線サービス 低遅延&高機密な帯域確保型ネットワークを実現 標準で冗長化接続のため障害時にも強い ダイナミックルーティング採用で自動的に経路を学習 インターネットアクセスを高速化するサービス インターネット経路をAlibaba Cloudバックボーンでルーティング最適化 クライアントから最寄の高速化IPへのアクセスをバックエンドまで高速化 Alibaba Cloud以外のサービスも加速可能 グローバルに多数のアクセスポイント
25. AI系サービス 25 Machine Translation Image Search AIRec  淘宝網などで培った、リアルタイム深層学習によるレコメンデーションサービス  eコマーズ、ニュース、顧客など様々なシナリオに応じて構築や拡張を提供  会員数が1000万人を超える大規模システムでも適用が可能  MaxCompute、OSS、MySQLへ接続するだけでクイックスタートを実現 淘宝網などで培った、リアルタイム類似画像検索サービス 大量の画像データから類似または同一の画像を素早く検索 ECサイトやプラットフォーム向けに様々な検索カスタマイズを提供 画像検索から商品分類・商品特定、模様検索までをカバー AIによるライブストリーミングの自動翻訳サービス 中国語を母国語としない他の国や利用者でも、小売が販売・購入利用 できるように、内容をAIにリアルタイムで解析・翻訳させ、字幕として表示。 Alibaba Groupの淘宝網などの出店者の70％がこのサービスを活用
26. AWSなどの主要クラウドサービスとの違い 26 AWSはアメリカの近代的で成熟した小売市場から培ったクラウドサービス Alibaba Cloudは中国の脆弱な経済インフラ、未熟な小売市場から培ったクラウドサービス そのため、Alibabaは小売市場を活かした様々なサービス（クラウド・AI）を続々展開中  成熟された小売市場で様々なサービスを展開  他の小売市場との差別化・直接競合が激しい  AWSのように優れたクラウドサービス・インフラが必要  消費者の選択肢が限られた未熟な市場なので、エコシステムを 使って連合軍によるサービス展開（そのため、Alibaba Cloudは 費用対効果に力が入ってるので、非常に安い）  コンテナやデータベース、ビッグデータをはじめデータ処理・分析・ 基盤能力はパブリッククラウドサービスでトップクラスの技術力を持つ  レコメンテーションなど様々なAI技術で小売市場の高度化を提供
27. 27 Alibaba Group Mission TO MAKE IT EASY TO DO BUSINESS ANYWHERE （どこでも簡単にビジネスができるように） Alibaba Cloud Mission and Vision Technology powers innovation, creates value and brings brighter future （テクノロジーでイノベーションを起こし、価値を創造し、 より明るい未来へ）
28. 28 THANK YOU & QUESTION？