DeveloperSummit 2018 Cassandra, Kubernetesによる大規模データ基盤の仕組みと苦労 / Developer Summit 2018 Infrastructure by Cassandra and Kubernetes

Slide 1

Slide 1 text

株式会社ブロードリーフ松本宏紀 2018.07.27 Cassandra x Kubernetesによる大規模データ基盤の仕組みと苦労 #devsumiC C-6

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Copyright © Broadleaf Co., Ltd. All Rights Reserved. 5 背景価格の改定等の細かい情報も合わせると… 20億点以上のデータ参考： ※1・・・ https://www.broadleaf.co.jp/products/auto/sfns/ より引用。 ※2・・・ https://www.broadleaf.co.jp/products/auto/pmns/ より引用。 ※3・・・ http://v4.eir-parts.net/v4Contents/View.aspx?template=ir_material_for_fiscal_ym&sid=48222&code=3673 より引用。 48万点以上 (※1) 4億6,000万点以上 (※2) 約1,682万台 (※3) 2億/年 (推定)

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Copyright © Broadleaf Co., Ltd. All Rights Reserved. 9 Cassandraを選択した理由 RDBMSのデータをクラウド上に全部上げるのは無理商品構成 A お客さま環境 BL オンプレ環境 DB Server AP Server Client Apps 商品構成 B お客さま環境 DB Server AP Server Client Apps ・速度要件が厳しい・オンプレでは保守難しい AWS DB Server AP Server RDBMS 数十以上のインスタンスでの運用→コスト大幅増

Slide 11

Slide 11 text

Copyright © Broadleaf Co., Ltd. All Rights Reserved. 10 Cassandraを選択した理由 Cassandraが相性が良かったリニアにスループットがあがるもの簡単に分散できるものコストが爆発していかないものレプリケーションが可能なもの (大量データにおける)CRUDが速いもの RDBMS Cloud Datastore RDBMS Cloud Datastore RDBMS Cloud Datastore RDBMS Cloud Datastore RDBMS Cloud Datastore RDBMS Cloud Datastore 運用・開発しやすいもの Cloud Spanner Cloud Spanner Cloud Spanner Cloud Spanner Cloud Spanner Cloud Spanner Cassandra Cassandra Cassandra Cassandra Cassandra Cassandra

Slide 12

Slide 12 text

Copyright © Broadleaf Co., Ltd. All Rights Reserved. 11 Cassandraを選択した理由 Cassandraは使いにくい伝票顧客属性での絞り込み部品属性での絞り込み車属性での絞り込み日付毎での絞り込み汎用ラベルでの絞り込みデータは、様々な視点で見たい。新しい気づきを得たい。探しにくいものを、探しやすくするというシステムの根幹を揺るがす問題。・Cluster Key ? ・Secondary Index ? ・Custom Table ? →設計しんどい＆変えづらい

Slide 13

Slide 13 text

Copyright © Broadleaf Co., Ltd. All Rights Reserved. 12 Cassandra x Elasticsearch Elasticsearchがお仲間になりました。 kafka Compute Engine Data Apps Container Engine API Container Engine Users Cassandra Compute Engine Elasticsearch Compute Engine

Slide 14

Slide 14 text

Copyright © Broadleaf Co., Ltd. All Rights Reserved. 13 Cassandra x Elasticsearch RDBMS 伝票ヘッダ伝票明細 1 N Cassandra 伝票ヘッダ List<明細> Elasticsearch /伝票 { ヘッダ: { … }, 明細： [ { … }, {… } ] } 一回の操作で更新・取得する伝票全体で検索できるようにするすぐに見るもの、後で見るものを区別する更新操作取得柔軟検索

Slide 15

Slide 15 text

Copyright © Broadleaf Co., Ltd. All Rights Reserved. 14 Cassandra x Elasticsearch Cassandra Elasticsearch Kafka Spring Boot or Go Apps Angular Kafkaまで更新できたら応答返す一般的には・・・下記構成と思います。 ※メッセージ駆動型 kafka Cassandra Elasticsearch 更新情報蓄積＆バラまき kafka使って非同期連携 BigQuery trigger 概念的にはCQRSに近い構造

Slide 16

Slide 16 text

Copyright © Broadleaf Co., Ltd. All Rights Reserved. 15 Cassandraを選択した理由集計処理をしようと思うと、Cassandraきつい。 DC1 node2 node1 node5 node3 node4 集計処理日次集計ユーザー数 CPU: 90% CPU: 100% CPU: 50% CPU: 70% CPU: 70% 分析等をするために、全データ対象、広範囲の集計は行えないと意味が無い。

Slide 17

Slide 17 text

Copyright © Broadleaf Co., Ltd. All Rights Reserved. Data Center Users 16 Cassandra x Elasticsearch DC1 node2 node1 node5 node3 node4 DC2 node2 node1 node5 node3 node4 Batch Jobs replication LOCAL QUORUM LOCAL XXX DCを別にして、LOCAL QUARUMでのアクセスにより、通常業務上での負荷と、バッチ系処理を別々に制御することが可能。負荷の高い処理は、別のデータセンターで実行する

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Copyright © Broadleaf Co., Ltd. All Rights Reserved. 18 GCP x Kubernetes Google Kubernetes Engine (GKE) Kubernetesでスケールも容易に StatefulSet B Google Cloud Load Balancing ( GCLB ) StatefulSet A POD1 POD1 POD2 ingress.yaml - static ip - ssl-cert - url mapping service.yaml - name - port statefulset.yaml (deployments) - replicas - cpu, memory (request,limits) - docker image - health check - volume オートスケールを使わなくても、 $ kubectl scale sts A --replicas=4 というだけでスケールアウト可能。

Slide 20

Slide 20 text

Copyright © Broadleaf Co., Ltd. All Rights Reserved. 19 GCP x Kubernetes Develop IT Staging Production Google Container Registry App App：1.2-snapshot App:1.2-snapshot App:1.2 App1:2 configmap/secret configmap/secret configmap/secret 自動デプロイがとても簡単全てがGitlabのリポジトリと連動 Gitlab Gitlab Runner での自動デプロイ・ソースの追跡性の確保。・履歴としてimageの蓄積・Gitlab Container Registryにも一部登録 docker-compose test + build + push 自動自動半自動手動(pull) Gitlab Runnerでのデプロイ ( いつかはSpinnaker ) applicayion.yaml Prometheus monitoring

Slide 21

Slide 21 text

Copyright © Broadleaf Co., Ltd. All Rights Reserved. 理想 20 こまったこと：人がスケールしない開発する人が追い付かない自社管理チーム契約管理チーム在庫管理チーム現実はぐちゃぐちゃになる。理由は、業務要件でチームを分けたためマルチベンダー体制による分散リポジトリの超平行開発に伴うカオスが生まれる現実自社管理サービス契約管理サービス在庫管理サービス BL：業種Aチーム A社 B社 C社 D社 E社 F社 BL BL：業種Bチーム 20 3 11

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Copyright © Broadleaf Co., Ltd. All Rights Reserved. Angular Mock？MockBean？SpyBean？ Kubernetes? maven？ git？Markdown？ 22 こまったこと：メジャーな技術じゃなかったＤｏｃｋｅｒ？ Cassandra？ Elasticsearch？多くの人は・・・ • 公式サイトは読まない。 • 英語は読まない。現実は厳しい。 GCP？ dockerでの環境構築手順をvirtualboxで行う際の手順を教えてください。 ( ？？？ ) Angularとかググっても英語のサイトしか出てこないメジャーじゃないフレームワークなんて無理ですよ。 Cassandraのデータ設計は無理です。ブロードリーフさんでやってください。そもそも、そんな技術を使える人が、そんなにいないという事実

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Copyright © Broadleaf Co., Ltd. All Rights Reserved. 24 まとめ RDBMS オンプレ環境 Cassandra もの足りない時は、他の手を探す。スケールできる構造に、システム全体を見直す。コミュニケーションも最適化していく。 Kafka Elasticsearch Kubernetes JIRA Confluence データを扱う = データ + α の知識が必要。 Kubernetes(GCP)

Slide 26

Slide 26 text

Copyright © Broadleaf Co., Ltd. All Rights Reserved. 25 Developer Summit 2018 Summerのテーマデータが拡張する人や社会、これからのエンジニアの道標テクノロジーがあらゆる業界に影響を与える時代、「データは新しい資源」と呼ばれるほどデータの活用は企業活動の要となっています。AIは、人間を脅かすものではなく、人間の可能性を拡張するもの（拡張知能）として、注目は留まるところを知りません。 AIやデータを活用するためのデータサイエンスの知見、大規模データやトラフィック処理のためのインフラの構築・運用、IoTやブロックチェーンなど新テクノロジーを活用したサービス開発など、まさにデータというエリアは、エンジニアの持つさまざまスキルが生きるフロンティアと言えます。データ活用が人と社会の可能性を拡げている時代。デブサミ夏2018では、データに向き合うエンジニアの知見や試行錯誤のシェアを通じて、これからのエンジニアの役割と生き方を模索します。