AWSをフル活用したコネクテッドカーを支えるアプリケーションの開発・運用・監視術 / aws-native-application-development

AWS DevDay Tokyo 2019 / Susumu Tomita / Digital Innovation,
Engineering Research & Development © DENSO CORPORATION All Rights Reserved. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWSをフル活⽤したコネクテッドカーを⽀えるアプリケーションの開発・運⽤・監視術株式会社デンソー MaaS開発部デジタルイノベーション室 SREチーム冨⽥進 2019年10⽉3⽇ AWS DevDay Tokyo 2019

Engineering Research & Development © DENSO CORPORATION All Rights Reserved. Who is a speaker 2 冨田進 Susumu Tomita MaaS 開発部デジタルイノベーション室 Site Reliability Engineering team エンジニア日立製作所,米国Hitachi Data Systems社にてJP1,Hitachi Storage Advisor,UCP Director やLumada等の開発および品質保証業務に従事 2018年デジタルイノベーション室の開発スタイルに興味を持ちデンソーへ入社デンソーに入社してから約一年経ちました

Engineering Research & Development © DENSO CORPORATION All Rights Reserved. モビリティ業界におけるデジタルトランスフォーメーション 7 : ; < = > ? @ > 世界 B C D E F G H I 世界シャドウ破壊的イノベーションが生み出だされている領域 Google, Amazon, Facebook, Uber, AirBnB, NETFLIX etc （新たな競合企業）あらたに取り組まなければならない領域

Engineering Research & Development © DENSO CORPORATION All Rights Reserved. 新たな競合︓ディスラプターのアプローチ 15 σ ϯ ι ồ ỏ ̞ ̩ ͸ ͡ Ί Δ ỳ ͯ Α Ố デザイン思考サービスデザインゼロからイチを創る Cloud & Open Source ＋早く作る安く作る内製化アジャイル開発＋作りながら考える顧客と共に創る ot`tcgtptlfk s-N A:U41 s .N s 6dc\N2 s 5 MN =RT s EN^mfgnrg s .#/N41 3 HSNjYthif\ s kqb[\gN("N41 kqe\gif\q] s ckprgN0N>T;T 9HLK$+@JQI$ s D N%GU41 !)17N41 sXZgkfgN2 s5 M8<&N17 ,N COB ckprgif\q] F*?' 同じ⼟俵に⽴つために、同じ道具、同じ⽂化で同じ体制を構築する

Engineering Research & Development © DENSO CORPORATION All Rights Reserved. デジタルイノベーション室の活動の広がり 18 2017年2⽉役員会議上程 2017年4⽉デジタルイノベーション室新設 2名 2017年5⽉社内公募＋1名、キャリア採⽤⼊社＋1名の4名体制 2017年5⽉末第１アジャイル開発チーム発⾜ 2017年 9⽉第２アジャイル開発チーム発⾜ 2017年 9⽉アーキテクチャー／インフラチーム発⾜ 2017年12⽉第３アジャイル開発チーム発⾜ 2018年 5⽉第４アジャイル開発チーム発⾜ 2018年 5⽉第５アジャイル開発チーム発⾜ 2018年 8⽉第６アジャイル開発チーム発⾜ 2018年 11⽉ SREチーム発⾜

Engineering Research & Development © DENSO CORPORATION All Rights Reserved. mobi-Crewsを⽀える技術 23 IoT基盤バックエンドサーバ (データ処理) フロントエンドサーバ既存インフラを活⽤ v AWS 各種マネージドサービス v Docker v Ruby on Rails 開発技術 v スクラム開発 v Docker v ⾃動テスト: CircleCI v 静的解析: CodeClimate v インフラ⾃動化: Terraform v デプロイ︓ Elastic Beanstalk

Engineering Research & Development © DENSO CORPORATION All Rights Reserved. インフラ管理の課題 25 v 素早くミスなくインフラの構築をするには︖ v 障害に強い、構築の⼿戻りと無縁なインフラとは︖ v プロダクトの進化に伴うインフラの構成変更への対応 v 変更に強いインフラとは︖ v スケーラブル、セキュリティ対応 v 扱うデータ量が増えても安定かつ安全にサービスを運⽤させるには︖

Engineering Research & Development © DENSO CORPORATION All Rights Reserved. インフラ構成のポイント 27 v インフラの構成はコード化 v １コマンドでインフラを作成可能 v PaaS,Auto Scalingするサービスを使う v 構成管理の⼿間を減らし、障害発⽣時にも⾃動復旧させる仕組みを使う v AWSの提供する監視,通知サービスを使⽤する v AWSの蓄積したノウハウを取り込む

Engineering Research & Development © DENSO CORPORATION All Rights Reserved. Infrastructure as Codeの強さ 28 v インフラの構成はTerraformを使⽤してコード化している。 v AWSに詳しくない⼈でもインフラの構築が1時間もあれば完了する v 構築ミスがないので、障害発⽣時の解決スピードが上がる v ノウハウがコードに反映されるので暗黙知が形式知へ変わり、誰でも更新することができるインフラへ変わった

Engineering Research & Development © DENSO CORPORATION All Rights Reserved. PaaSはイイ︕ 29 v デプロイには Elastic Beanstalk(Docker プラットフォーム)を使⽤している。 v 仮想サーバ（Amazon EC2）,ロードバランサ等アプリケーションの実⾏環境に悩む必要なし v コンテナの標準出⼒のログをAmazon CloudWatch へデフォルトで転送してくれるので設定漏れなし v 覚えることが減って管理が楽になった

Engineering Research & Development © DENSO CORPORATION All Rights Reserved. やっぱりAuto Scalingは使える︕ 30 v DBには Amazon Auroraを使⽤,もちろんEC2はAuto Scaling v データ量が増えてもストレージ使⽤量は最⼤ 64 テビバイト (TiB)まで⾃動的に拡張してくれる v アクセス数によって柔軟にスケールするクラウドならではの強さ v 急な顧客増も怖くない

Engineering Research & Development © DENSO CORPORATION All Rights Reserved. 少しのコストで⼤きな安⼼ 31 v AWS Config,Amazon GuardDuty ,AWS Trusted Advisorを使⽤して AWSの設定ミスによるセキュリティリスクを減らす v 設定ミスがあったらSlackに通知をする仕組みを作ることで例えばSSL証明書の更新がされなかったり、SSHの22番ポートをインターネットへ公開してしまった問題があってもすぐに気づくことが可能 v AWSの蓄積したノウハウを利⽤させていただく

Engineering Research & Development © DENSO CORPORATION All Rights Reserved. ご参考:使⽤しているツールやサービスについて 33 v ソースコード管理:Bitbucket(Git) (⾔語はTerraform, shell script, Python) v アカウント管理: Keycloak v DNS: Amazon Route 53 v CDN: Amazon CloudFront v Firewall: AWS WAF v 証明書管理: AWS Certificate Manager v DB: Amazon Aurora(Mysql 互換) v 静的コンテンツ管理: Amazon S3 v Application デプロイ:Elastic Beanstalk (Dockerプラットフォームを使⽤) v コンテナ管理︓ Amazon Elastic Container Registry v 監視: Amazon CloudWatch, AWS CloudTrail, AWS Config,Amazon GuardDuty AWS Trusted Advisor, Zabbix v 通知:Slack, AWS Lambda

Engineering Research & Development © DENSO CORPORATION All Rights Reserved. プロダクト品質要件の例 37 信頼性︓ 24時間365⽇利⽤可能機能性︓ ⾞両位置情報機能性︓ 危険運転時の撮影動画効率性︓ X万台の⾞両データを収集可能使⽤性︓ 直観的な画⾯操作効率性︓ X分以内に参照可能保守性︓ X台からX万台までの⾞両数に対応可能信頼性︓ 障害発⽣時には6時間に復旧効率性︓ CPU使⽤率は最⼤70% ※資料に記載している数字や⽇付は、仮想したものです。デンソーのビジネスと関係あるものではありません。

Engineering Research & Development © DENSO CORPORATION All Rights Reserved. センターの品質の向上プロダクト局⾯における品質実現にかける⼯数の変化例 38 プロダクト局⾯デモトライアルプレ本番本番開発開始デモ開発開始から 5か⽉後トライアル開始から 6か⽉後プレ本番稼働開始から5か⽉後対象⾞両台数の⽬標値 0->5 50 50->5,000 5,000->500,000 機能性（functionality）合⽬的性など X X X 機密性信頼性（reliability）使⽤性（usability）効率性（efficiency）保守性（maintainability）移植性（portability）各プロダクト局面で優先するべき要件や制約については、POリードで決定します。必要最小限 ※資料に記載している数字や⽇付は、仮想したものです。デンソーのビジネスと関係あるものではありません。

Engineering Research & Development © DENSO CORPORATION All Rights Reserved. センターの効率性の向上プロダクト局⾯における対象⾞両台数の変化例 39 ５ 50 5,000 500,000 効率性： 10倍の車両に対応対象車両台数: 100,000倍参考:2016年時点の自動車保有台数: 13億2,421万台/世界、7,775万台/日本（日本自動車工業会）デモトライアルプレ本番本番効率性： 100倍の車両に対応効率性： 100倍の車両に対応 ※資料に記載している数字や⽇付は、仮想したものです。デンソーのビジネスと関係あるものではありません。

Engineering Research & Development © DENSO CORPORATION All Rights Reserved. センターの効率性の向上システム観点での対応2︓疎結合と段階的な切り替え 42 画⾯表⽰⽤ DB 処理１⼀時保管DB 処理３⼀時保管DB 処理４処理２デモ＆トライアル (対象車両台数:5-50台) ⼀時保管DB ⼀時保管DB ***logic 処理４処理３処理２処理１プレ本番 (対象車両台数: 5,000台) 実現パターン：プログラムの並列化＋稼働環境の処理能力増強ＸＸＸＸ画⾯処理 ***logic 処理１＋２処理３処理４本番 (対象車両台数: 20,000台) 処理１＋２処理３処理４実現パターン：プログラムの処理効率を高める＋プログラムの並列化と稼働環境の処理の増強（ただし処理効率と資源効率性を高めて稼働時間を短縮することによりインフラコスは削減） ※資料に記載している数字や⽇付は、仮想したものです。デンソーのビジネスと関係あるものではありません。 ※変更箇所のInputとOutputのインターフェースは変更しない

Engineering Research & Development © DENSO CORPORATION All Rights Reserved. センターの効率性の向上体制観点での対応︓SREロールを追加配置ただし、決定者はProduct OwnerあるいはDevelopment Team 43 Product Owner Development Team SRE Infrastructure Sect. 要件・制約・リスク課題の可視化と実現案の提⽰決定決定 Senior Management Marketing and Sales Users and customers 優先順位要望プロダクト品質向上のために、幅広い観点で⽀援

Engineering Research & Development © DENSO CORPORATION All Rights Reserved. センターの効率性の向上体制観点での対応︓SREチームが課題の可視化と実現案の提⽰ 44 処理１⼀時保管DB 処理３⼀時保管DB 処理４処理２デモ＆トライアル (対象車両台数:5-50台) 画⾯表⽰⽤ DB 画⾯処理疑似DCM 疑似DCM 疑似DCM 疑似DCM 疑似⾞両台数処理時間⾞両数の変化に伴うシステムリソースの使⽤率はXX% 処理時間の内訳はXXX。改善すべき個所はXXX。現⾏アプリケーションの改修で対応は[可能/不可能] 新しいテクノロジーを活⽤した抜本的な対策が[必要/不要] ※資料に記載している数字や⽇付は、仮想したものです。デンソーのビジネスと関係あるものではありません。

Engineering Research & Development © DENSO CORPORATION All Rights Reserved. 45 性能向上施策のパターン実現例前提条件要件を下げる負荷を分割する • 地域や組織などの単位でシステム環境を分割することによって、システム環境あたりの性能要件を下げる • 環境間での依存度が低い場合プログラムの処理開始時間を早める • 時間固定ではなく、前提処理が完了次第該当アプリを起動する • アプリの配置を分けることによって、他のアプリの稼働時間を考慮せずに該当アプリを起動できるようにする • プロジェクト開始時間を早めることを妨げる制約条件を解消できる場合処理能⼒を⾼めるプログラム処理の効率を⾼める • 計算ロジックを軽量化する • I/O回数を削減するプログラム処理を並列化する以下いずれかの⽅法にてプログラムを並列実⾏する。 • マルチスレッド • マルチプロセス • マルチサーバープログラムの稼働環境の処理能⼒を⾼める以下いずれかの⽅法にて処理能⼒を⾼める。 • ハードウェアのスケールアップ（CPU, Memory, Disk） • ハードウェアのスケールアウト（サーバーの台数を増やす） • Networkの帯域を増やす • 環境リソースの使⽤率が⾼く、処理のボトルネックになっていることが推測される場合センターの効率性の向上体制観点での対応︓SREチームが課題の可視化と実現案の提⽰【参考情報】性能向上施策の例

Engineering Research & Development © DENSO CORPORATION All Rights Reserved. We are hiring! 46 職場メンバーの声: • 今までの開発⼿法にはもうもどれません。 • 新しい技術に触れ、⾃分が進化しました。 • みんなで作ることがこんなに楽しいとは思っていませんでした。 • 問題を⼀⼈で抱え込まないでみんなで解決する⽅式に安⼼感を覚えました。 • ⽇々良くなっていくのは気持ちがいい。 • まだまだ成⻑できるってことをスクラムは体験させてくれます。 • 徹底的に無駄を省き、圧倒的に開発に集中できる。 • スキルマッチより⼈物マッチが重要。チームが⼤切。積極採⽤中。詳しくは、こちらから。

AWSをフル活用したコネクテッドカーを支えるアプリケーションの開発・運用・監視術 / aws-...

AWSをフル活用したコネクテッドカーを支えるアプリケーションの開発・運用・監視術 / aws-native-application-development

More Decks by susumutomita

Other Decks in Programming

Featured

Transcript