40分で理解するAWS re:Invent 2019アップデートまとめ

2019年12月17日に開催したre:Growth 2019 SAPPOROと2019年12月19日に開催したre:Growth 2019 FUKUSHIMAで発表した資料です。

Transcript

1. 40分で理解する AWS re:Invent 2019 アップデートまとめ CM re:Growth 2019 FUKUSHIMA クラスメソッド株式会社 取締役 / AWS事業本部 本部⻑ 佐々⽊ ⼤輔
2. 2 本⽇のハッシュタグ #cmregrowth
3. 3 ⾃⼰紹介 •佐々⽊ ⼤輔 (@smokeymonkey) •クラスメソッド株式会社 • 取締役/ AWS事業本部 本部⻑ •北海道江別市在住 •インフラエンジニア出⾝ •Japan APN Ambassador 2019 •JFA公認C級コーチ •サッカー3級/フットサル4級審判 •趣味︓ランニング、サウナ、ラーメン
4. 4 ⾃⼰紹介 •佐々⽊ ⼤輔 (@smokeymonkey) •クラスメソッド株式会社 • 取締役/ AWS事業本部 本部⻑ •北海道江別市在住 •インフラエンジニア出⾝ •Japan APN Ambassador 2019 •JFA公認C級コーチ •サッカー3級/フットサル4級審判 •趣味︓ランニング、サウナ、ラーメン
8. 8 ⾏ってみた
11. 11 本⽇の資料 73ページ
12. AWS re:Invent とは 12
13. 13 AWS re:Invent • AWSの年次カンファレンスイベント • Las Vegas, USで開催 • 営業やマーケティングのためではなく、 学習機会の為のイベントという位置づけ • キーノートでは多くの新サービスや新機 能が発表される • 告知なしにセッションの中で新機能が発表さ れることも多数ある • さらにイベント開催前にも多数の新サービス/ 新機能が発表(隠語:予選落ち)
14. 14 AWS re:Invent 2019 • 2012年からスタートし、今年で8回⽬ • 全世界から66,000⼈が参加 • ⽇本からは1,700⼈が参加 • 2,500以上のセッション、ワークショッ プ、ハンズオンが開催 • 丸⼀⽇かけたブートキャンプも実施 • 認定試験も⾏われ、その場で受験可能
15. 会場マップ • 7つのホテルに分散して開催 • ⼀番遠いEncore – MGM Grand間で約4km • 徒歩で1時間くらい。 • 各ホテルを結ぶ連絡バスが運⾏。 • ベネチアンは部屋数7,000以上 • アメリカ最⼤のホテル 15
16. 16 クラスメソッドは82名で参加
17. 17 新サービス/新機能をそれぞれ3⾏で紹介
18. AWS DeepComposer • ⾳源を機械学習でアレン ジするサービス • キーボード⾃体はただの インターフェース、他の デバイスでも録⾳した⾳ 源でも構わない • DeepRacerと同様に、機 械学習を⾝近に体験する サービス 18
19. 新しい EC2 インスタンスタイプ M6g/R6g/C6g • AWSがカスタムして提供 するArmベースのCPUで あるGraviton、その新世 代であるGraviton2を採⽤ • 旧インスタンスタイプで あるM5/C5/R5と⽐較し てvCPUの性能が向上 • 今後Amazon EMR、ELB、 Amazon ElastiCacheなど のサービス基盤でも採⽤ される予定 19
20. 機械学習の推論向けインスタンス Inf1 • AWSが開発した推論専 ⽤チップ、Inferentiaを 搭載 • 機械学習の推論を実⾏す ることに特化したインス タンス • クラウド上でもっとも⾼ 速に推論が可能なサービ ス 20
21. AWS Nitro Enclaves • EC2インスタンス内で、 機密性の⾼いデータを保 護および安全に処理する ためのサービス • Nitro Hypervisorを使⽤ • AWS KMSと統合された、 安全なローカル接続のみ をもつ完全に隔離された 仮想マシンを提供 21
22. Amazon Braket • 量⼦コンピューティング サービス • Amazon Braket SDKと Jupyter Notebookベース の環境が提供 • 合わせて、量⼦コン ピュータの研究施設 AWS Center for Quantum Computingを開設 22
23. EC2 Image Builder • EC2のイメージ作成をよ り簡単かつ迅速に保守、 運⽤するためのサービス • これまでは⼿動やPacker などで対応していた • イメージ更新の⾃動化と テストがこのサービスで ⼀気通貫で可能に 23
24. AWS Compute Optimizer • EC2で利⽤しているリ ソース利⽤状況に対し機 械学習を⾏い、推奨事項 を表⽰ • 同じファミリー内のイン スタンスサイズの提案だ けではなく、別のファミ リーの提案も⾏う • モリ使⽤量などのカスタ ムメトリクスも考慮に組 み込むことが可能 24
25. EBS direct APIs • EBSスナップショットに 対するブロック単位の読 み取りアクセスを提供す るAPI群 • これまではEBSスナップ ショットからボリューム を作ってEC2にアタッチ していた • 今後はそれらの作業をし なくても、2つのEBSス ナップショットの⽐較が 可能 25
26. AWS License Manager adds Dedicated Host management • ホストグループを定義し、 Dedicated Hostsの追加、 削除、⾃動復旧などを管 理可能に • Dedicated Hostsの作成の ⼿間が⼀気に省ける • 更にライセンス構成に登 録した製品情報を元に、 指定した製品をインス トールしているインスタ ンスを⾃動検出 26
27. AWS Transit Gateway Multicast • TGWにアタッチされた VPCの サブネット間のマ ルチキャストトラフィッ クのルーティング をサ ポート • マルチキャストルータと して動作 • 既に⼀部のリージョンで 利⽤可能 27
28. AWS Accelerated Site to site VPN Connections • サイト間VPNのオプショ ンの⼀つとして追加 • AWS Global Acceleratorを 利⽤して、オンプレミス ネットワークからのトラ フィックをAWSのエッジ ロケーションに向ける機 能 • インターネットの経路上 で障害が発⽣した場合 AWSのグローバルネット ワークを経由することで 回避 28
29. Transit Gateway inter-Region Peering • 2つのTransit Gatewayをピ アリングする機能 • 別のアカウントや別の リージョンのTransit Gatewayを指定すること が可能 • 通信トラフィックがAWS バックボーン(AWS閉域 網)に留まりパブリック インターネットを通過し ない 29
30. AWS Transit Gateway Network Manager • AWS Transit Gateway環境 を視覚化および監視 • AWSリージョンとオンプ レミスを含めたグローバ ルなネットワークを視覚 化できる • 利⽤するための追加料⾦ は特に無し 30
31. VPC Ingress Routing • IGWとVGWに対しルート テーブルを割り当てるこ とが可能に • IGW/VGWの通信全てを 特定のEC2にルーティン グすることが可能になっ た • UTMやIPS/IDSなどに簡単 にルーティング出来るよ うに 31
32. Amazon Fargate for Amazon EKS • EKSでFargateコンテナが 管理可能 • EC2インスタンスの管理 不要 • Generally availableであり 即⽇利⽤可能 32
33. AWS Fargate Spot • FargateがSpotに対応 • 最⼤70%割引でFargateが 利⽤可能 • GAリリースであり東京 リージョンでも利⽤可能 33
34. Amazon S3 Access Points • アクセスポリシーを記述 したセキュアなアクセス ポイントをARNやURL形 式で発⾏ • VPC内からのアクセスの み許可するようなアクセ スポイントを発⾏できる • 既にS3バケット設定で設 定可能 34
35. Amazon Managed Apache Cassandra Service (MCS) • スケールに対応した分散 KVSであるApache Cassandraマネージド サービスに • Apache Cassandra (version 3.11 CQL) 互換、クラス タ管理不要、msec単位 でスケール • オープンプレビュー中 35
36. UltraWarm • Amazon Elasticsearch ServiceにHot-Warm層を 設けるサービス • HotとUltraWarmの2つの 層（Tier）をサポート • Hot Tierはインデックス の作成、更新、データア クセスに利⽤、 UltraWarm Tierはアクセ ス頻度の低い、古いデー タをに利⽤ 36
37. Amazon Redshift RA3 Instances • ストレージに「SSD Cache」と「S3」の2つの ストレージ組み合わせた ノードタイプ • 参照する頻度が⾼いデー タブロックはSSD Cache に、更新・追加が⽣じた データブロックはS3に保 存 • コンピューティングとス トレージが分離されるイ メージ 37
38. Amazon Redshift Federated Query • RedshiftからRDSとAurora PostgreSQLのテーブルに 直接アクセス • Redshiftから直接 PostgreSQLのテーブルに 接続してETL/ELTを処理 するクエリを実⾏可能 • Redshift Spectrumを含め、 Redshiftから様々なリ ソースにクエリアクセス が出来るようになった 38
39. Amazon Redshift Data Lake Export • Parquet=カラムナ指向の データフォーマット • これまでのRedshiftは読 み込みのみ対応 • Data Lake Exportにより、 Parquetフォーマットで UNLOAD可能に 39
40. AQUA(Advanced Query Accelerator) for Amazon Redshift • 新しい分散型ハードウェ アアクセラレーション キャッシュ • 「他のデータウェアハウ スよりも最⼤10倍早くな る」と謳う • データ処理の⼤部分を キャッシュ上で実施、 NitroとFPGAで分析を⾼ 速化 40
41. Amazon SageMaker Notebooks • Notebookインスタンス =Jupyterノートブックア プリを実⾏しているEC2 インスタンス • これまでは⾃分で作成、 ⾃分で停⽌が必要 • Notebooksにより、利⽤ したい時にワンクリック でJupyterノートブック を利⽤可能 41
42. Amazon SageMaker Studio • SageMakerの統合環境。 WebベースのIDE。 • SageMakerのあらゆる機 能をSageMaker Studioか ら操作可能 • 発表時点でGAリリース 42
43. Amazon SageMaker Processing • 機械学習の前処理と評価 処理の部分を担うサービ ス • これまで別に⽤意してい た前処理と評価処理が SageMakerに統合 • ノートブックでは時間が かかりすぎる重たい処理 を任せることも可能 43
44. Amazon SageMaker Experiments • 機械学習のモデルバー ジョンを整理、追跡、⽐ 較、評価 • できるだけ簡単にモデル のトレーニングを作成し 実⾏し確認するための サービス • SageMaker Studioと完全 統合 44
45. Amazon SageMaker Debugger • ⾃分で書いたモデルのデ バッグに利⽤ • トレーニング中のロスや 精度等のスカラー値をモ ニタリングすることで、 モデルの開発や評価をサ ポート • 結果をCloudWatch Event で通知したり、後から確 認したり出来る 45
46. Amazon SageMaker Autopilot • 機械学習モデルを⾃動的 に作成、SageMaker上で AutoMLを実現 • 実⾏すると⼤量のモデル を作成、⼀番精度の⾼ かったモデルを選定して 利⽤可能 • 機械学習の専⾨家でなく ても、細かいパラメータ 調整をしなくても、モデ ルの作成が可能に 46
47. Amazon SageMaker Model Monitor • SageMakerのエンドポイ ントをモニター、機械学 習モデルのドリフト(品 質低下)を⾃動で検知、 アラート通知 • 可視化はSageMaker Studioで、Jupyter Notebookで分析も可能 • 監視結果のレポートはS3 に保存 47
48. Amazon SageMaker support Deep Graph Library • SageMakerでDeep Graph Library(DGL) が 利⽤可能に • DGL=グラフニューラル ネットワークを簡単に実 装するためのPythonオー プンソースライブラリ • サンプルコードも公開さ れておりすぐ使える 48
49. Amazon Fraud Detector • Amazonが培った詐欺検 出の知⾒がサービス化 • 取引のデータに含まれる 電話番号、Eメールアド レス、ドメイン、取引履 歴などのさまざまな情報 から、詐欺を検出するた めの独⾃のモデルを開発 • APIとして提供され、詐 欺の確率を表すスコアを 返す 49
50. Contact Lens for Amazon Connect • Connectの通話情報を解 析、テキストに書き起こ し、検索できるフルマ ネージドサービス • ほぼリアルタイムに⽂字 起こし可能 • 感情分析や沈黙時間の解 析などを分析可能 50
51. Amazon Kendra • マシンラーニングを使っ たエンタープライズのた めの検索サービス • 社内に散らばったデー ターをKendraで統合し共 通のインタフェースを 使って検索可能 • 検索結果に対するユー ザーからのリアクション を元に検索機能を最適化 51
52. Amazon CodeGuru • 機械学習によるコードレ ビュー⾃動化サービス • プルリクエストを⾃動的 に分析し、問題を検出し、 解決案を提⽰ • 実⾏時の動作を分析しパ フォーマンスのボトル ネックとなるコード箇所 を検出 52
53. Amazon Outposts(GA) • 昨年発表されたOutposts がGAリリース • 合わせて対象サービスが 発表、新たにRDSとS3も 提供予定と発表 • 東京リージョンでも利⽤ 可能に 53
54. AWS Local Zones • ⾼いレイテンシが求めら れるワークロードに対し、 地域的に近い場所でAWS サービスを提供するイン フラストラクチャサービ ス • Outpostsが使えない場 合に利⽤されることを想 定 • 最初はロサンゼルスで提 供開始 54
55. AWS Wavelength • モバイルアプリケーショ ンをキャリア網内の5G ネットワークのエッジに デプロイできるサービス • EC2/ECS/EKSが使える予 定 • ⽇本ではKDDIがサービス 提供 55
56. The Amazon Builders’ Library • Amazonが培ってきた開 発者のためのドキュメン トをライブラリとして公 開 • 無料で誰でも参照可能、 AWSのアカウントも必要 なし • 現時点で13のドキュメン トが公開、今後も更新さ れ増えていくとのこと 56
57. Amazon Transcribe Medical • 医療情報に特化した⾳声 認識サービス • 臨床情報のレポートの作 成に多⼤な時間を費やし ているという課題をサ ポート • 特定の業界業種に特化す ることで専⾨⽤語をカ バー 57
58. Amazon Rekognition Custom Labels • 画像内のオブジェクト、 シーン、および概念を検 出するモデルを簡単に作 成 • ビジネスニーズ固有の画 像内のオブジェクトと シーンを識別可能に • 特定の商品やロゴを検出 したり、物体異常検知に 使うことも可能 58
59. Amazon Augmented AI(A2I) • 機械学習の結果に対して、 実際の⼈間によるチェッ クを含めたワークフロー を提供するサービス • コンテンツのモデレー ションやテキスト抽出な ど、⼀般的な機械学習で 必要とされるワークフ ローを⼈間で提供 • ⼤量のヒューマンリソー スを簡単に調達可能 59
60. Deep Java Library • Deep Java Library(DJL)がリ リース • DJL= Javaでディープ ラーニングモデルを開発 するためのオープンソー スライブラリ • ディープラーニングモデ ルのトレーニング、テス ト、リリースするための APIが提供 60
61. Provisioned Concurrency for Lambda Functions • 初期化処理の完了した Lambda実⾏環境を、指 定した同時実⾏数の分だ け事前にプール可能 • Lambdaのコールドス タート対策が容易に • 通常のLambdaの利⽤料 に加えて追加の料⾦が発 ⽣するため注意が必要 61
62. Amazon RDS Proxy with AWS Lambda • RDSの最⼤同時接続数以 上にLambdaが起動する とRDSへの接続エラーが 発⽣する • RDS Proxy側でRDSとの接 続を管理 • 複数のLambda実⾏環境 を跨いで1つのDB接続を 使いまわすことが可能 62
63. IAM Access Analyzer • IAMが意図したどおりの アクセスのみを提供して いるかを継続的にチェッ クできるサービス • Amazon EventBridgeと連 携することで通知を受け 取ることも可能 • 追加費⽤なし、全リー ジョンで使⽤可能 63
64. S3 Access Analyzer • S3のアクセスコントロー ルに問題がないか検知す る機能 • IAM Access Analyzer が ベース • 例えばPublic Access設定 のS3バケットがあると、 アラートが表⽰ 64
65. Amazon Detective • 潜在的なセキュリティ問 題または疑わしいアク ティビティの根本原因を 簡単に分析、調査、およ び迅速に特定 • AWSリソースからログ データを⾃動的に収集し、 機械学習、統計分析、グ ラフ理論を使⽤して、 データのリンクセットを 構築 • より迅速かつ効率的なセ キュリティ調査を簡単に 実⾏ 65
66. Amazon EventBridge schema registry and discovery • EventBridgeで扱うイベン トデータのスキーマ情報 を公開・共有するサービ ス • これまで⼿作業で⾏って いたスキーマ関連の作業 を、既に⽤意されている ものを使って簡単に設定 可能に • Schema Discoveryを有効化 にすると、対象のイベン トのスキーマが⾃動的に Schema Registryに登録され る 66
67. AWS Step Functions Express Workflows • 短期間で⼤量な処理が⾏ えるExpressワークフロー が機能追加 • 1秒あたり100,000イベン トを超える呼び出しレー トをサポート • ⾼イベントレート、短時 間ワークロード向け 67
68. Amplify iOS & Amplify Android • ネイティブアプリ⽤の新 しいSDK • Amplify Frameworkとして 提供されてきた 「Amplify JS」のネイ ティブ（iOS/Android）版 • プレビューリリース 68
69. Amplify DataStore • クエリ検索可能な形でデ バイス上にデータを格納 することができる機能 • デバイス向けの永続的な ストレージであり、スタ ンドアロンのローカルス トレージ • Web, IoT, iOS, Android, ReactNativeなどで利⽤可 能 69
70. HTTP APIs for Amazon API Gateway • REST API 、WebSocket API に続いて追加されたAPI • 低コスト、JWT Authorizer (OpenID Connect)をサポート、 CORS設定のカスタマイ ズ可能 • 他のAPIと⽐べて⾼機能 70
71. 71 まとめ
72. 72 まとめ • 多すぎ。 • ⼀通りDevelopers.IOにて記事化しています。詳細はブログをご覧 ください。 • プレビューリリースはぜひご⾃⾝で体験してみてください。 • 来年はぜひ⼀緒にAWS re:Invent 2019に⾏きましょう︕ • そう、クラスメソッドならAWS re:Invent 2019に⾏けます︕