データ集計結果を提供するAPIとServerlessでの失敗談

Transcript

1. データ集計結果を提供するAPIと Serverlessでの失敗談 データとML周辺エンジニアリングを考える会 #1 2019/1/18 @dasoran2
2. 自己紹介 - なんでもやるエンジニア - Python（クラウド系ツール、 Webアプリ、機械学習） - Java（Webアプリ） - Ruby（RailsだけだからRubyはできない） - あとterraformとかansibleとか.... - 普段はML系の基盤とか火消しとか - GCP x k8sはじめました - 趣味でゲート式量子コンピュータしてます 安田 京太(@dasoran2)
3. はなすこと - ある日の出来事 - Serverlessとの出会い - やってみた - つらかったこと1 - つらかったこと2 - まとめ
4. ある日の出来事 - 簡単なレコメンドAPIを作ることに 適当な集計 （協調フィルタとか） 類似関係のデータ （IDで引ける） 外部 APIサーバー HTTP
5. チーム内の会話 こんな簡単なシステムでいちいち ECS task書きたくないなぁ.... 最近　　　　　　　　　　って フレームワークがいいらしい APIはこれでいくか....? terraformもいっぱい書きたくない
6. 最近　　　　　　　　　　って フレームワークがいいらしい APIはこれでいくか....? terraformもいっぱい書きたくない チーム内の会話 こんな簡単なシステムでいちいち ECS task書きたくないなぁ.... 面倒臭さと好奇心に敗北した エンジニア各位
7. やってみた データソース 集計batch (日次) 集計結果 API処理
8. やってみた データソース 集計batch (日次) 集計結果 API処理 Serverlessで楽できる
9. やってみた データソース 集計batch (日次) 集計結果 API処理 Serverlessで楽できる lambdaがいっぱい立ち上がるから RDSじゃなくDynamoDB
10. やってみた データソース 集計batch (日次) 集計結果 API処理 Serverlessで楽できる lambdaがいっぱい立ち上がるから RDSじゃなくDynamoDB アプリのdeployから分離するため 結局terraform管理
11. やってみた データソース 集計batch (日次) 集計結果 API処理 Serverlessで楽できる lambdaがいっぱい立ち上がるから RDSじゃなくDynamoDB 実行時間で諦めたECS アプリのdeployから分離するため 結局terraform管理
12. やってみた データソース 集計batch (日次) 集計結果 API処理 Serverlessで楽できる lambdaがいっぱい立ち上がるから RDSじゃなくDynamoDB 実行時間で諦めたECS アプリのdeployから分離するため 結局terraform管理 あれ、あまり楽になってない....
13. つらかったこと1: Lamda不安定問題 - 偶発的にレスポンスが極端に劣化する - Lambdaのコールドスタートに起因する様子 - リクエストが多いとわからないため負荷テスト時には発覚せず - pingを打って回避を試みても偶発的に発生する - ググってもLambdaの仕様で起こるっぽい的な記事がでてくるが真偽は謎 - だれか解決策知ってたら教えてください
14. つらかったこと2: DynamoDB高すぎ問題 - 毎日すべてのコンテンツの類似コンテンツを集計した - 1日3時間程度 12000 Write Capacity が必要に - 差分更新できれば良かったが .... - 結果、月$700程度DynamoDBのコストが発生
15. つらかったこと2: DynamoDB高すぎ問題 - 毎日すべてのコンテンツの類似コンテンツを集計した - 1日3時間程度 12000 Write Capacity が必要に - 差分更新できれば良かったが .... - 結果、月$700程度DynamoDBのコストが発生 全件更新系のBatchには DynamoDBの課金体系は向かない
16. つらかったこと2+: スループット管理怖すぎ問題 - （先日の新しい課金プランで解決した） - Writeしている際に予期しないエラーでハンドリングできず batchが落ちた - Write Capacityが大きい状態のまま放置される - ひどい金額の課金が発生した スループット管理は慎重に ....
17. まとめ - 少なくともDynamoDBは全件入れ替え系の集計には向かない - Lambdaが不安定なので以下の場合は向かない可能性がある - レスポンスタイム要求がシビア - リトライ等が難しい - 知らない方法で解決できると嬉しいな - 結局Serverlessと同じくらい容易にDeployできる基盤を構築したほうが、 現在の環境では利用可能範囲が広そう - Serverlessくらいの記述量で扱えるコンテナ基盤がほしい .... - がんばって研究中！