Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ集計結果を提供するAPIとServerlessでの失敗談
Search
dasoran
January 18, 2019
Technology
0
460
データ集計結果を提供するAPIとServerlessでの失敗談
dasoran
January 18, 2019
Tweet
Share
More Decks by dasoran
See All by dasoran
Rift Sで沢山苦労した話といくつかの処方箋
dasoran
0
320
機械学習を支えるx86-64の拡張命令セットを読む会
dasoran
0
40
Other Decks in Technology
See All in Technology
家族アルバム みてねにおけるGrafana活用術 / Grafana Meetup Japan Vol.1 LT
isaoshimizu
1
750
20240418_Google ColabにLLMが搭載されたようなのでPython x データ分析の勉強方法を考えてみる
doradora09
0
140
LLM開発・活用の舞台裏@2024.04.25
yushin_n
1
290
どうするコスト最適化のトレードオフ
tetsuyaooooo
1
520
Terraformあれやこれ/terraform-this-and-that
emiki
8
1.4k
LayerXにおけるLLMプロダクト開発の今までとこれから
layerx
PRO
1
320
LangSmith入門―トレース/評価/プロンプト管理などを担うLLMアプリ開発プラットフォーム
os1ma
3
180
リテール金融(キャッシュレス・ネット銀行・ネット証券)の競争環境と経済圏
8maki
0
1.2k
地理空間データ可視化・解析・活用ソリューション Pacific Spatial Solutions (PSS)
pacificspatialsolutions
0
280
ChatGPT for IT Service Management (IT Pro)
dahatake
7
1.6k
複雑な構成要素を持つUIとの向き合い方 〜新・支出グラフでの実例〜 / B43 TECH TALK
nakamuuu
0
140
Databricks における 『MLOps』
databricksjapan
2
170
Featured
See All Featured
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
121
39k
Debugging Ruby Performance
tmm1
70
11k
Designing on Purpose - Digital PM Summit 2013
jponch
110
6.5k
A better future with KSS
kneath
231
16k
The Cult of Friendly URLs
andyhume
74
5.7k
Fontdeck: Realign not Redesign
paulrobertlloyd
76
4.9k
Agile that works and the tools we love
rasmusluckow
325
20k
RailsConf 2023
tenderlove
4
540
Documentation Writing (for coders)
carmenintech
60
3.9k
Automating Front-end Workflow
addyosmani
1356
200k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
187
16k
Building Applications with DynamoDB
mza
88
5.6k
Transcript
データ集計結果を提供するAPIと Serverlessでの失敗談 データとML周辺エンジニアリングを考える会 #1 2019/1/18 @dasoran2
自己紹介 - なんでもやるエンジニア - Python(クラウド系ツール、 Webアプリ、機械学習) - Java(Webアプリ) - Ruby(RailsだけだからRubyはできない)
- あとterraformとかansibleとか.... - 普段はML系の基盤とか火消しとか - GCP x k8sはじめました - 趣味でゲート式量子コンピュータしてます 安田 京太(@dasoran2)
はなすこと - ある日の出来事 - Serverlessとの出会い - やってみた - つらかったこと1 -
つらかったこと2 - まとめ
ある日の出来事 - 簡単なレコメンドAPIを作ることに 適当な集計 (協調フィルタとか) 類似関係のデータ (IDで引ける) 外部 APIサーバー HTTP
チーム内の会話 こんな簡単なシステムでいちいち ECS task書きたくないなぁ.... 最近 って フレームワークがいいらしい APIはこれでいくか....? terraformもいっぱい書きたくない
最近 って フレームワークがいいらしい APIはこれでいくか....? terraformもいっぱい書きたくない チーム内の会話 こんな簡単なシステムでいちいち ECS task書きたくないなぁ.... 面倒臭さと好奇心に敗北した エンジニア各位
やってみた データソース 集計batch (日次) 集計結果 API処理
やってみた データソース 集計batch (日次) 集計結果 API処理 Serverlessで楽できる
やってみた データソース 集計batch (日次) 集計結果 API処理 Serverlessで楽できる lambdaがいっぱい立ち上がるから RDSじゃなくDynamoDB
やってみた データソース 集計batch (日次) 集計結果 API処理 Serverlessで楽できる lambdaがいっぱい立ち上がるから RDSじゃなくDynamoDB アプリのdeployから分離するため
結局terraform管理
やってみた データソース 集計batch (日次) 集計結果 API処理 Serverlessで楽できる lambdaがいっぱい立ち上がるから RDSじゃなくDynamoDB 実行時間で諦めたECS
アプリのdeployから分離するため 結局terraform管理
やってみた データソース 集計batch (日次) 集計結果 API処理 Serverlessで楽できる lambdaがいっぱい立ち上がるから RDSじゃなくDynamoDB 実行時間で諦めたECS
アプリのdeployから分離するため 結局terraform管理 あれ、あまり楽になってない....
つらかったこと1: Lamda不安定問題 - 偶発的にレスポンスが極端に劣化する - Lambdaのコールドスタートに起因する様子 - リクエストが多いとわからないため負荷テスト時には発覚せず - pingを打って回避を試みても偶発的に発生する
- ググってもLambdaの仕様で起こるっぽい的な記事がでてくるが真偽は謎 - だれか解決策知ってたら教えてください
つらかったこと2: DynamoDB高すぎ問題 - 毎日すべてのコンテンツの類似コンテンツを集計した - 1日3時間程度 12000 Write Capacity が必要に
- 差分更新できれば良かったが .... - 結果、月$700程度DynamoDBのコストが発生
つらかったこと2: DynamoDB高すぎ問題 - 毎日すべてのコンテンツの類似コンテンツを集計した - 1日3時間程度 12000 Write Capacity が必要に
- 差分更新できれば良かったが .... - 結果、月$700程度DynamoDBのコストが発生 全件更新系のBatchには DynamoDBの課金体系は向かない
つらかったこと2+: スループット管理怖すぎ問題 - (先日の新しい課金プランで解決した) - Writeしている際に予期しないエラーでハンドリングできず batchが落ちた - Write Capacityが大きい状態のまま放置される
- ひどい金額の課金が発生した スループット管理は慎重に ....
まとめ - 少なくともDynamoDBは全件入れ替え系の集計には向かない - Lambdaが不安定なので以下の場合は向かない可能性がある - レスポンスタイム要求がシビア - リトライ等が難しい -
知らない方法で解決できると嬉しいな - 結局Serverlessと同じくらい容易にDeployできる基盤を構築したほうが、 現在の環境では利用可能範囲が広そう - Serverlessくらいの記述量で扱えるコンテナ基盤がほしい .... - がんばって研究中!