Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
適材適所
Search
saramune
July 13, 2024
Technology
1
79
適材適所
2024/07/13 JAWS-UG 岡山のLTスライドです
saramune
July 13, 2024
Tweet
Share
More Decks by saramune
See All by saramune
EKS Auto Modeなにそれおいしいの?
saramune
0
75
self-hosted runnersでAWSコスト削減?
saramune
0
100
業務効率向上としての分割キーボード
saramune
0
120
インフラ観点で見るセキュリティ〜4Cモデルに倣って〜
saramune
0
32
ChatworkのSRE部って実は 半分くらいPlatform Engineering部かもしれない
saramune
0
540
週刊AWSキャッチアップ(2024/03/25週)
saramune
0
110
なんでもかんでもコンテナ化すればいいってもんでもないけど なんでもかんでもコンテナ化したらスッキリしました
saramune
2
350
ACKを活用して 使い捨てAWS検証環境を構築している話
saramune
0
1.1k
KubernetesとTerraformのセキュリティ/ガバナンス向上委員会 with OPA
saramune
2
1.5k
Other Decks in Technology
See All in Technology
RECRUIT TECH CONFERENCE 2025 プレイベント【高橋】
recruitengineers
PRO
0
160
現場の種を事業の芽にする - エンジニア主導のイノベーションを事業戦略に装着する方法 -
kzkmaeda
2
2.1k
データ資産をシームレスに伝達するためのイベント駆動型アーキテクチャ
kakehashi
PRO
2
530
地方拠点で エンジニアリングマネージャーってできるの? 〜地方という制約を楽しむオーナーシップとコミュニティ作り〜
1coin
1
230
明日からできる!技術的負債の返済を加速するための実践ガイド~『ホットペッパービューティー』の事例をもとに~
recruitengineers
PRO
3
390
速くて安いWebサイトを作る
nishiharatsubasa
10
12k
CZII - CryoET Object Identification 参加振り返り・解法共有
tattaka
0
360
トラシューアニマルになろう ~開発者だからこそできる、安定したサービス作りの秘訣~
jacopen
2
2k
Oracle Cloud Infrastructure:2025年2月度サービス・アップデート
oracle4engineer
PRO
1
210
人はなぜISUCONに夢中になるのか
kakehashi
PRO
6
1.6k
Amazon S3 Tablesと外部分析基盤連携について / Amazon S3 Tables and External Data Analytics Platform
nttcom
0
130
Platform Engineeringは自由のめまい
nwiizo
4
2.1k
Featured
See All Featured
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
630
Dealing with People You Can't Stand - Big Design 2015
cassininazir
366
25k
A Modern Web Designer's Workflow
chriscoyier
693
190k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.3k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.2k
Into the Great Unknown - MozCon
thekraken
35
1.6k
BBQ
matthewcrist
87
9.5k
How to Think Like a Performance Engineer
csswizardry
22
1.3k
What's in a price? How to price your products and services
michaelherold
244
12k
Product Roadmaps are Hard
iamctodd
PRO
50
11k
Transcript
適材適所 古屋 啓介 2024年07月13日 JAWS-UG Okayama 懇親会LT
自己紹介 2 • 古屋 啓介 ◦ 株式会社kubell SRE部 ◦ JAWS-UG
SRE支部運営 ◦ Community Builder(2023〜) ◦ ドラム叩きます
2024年7月1日よりChatwork株式会社は、株式会社kubell(読み:クベル)に社名変更しました。 株式会社kubellは、誰もが使いやすく、社外のユーザーとも簡単につながることができる 日本最大級のビジネスチャット「Chatwork」を運営しています。 また、チャット経由で会計、労務、総務など様々なバックオフィス業務をアウトソースできる 「Chatwork アシスタント」などのBPaaSサービスを幅広く展開。 ビジネスチャットの会社から、BPaaSで「働く」を変えるプラットフォームを提供する会社へ事業領域を拡張します。
Chatworkとは 4 * Nielsen NetView 及びNielsen Mobile NetView Customized Report
2023年5月度調べ月次利用者(MAU:Monthly Active User)調査。 調査対象はChatwork、Microsoft Teams、Slack、LINE WORKS、Skypeを含む44サービスをChatwork株式会社(現 株式会社kubell)にて選定。 効率的に情報共有できる グループチャット 仕事の見える化ができる タスク管理 見落としがなくなる ファイル管理 いつでも会議ができる ビデオ/音声通話
Chatworkの基本機能・メッセージ検索 5
みんなだいすきアーキテクチャ図 6
みんなだいすきアーキテクチャ図 7
i3インスタンスとは 8 • 概要 ◦ 2017年末、Amazon Elasticsearch Service(当時)で利用可能に ◦ ローカルSSDとNVMe接続しておりディスクIOつよつよ
◦ EBSなしで固定のインスタンスストアが割り当てられる https://aws.amazon.com/jp/opensearch-service/pricing/
古屋は思った 9 CPU・メモリが必要だから2xlargeにしてるけど SSDモッタイナイナー(1.9TBもいらない) 7年前のものだし Gravitonだともっとコスパいい? EBSもgp3あるし、 いけるんちゃう?
古屋は思った 10 CPU・メモリが必要だから2xlargeにしてるけど SSDモッタイナイナー(1.9TBもいらない) EBSもgp3あるし、 いけるんちゃう? Graviton + EBSに変えてコスパあがったらうれしいな 7年前のものだし
Gravitonだともっとコスパいい?
やってみた 11 • 新規のクラスタ(r6g版)をスナップショットから復元
やってみた 12 • この時点で現行と差分が出るので、kafkaからデータ再投入
やってみた 13 • この時点で現行と差分が出るので、kafkaからデータ再投入 みんなだいすき冪等性!!!
やってみた 14 • これで新旧同じになった、はず
やってみた 15 • 検索リクエストを徐々に新クラスタにうつしていく
やってみた 16 • 検索リクエストを徐々に新クラスタにうつしていく みんなだいすきカナリアリリース!!!
ちょっとずつ... 17 5%...いける
ちょっとずつ... 18 5%...いける 10%...OK
ちょっとずつ... 19 5%...いける 10%...OK 30%...
エラー率上昇!!!
あかんあかんあかん戻す!!!
振り返り 22 • 何がだめだったの? ◦ CloudWatchを見るとThroughputThrottleが1に... ▪ 完全にディスクで詰まってますやん... • というか現行のIOパフォーマンスわからんかったの?
◦ 内蔵SSDだからメトリクスがない... • アーキテクチャレビューしてもらってた? ◦ AWSさんに相談はしていて、エイヤしかないか、という結論
そもそも 23 • OpenSearchのしくみ ◦ 検索結果をメモリでキャッシュ、なければディスクアクセス • 「メッセージ検索」の特性上キャッシュがききにくい ◦ 同じ内容で検索されることが少ないため
◦ すなわちほとんどディスクにアクセスがいく ◦ すなわちディスクIOの性能勝負になる
ということで 24 • i3さん、7年前だからとかいってごめんなさい
宣伝:Graviton化でちゃんと成功した事例 25 • EKSのEC2をGravitonにしたらめちゃくちゃよくなりました
教訓 26 • 用途にあったインスタンスタイプ選び、ダイジ ◦ 「用途」をちゃんと見極めましょう • 色々試しやすい仕組みづくりも、ダイジ ◦ 冪等性、カナリアリリースによって手間なく大きな怪我なく検証できた
働くをもっと楽しく、創造的に