Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
適材適所
Search
saramune
July 13, 2024
Technology
1
100
適材適所
2024/07/13 JAWS-UG 岡山のLTスライドです
saramune
July 13, 2024
Tweet
Share
More Decks by saramune
See All by saramune
EKS Auto Modeなにそれおいしいの?
saramune
0
130
self-hosted runnersでAWSコスト削減?
saramune
0
130
業務効率向上としての分割キーボード
saramune
0
170
インフラ観点で見るセキュリティ〜4Cモデルに倣って〜
saramune
0
83
ChatworkのSRE部って実は 半分くらいPlatform Engineering部かもしれない
saramune
0
620
週刊AWSキャッチアップ(2024/03/25週)
saramune
0
130
なんでもかんでもコンテナ化すればいいってもんでもないけど なんでもかんでもコンテナ化したらスッキリしました
saramune
2
410
ACKを活用して 使い捨てAWS検証環境を構築している話
saramune
0
1.3k
KubernetesとTerraformのセキュリティ/ガバナンス向上委員会 with OPA
saramune
2
1.6k
Other Decks in Technology
See All in Technology
バクラクによるコーポレート業務の自動運転 #BetAIDay
layerx
PRO
1
670
「手を動かした者だけが世界を変える」ソフトウェア開発だけではない開発者人生
onishi
15
8.1k
AI エンジニアの立場からみた、AI コーディング時代の開発の品質向上の取り組みと妄想
soh9834
8
630
メモ整理が苦手な者による頑張らないObsidian活用術
optim
1
180
GMOペパボのデータ基盤とデータ活用の現在地 / Current State of GMO Pepabo's Data Infrastructure and Data Utilization
zaimy
3
180
経験がないことを言い訳にしない、 AI時代の他領域への染み出し方
parayama0625
0
290
【CEDEC2025】LLMを活用したゲーム開発支援と、生成AIの利活用を進める組織的な取り組み
cygames
PRO
1
2.3k
Unson OS|48時間で「売れるか」を判定する AI 市場検証プラットフォーム
unson
0
160
生成AI時代におけるAI・機械学習技術を用いたプロダクト開発の深化と進化 #BetAIDay
layerx
PRO
1
820
クマ×共生 HACKATHON - 熊対策を『特別な行動」から「生活の一部」に -
pharaohkj
0
280
2025新卒研修・HTML/CSS #弁護士ドットコム
bengo4com
3
4.7k
마라톤 끝의 단거리 스퍼트: 2025년의 AI
inureyes
PRO
1
510
Featured
See All Featured
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Docker and Python
trallard
45
3.5k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
6k
GraphQLとの向き合い方2022年版
quramy
49
14k
RailsConf 2023
tenderlove
30
1.2k
Optimizing for Happiness
mojombo
379
70k
BBQ
matthewcrist
89
9.8k
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.5k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
540
Designing for humans not robots
tammielis
253
25k
Bash Introduction
62gerente
613
210k
Transcript
適材適所 古屋 啓介 2024年07月13日 JAWS-UG Okayama 懇親会LT
自己紹介 2 • 古屋 啓介 ◦ 株式会社kubell SRE部 ◦ JAWS-UG
SRE支部運営 ◦ Community Builder(2023〜) ◦ ドラム叩きます
2024年7月1日よりChatwork株式会社は、株式会社kubell(読み:クベル)に社名変更しました。 株式会社kubellは、誰もが使いやすく、社外のユーザーとも簡単につながることができる 日本最大級のビジネスチャット「Chatwork」を運営しています。 また、チャット経由で会計、労務、総務など様々なバックオフィス業務をアウトソースできる 「Chatwork アシスタント」などのBPaaSサービスを幅広く展開。 ビジネスチャットの会社から、BPaaSで「働く」を変えるプラットフォームを提供する会社へ事業領域を拡張します。
Chatworkとは 4 * Nielsen NetView 及びNielsen Mobile NetView Customized Report
2023年5月度調べ月次利用者(MAU:Monthly Active User)調査。 調査対象はChatwork、Microsoft Teams、Slack、LINE WORKS、Skypeを含む44サービスをChatwork株式会社(現 株式会社kubell)にて選定。 効率的に情報共有できる グループチャット 仕事の見える化ができる タスク管理 見落としがなくなる ファイル管理 いつでも会議ができる ビデオ/音声通話
Chatworkの基本機能・メッセージ検索 5
みんなだいすきアーキテクチャ図 6
みんなだいすきアーキテクチャ図 7
i3インスタンスとは 8 • 概要 ◦ 2017年末、Amazon Elasticsearch Service(当時)で利用可能に ◦ ローカルSSDとNVMe接続しておりディスクIOつよつよ
◦ EBSなしで固定のインスタンスストアが割り当てられる https://aws.amazon.com/jp/opensearch-service/pricing/
古屋は思った 9 CPU・メモリが必要だから2xlargeにしてるけど SSDモッタイナイナー(1.9TBもいらない) 7年前のものだし Gravitonだともっとコスパいい? EBSもgp3あるし、 いけるんちゃう?
古屋は思った 10 CPU・メモリが必要だから2xlargeにしてるけど SSDモッタイナイナー(1.9TBもいらない) EBSもgp3あるし、 いけるんちゃう? Graviton + EBSに変えてコスパあがったらうれしいな 7年前のものだし
Gravitonだともっとコスパいい?
やってみた 11 • 新規のクラスタ(r6g版)をスナップショットから復元
やってみた 12 • この時点で現行と差分が出るので、kafkaからデータ再投入
やってみた 13 • この時点で現行と差分が出るので、kafkaからデータ再投入 みんなだいすき冪等性!!!
やってみた 14 • これで新旧同じになった、はず
やってみた 15 • 検索リクエストを徐々に新クラスタにうつしていく
やってみた 16 • 検索リクエストを徐々に新クラスタにうつしていく みんなだいすきカナリアリリース!!!
ちょっとずつ... 17 5%...いける
ちょっとずつ... 18 5%...いける 10%...OK
ちょっとずつ... 19 5%...いける 10%...OK 30%...
エラー率上昇!!!
あかんあかんあかん戻す!!!
振り返り 22 • 何がだめだったの? ◦ CloudWatchを見るとThroughputThrottleが1に... ▪ 完全にディスクで詰まってますやん... • というか現行のIOパフォーマンスわからんかったの?
◦ 内蔵SSDだからメトリクスがない... • アーキテクチャレビューしてもらってた? ◦ AWSさんに相談はしていて、エイヤしかないか、という結論
そもそも 23 • OpenSearchのしくみ ◦ 検索結果をメモリでキャッシュ、なければディスクアクセス • 「メッセージ検索」の特性上キャッシュがききにくい ◦ 同じ内容で検索されることが少ないため
◦ すなわちほとんどディスクにアクセスがいく ◦ すなわちディスクIOの性能勝負になる
ということで 24 • i3さん、7年前だからとかいってごめんなさい
宣伝:Graviton化でちゃんと成功した事例 25 • EKSのEC2をGravitonにしたらめちゃくちゃよくなりました
教訓 26 • 用途にあったインスタンスタイプ選び、ダイジ ◦ 「用途」をちゃんと見極めましょう • 色々試しやすい仕組みづくりも、ダイジ ◦ 冪等性、カナリアリリースによって手間なく大きな怪我なく検証できた
働くをもっと楽しく、創造的に