Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
サーバサイドの技術スタック・アーキテクチャ総ざらい - SmartNews Tech N...
Search
Nobutoshi Ogata
May 28, 2019
Technology
1
17k
サーバサイドの技術スタック・アーキテクチャ総ざらい - SmartNews Tech Night in Fukuoka Vol.1
Nobutoshi Ogata
May 28, 2019
Tweet
Share
More Decks by Nobutoshi Ogata
See All by Nobutoshi Ogata
Datadogセミナー 2025/3/13 Datadog On-Callの活用事例のご紹介
nobu666
0
280
SmartNews x PLAID - Cost cut and AWS Enterprise Support
nobu666
0
260
Why Slack?
nobu666
0
290
A Complete Work of SmartNews's SRE
nobu666
2
3k
SRE at SmartNews
nobu666
0
7.9k
SmartNews の最近の取り組みについて
nobu666
4
3.5k
Introducing in-hourse PaaS
nobu666
1
300
Monitoring of SmartNews
nobu666
0
170
The story becase happy with itamae
nobu666
0
120
Other Decks in Technology
See All in Technology
alecthomas/kong はいいぞ
fujiwara3
6
1.2k
ecspressoの設計思想に至る道 / sekkeinight2025
fujiwara3
12
2.2k
「育てる」サーバーレス 〜チーム開発研修で学んだ、小さく始めて大きく拡張するAWS設計〜
yu_kod
1
210
OpenTelemetry の Log を使いこなそう
biwashi
5
1.2k
AIエージェントを支える設計
tkikuchi1002
12
2.6k
LLMでAI-OCR、実際どうなの? / llm_ai_ocr_layerx_bet_ai_day_lt
sbrf248
0
380
オブザーバビリティプラットフォーム開発におけるオブザーバビリティとの向き合い / Hatena Engineer Seminar #34 オブザーバビリティの実現と運用編
arthur1
0
200
AI コードレビューが面倒すぎるのでテスト駆動開発で解決しようとして読んだら、根本的に俺の勘違いだった
mutsumix
0
120
反脆弱性(アンチフラジャイル)とデータ基盤構築
cuebic9bic
2
120
地域コミュニティへの「感謝」と「恩返し」 / 20250726jawsug-tochigi
kasacchiful
0
110
Tableau API連携の罠!?脱スプシを夢見たはずが、逆に依存を深めた話
cuebic9bic
2
160
2025新卒研修・HTML/CSS #弁護士ドットコム
bengo4com
2
3.9k
Featured
See All Featured
Designing for Performance
lara
610
69k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.9k
Gamification - CAS2011
davidbonilla
81
5.4k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
Done Done
chrislema
185
16k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.5k
Designing for humans not robots
tammielis
253
25k
Building an army of robots
kneath
306
45k
Automating Front-end Workflow
addyosmani
1370
200k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
Being A Developer After 40
akosma
90
590k
Transcript
Nobutoshi Ogata Engineering Manager, Site Reliability Engineering SmartNews, Inc. サーバサイドの
技術スタック・アーキテクチャ総ざらい
1. はじめに 2. 自己紹介 3. SmartNews とは 4. SmartNews の技術スタック
5. ニュースが配信される流れと規模 6. ニュース配信のアーキテクチャ 7. おわりに Agenda
はじめに
• SmartNews のサーバサイドで利用している技術スタック・アーキテクチャに ついてざっとご紹介 • ニュース選定などのアルゴリズムに関する話はしません はじめに
自己紹介
尾形暢俊 (Nobutoshi Ogata) • Engineering Manager, Site Reliability Engineering •
2015 年 5 月に入社し、開発基盤やインフラ周りの整備を担当 • 2016 年より SRE チームを立ち上げ、Engineering Manager に • ゲームと車と猫と酒で出来ています 自己紹介 @nobu666
SmartNews とは
SmartNews とは
• スマートフォン・タブレット向けニュースアプリ • 日米 4,000 万以上のダウンロード • 月間利用者数 (MAU) 1,000
万人以上 • マスコットキャラクターは地球くん SmartNews とは http://about.smartnews.com/ja/2019/02/20/20190220/
SmartNews の 技術スタック
本日は、ニュース配信基盤にしぼってお話をします SmartNews の技術スタック ニュース配信基盤 広告配信基盤
• 基本的には AWS + Amazon Linux • CDN は Akamai(一部
CloudFront) + WAF • Java 8 → 11 ◦ 一部 Ruby, Golang, Scala, Kotlin SmartNews の技術スタック
• Online ◦ ALB(CLB) + ASG + EC2 ▪ nginx
+ Spring Boot embedded Tomcat ◦ ALB + ECS ▪ nginx + Consul Template ◦ EKS (検証中) • DMP ◦ EMR, Airflow, Hive LLAP, Presto ◦ Chartio, Superset, Jupyter SmartNews の技術スタック
• Instance Provisioning ◦ AMI に共通で必要なものを焼き込み ◦ インスタンスがタグによって自律的に必要なものを Provisioning ◦
Code Deploy によりアプリケーションを Deploy • itamae, Terraform, CircleCI, Jenkins, VAddy SmartNews の技術スタック
• 監視・通知 ◦ Datadog + PagerDuty ◦ Runscope ◦ New
Relic SmartNews の技術スタック
• PipelineDB ◦ News 側では内部利用のみ • Hazelcast ◦ 後述 ちょっと珍しいかもしれないもの
ニュースが配信される 流れと規模
ニュース配信基盤のデータの流れ Publishers SNS
ニュース配信基盤が扱う トラフィック・データの規模 Online 30k+ requests / second Push Notification 25M+
users / 5 minutes Index 100k+ articles / day Log Aggregation 500M+ logs / day
ニュース配信基盤が扱う トラフィック・データの規模 CDN(Akamai) 480k+ hits / second 35G+ bits /
second 120T+ bits / day
ニュース配信の アーキテクチャ
Online のアーキテクチャ • メインのサービスは ◦ API gateway under L7 LB
(ALB) ◦ search engine ◦ personalized engine • API gateway では ◦ 複数のデータソースから非同期に結果を取得 ◦ I/O を極力減らして non-blocking に
Online のアーキテクチャ • Auto Scaling Group (ASG) で制御される EC2 群に
よるサービス ◦ ASG, Lambda, Simple Notification Service (SNS) を組み合わせて scale out を自動化 ◦ scale out が前提なので、scalable なアーキテク チャである必要がある
Online のアーキテクチャ • search engine は cache layer で守る ◦
L1: in-memory ◦ L2: Memcached cache cluster • cache hit rate が重要 ◦ offline 処理で絶えず L1/L2 cache を作成
Online のアーキテクチャ • cache が効きづらい personalized engine には、 in-memory data
grid を採用し高速化 ◦ Hazelcast cluster • Application Framework には Reactive Streams (Reactor) を採用 • 負荷状態に応じて自律的に処理内容を変更
おわりに
• プロダクト・開発組織・サービス提供範囲の全てがより成長します ◦ それに対して scalable なアーキテクチャが必要です ◦ さらに高速で安定した分析基盤が必要です ◦ 時差を超えて、より簡単・スムーズに開発できる環境が必要です
• もっとたくさんの仲間が必要です、ぜひ一緒にとりくみませんか! おわりに
We are hiring! https://smartnews.workable.com/
None
ご静聴ありがとう ございました