Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
NIKKEI Tech Talk #4 日経電子版のバックエンド開発全般の紹介/nikkei-tech-talk-20230216-1
Search
日本経済新聞社 エンジニア採用事務局
February 16, 2023
Technology
0
2.1k
NIKKEI Tech Talk #4 日経電子版のバックエンド開発全般の紹介/nikkei-tech-talk-20230216-1
Nikkei Tech Talk #4 で発表した際の資料です。日経電子版のバックエンド開発全般の紹介です。
https://nikkei.connpass.com/event/272705/
日本経済新聞社 エンジニア採用事務局
February 16, 2023
Tweet
Share
More Decks by 日本経済新聞社 エンジニア採用事務局
See All by 日本経済新聞社 エンジニア採用事務局
AWS GameDay を活用したクラウドスキル強化とコミュニティ形成について/nikkei-tech-talk-22
nikkei_engineer_recruiting
0
62
情報サービスユニット UXUIチーム紹介/btobuxui
nikkei_engineer_recruiting
1
130
re:Invent2023 コンテナ関連・セキュリティ関連で 良かったセッション/nikkei-tech-talk15-1
nikkei_engineer_recruiting
0
510
海外カンファレンス初心者が行く re:Invent 2023 〜やってよかったこと・もっとこうすればよかったこと〜/nikkei-tech-talk15-2
nikkei_engineer_recruiting
0
580
日経ID 基盤刷新プロジェクト Melissa/nikkeiid-authlete
nikkei_engineer_recruiting
1
1k
NIKKEI COMPASSの Stripe決済フローと決済高速化の方法/20231205-compass
nikkei_engineer_recruiting
1
640
FRONTEND CONFERENCE OKINAWA 2023 スポンサーセッション発表スライド/frontend-okinawa
nikkei_engineer_recruiting
1
3.8k
NIKKEI Tech Talk #13【日経×Cloudflare×Vercel×Fastly】Edgeコンピューティングとフロントエンド /nikkei-tech-talk-13
nikkei_engineer_recruiting
0
150
日経のサービスの信頼性を支える負荷試験基盤/nikkei-tech-talk11
nikkei_engineer_recruiting
0
310
Other Decks in Technology
See All in Technology
データ分析基盤を作ってみよう~設計編~
nrinetcom
PRO
1
110
コミュニティサービスに「あなたへ」フィードを リリースするまでの試行錯誤
takapy
1
150
GoとアクターモデルでES+CQRSを実践! / proto_actor_es_cqrs
ytake
1
150
Amazon FSx for NetApp ONTAPのパフォーマンスチューニング要素をまとめてみた #cm_odyssey #devio2024
non97
0
220
テスト・設計研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
170
推薦システムを本番導入する上で一番優先すべきだったこと~NewsPicks記事推薦機能の改善事例を元に~
morinota
0
130
CTOから見た事業開発とプロダクト開発 / My Perspective on Business and Product Development as CTO
keisuke69
4
960
Azure AI ことはじめ
tsubakimoto_s
0
130
スレットハンティングについて知っておきたいこと
hacket
0
130
大規模ドラレコデータ収集・機械学習基盤を支える AWS CDK 〜導入・運用事例紹介〜
pemugi
0
110
Luupの開発組織におけるインシデントマネジメントの変遷 ver.RoadtoSRENEXT2024
grimoh
1
270
目標設定は好きですか? アジャイルとともに目標と向き合い続ける方法 / Do you like target Management?
kakehashi
10
3k
Featured
See All Featured
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
224
21k
Into the Great Unknown - MozCon
thekraken
20
1.3k
The Illustrated Children's Guide to Kubernetes
chrisshort
39
47k
Pencils Down: Stop Designing & Start Developing
hursman
118
11k
The Cost Of JavaScript in 2023
addyosmani
31
4.7k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
35
6.3k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
26
1.8k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
13
430
Building Flexible Design Systems
yeseniaperezcruz
323
37k
Mobile First: as difficult as doing things right
swwweet
219
8.8k
Why Our Code Smells
bkeepers
PRO
332
56k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
26
2.1k
Transcript
2023/2/16 日本経済新聞社 API-Backendチーム 髙安 日経電子版のバックエンド開発全般の紹介 ~メディアのバックエンド~ NIKKEI TECH TALK #4
#nikkei_tech_talk アジェンダ 2 1. 日経電子版とAPI-Backendチームの概要紹介 2. 日経電子版のバックエンド開発紹介 a. 記事をユーザーに届けるまで b.
アクセス規模と負荷を捌く工夫 c. 内製開発 3. まとめ
#nikkei_tech_talk 自己紹介 3 • Osamu Takayasu • 2015年中途入社 • API-Backendチーム兼技術企画G
所属 • 5時おき&在宅勤務で朝活が充実 ◦ 筋トレ・ラン・読書・英語・Podcast
#nikkei_tech_talk 日経電子版 4 • 有料会員数は約83万ID※1 、無料会員数は約500万ID • 経済分野のニュースを中心にWebサイト、スマホアプリで配信 • AI推薦などのパーソナライズ機能を提供
※1 2022/7/1 時点 https://www.nikkei.com/topic/20220715.html ※2 2022/10/1 時点 https://marketing.nikkei.com/media/web/accessdata/
#nikkei_tech_talk Client システム概要図 5 iOS/Android iOS/Android Web ・・・ CDN BFF
API Backends API Gateway Nikkei App Paper Viewer BFFs ・・・ Nikkei ID Payment Search Paper Image ・・・ CMS Message (Mail/Line /Push) Data Ads ・・・
#nikkei_tech_talk 電子版事業のチーム構成 6 Conversion ARPPU Retention 職能 目的 ・・・ アプリ
Web Backend ・・・ ◯ ◯ ◯ ◯ ◯ ◯ ◯
#nikkei_tech_talk API-Backendチームの役割 7 • アプリ〜インフラ、開発〜運用をスコープとして、電子版の バックエンドシステムの技術的意思決定、開発速度、サービス 品質に責任を持つ • 電子版のコンテンツを信頼性高く提供する •
PdMや他チームと連携しながら、事業成長につながる提案、開 発にコミットする
#nikkei_tech_talk API-Backendチームメンバー 8 + フリーランスの方1名 + SESの方2名 バックエンド/エンジニア採用/技術組織開発 テックリード API/配信基盤/インフラ基盤の設計、運用
バックエンド + ML。記事レコメンドなど バックエンド + ML。社内報サービス立ち上げなど
#nikkei_tech_talk 日経電子版のバックエンド開発紹介 9
#nikkei_tech_talk 日経電子版のバックエンド開発紹介 10 • 記事をユーザーに届けるまで • アクセス規模と負荷を捌く工夫 • 内製開発
#nikkei_tech_talk 記事をユーザーに届けるまで 11 CMS群 CMS 編集ツール 記事格納システム parse CMSのAPIから取得した JSONをS3に保存。メタ
データの付与、変換処理 をして”Article”に変換に してRDBに保存 feed “Article”をElasticsearch 用のJSONに変換し、メタ データをつけて返却する API Elasticsearch 記事 企業情報 imgIX(CDN) S3 記事 メタデータ 画像 画像用proxy SearchAPI SearchAdmin APIGW BFF 同義語辞書 CDN
#nikkei_tech_talk 記事データを紹介 12 • 記事データは約400項目 ◦ title, body, display_time, images,
… • 電子版の創刊から12年かけて継ぎ足されている ◦ 「表示する媒体や画面別の表示用データ」 ◦ 「表示する媒体や画面別の記事を選択する検索用データ」 ◦ 「保存可・不可など制御用」など
#nikkei_tech_talk 記事データに関する課題 13 • 記事データを管理しきれていない • 主な原因 ◦ サーバーサイドで記事データを作るが、クライアント側の 使われ方を知る機会が少ない
◦ 電子版Web、アプリ以外に様々なクライアントがいる ◦ 記事データを作成・編集する関係システムが、 CMS/API-Backend/BFF と複数ある
#nikkei_tech_talk 記事データのvalidation 14 CMS群 CMS 編集ツール 記事格納システム parse CMSのAPIから取得した JSONをS3に保存。メタ
データの付与、変換処理 をして”Article”に変換に してRDBに保存 feed “Article”をElasticsearch 用のJSONに変換し、メタ データをつけて返却する API Elasticsearch 記事 企業情報 SearchAPI SearchAdmin APIGW BFF 同義語辞書 CDN • 赤線の記事データを受け渡す境界でvalidateしたい • validationを実装、整備中 ◦ rest_frameworkやjsonschemaを利用 • エラーを検知してslackに通知したり、ログ送信したりしてデー タの確認、及び修正対応
#nikkei_tech_talk 記事を表示する仕組み 15 • どの記事をどこに出すかは重要 • 報道機関として、Webメディアとして
#nikkei_tech_talk 手積みシステム 16 • 電子版トップページは、紙面の1面に相当 • 編集局がどの記事をどの並び順で、どの ような見出しで出すかをコントロール • 紙と違い1日の中で何回か更新される
#nikkei_tech_talk 手積みシステム 17 ES 記事 企業情報 S3 記事 メタデータ 画像
SearchAPI APIGW BFF CDN CMS群 CMS 手積み システム 記事の並び順定義ファイルを取得
#nikkei_tech_talk その他の記事表示ロジック 18 • AI推薦 ◦ 協調フィルタリングやランキングなどを用いた記事レコメンド • MyNews ◦
ユーザーが登録した条件に応じた記事一覧 • ユーザー検索 ◦ 同義語辞書、重複記事排除、クエリ変換、企業データ付与 • 分類ごと(ex: 経済/マーケット/地域...)の記事一覧表示ロジック
#nikkei_tech_talk アクセス規模と負荷を捌く工夫 19
#nikkei_tech_talk アクセス・配信の規模感 20 • 月間2億PV • API基盤へのアクセス: 2,500 req/sec •
Push ◦ 数十万~数百万ユーザー宛 ◦ Push通知直後のアクセス: 数万 req/sec
#nikkei_tech_talk 負荷を捌く工夫 21 • 稼働インスタンス数: 全体で300台以上 ◦ API基盤は約60台 • CDNのキャッシュヒット率は80~90%程度
◦ JWTを利用したFastlyレイヤーでの権限判定 ◦ 記事更新時のタイムリーなcache purge ◦ Pushによるspike時は個人別のデータアクセスを減らす
#nikkei_tech_talk 内製開発 22
#nikkei_tech_talk 日経のイメージ 23 • 日経 = エンジニアリング のイメージはまだなさそう • カジュアル面談でお話すると、「こんなに内製開発していると
は思っていなかった」というお声をいただく • 入社した後でさえ「こんなに内製開発・・(以下略」
#nikkei_tech_talk 内製開発とは 24 • 開発チームが以下の構成 ◦ チーム全員が社員か、一部が準委任契約の社外メンバー • なぜ/何を/どうやって開発するかを社員が意思決定 •
エンジニアが事業ドメインを理解し、能動的に動ける • 内製開発ではない例 ◦ 社員のコードレビューなしにソースコードがマージされる ◦ 請負開発で社員は要件定義のみ。コードは書かない
#nikkei_tech_talk 日経での内製開発 25 • 日経電子版では内製開発を実施 • エンジニアの関わり方 ◦ 企画/調査・データ分析/要件定義/設計/開発/テスト ◦
各人のモチベーション・スキル・状況に応じて、上記の全 部もしくは一部に携わる ◦ 1on1などでコミュニケーションしながら進める
#nikkei_tech_talk まとめ 26 • メディアならでは/日経ならではのサービス開発 • 大規模アクセスを捌く/データを活用するサービス開発 • 内製開発を実践し、事業ドメインへ積極的にコミット