Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
独自アクセスログ基盤の構築
Search
Sponsored
·
Ship Features Fearlessly
Turn features on and off without deploys. Used by thousands of Ruby developers.
→
Recruit
PRO
February 27, 2026
Technology
430
2
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
独自アクセスログ基盤の構築
2026/2/27に、RECRUIT TECH CONFERENCE 2026で発表した山本の資料になります。
Recruit
PRO
February 27, 2026
Transcript
20 slides
RECRUIT TECH CONFERENCE 2026 マッチング技術の進化 独自アクセスログ基盤の構築 インディードリクルートテクノロジーズ 山本 航平
山本 航平 ホラー映画鑑賞 経歴 / Career 2019年にリクルートテクノロジーズ(現リクルート)に キャリア入社。 人材領域のデータ基盤の開発運用を担当しています。 趣味
/ Hobbies (株)インディードリクルートテクノロジーズ HRプロダクト データ データソリューションユニット データエンジニアリング部
今日の内容をざっくり3行で 人材領域で利用しているアクセス解析ツールを、 独自のログ収集基盤にリプレースし、 コスト / 保守性 / データ鮮度の3つが GOOD な状態にしました
Agenda 1. 背景と課題 2. 解決 3. 結果
Agenda 1. 背景と課題 2. 解決 3. 結果
背景と課題 人材領域で生じていたアクセスログの3つの課題 ① ログ設計の管理が横断的にできていない ② データウェアハウスで分析可能になるまでのリードタイムが長い ③ アクセス解析と機械学習でログを二重取得しており効率が悪い
背景と課題 ① ログ設計の管理が横断的にできていない • 施策ごと(ABテストや、画面改修等)にadhocにログ設計と追加をしているため、プロダ クト横断でのログ設計思想がない • 施策担当者やプロダクトごとに設計がブレてしまい、データマートでの利用の都度仕様の キャッチアップと検算から入らなければならない
背景と課題 ② データウェアハウスで分析可能になるまでのリードタイムが長い • アクセス解析ツール上ではニアリアルタイムにデータ更新されるが、データウェアハウスに ある他データと組み合わせないとできない分析が多数ある • そのためアクセス解析ツールに付帯しているExport機能を使ってデータをデータウェアハ ウス(BigQuery)に連携して分析利用している •
このExport機能にサービスレベルがなく、だいたい2~3時間後にデータが入ってくるだろ うという経験則での運用になっていた(かつ遅い)
背景と課題 ③ アクセス解析と機械学習でログを二重取得しており効率が悪い • 前ページに記載した制約(2~3hの遅延)があるため、機械学習施策でのニアリアルタイム なデータ活用に対してデータ鮮度が要求を満たさない • 機械学習用の別データパイプラインを構築することになり、結果、アクセスログを二重取得 している状態になっていた
Agenda 1. 背景と課題 2. 解決 3. 結果
解決 基盤刷新とセットでログ設計運用の見直しをする • 課題を同時に解決するため、ログ収集基盤の刷新を決定 • 既存サービスを継続利用することも考えたが、課題③の解決や、インフラコストを大幅に削 減できる見立て(現行の10~20%程度まで下がる)があったため、独自基盤を作る方向と なった • アクセス解析ツールが入っているサービス側のリアーキテクチャが同時期に実行されていた
ため、そことタイミングを合わせることで導入をスムーズにした
構成のBefore / After
構成のBefore / After ログの二重管理 2 ~ 3時間の遅延 (SLA なし)
構成のBefore / After ログの二重管理 2 ~ 3時間の遅延 (SLA なし) 1秒未満
一本化 施策リリース後、即時に分析が可能になり、検知や対応が高速に。 機械学習モデルの特徴量として利用可能なデータの種類が増加。
アーキテクチャ • インフラは AWS • ログを直接受け取るのは ALB + ECS Fargate。API
は Rust で実装 • メッセージングシステムは Kafka、共通の加工処理を Flink、DWHへの連携は BigQuery Connector。全て Confluent Cloud 上で実行 • Online Feature Store (DynamoDB)への連携は Databricks or Custom Connector
アーキテクチャ • DNS、ALB は共通で API Key を元にサービスごとの API へリクエストをルー ティング
• Topic や Flink のクエリは サービスごと • BigQuery Connector は複 数 Topic をサポートしてい る、かつ、スケーラブルで あるため共用
変更プロセスのBefore / After 各案件で自由に 実装まで決定 基本はそのまま 実装される
変更プロセスのBefore / After 各案件で自由に 実装まで決定 基本はそのまま 実装される 担当者は 分析要求を出す 共通の担当者が
分析要求から実装 を決定
Agenda 1. 背景と課題 2. 解決 3. 結果
結果 ① ログ設計の管理が横断的にできていない ② データウェアハウスで分析可能になるまでのリードタイムが長い ③ アクセス解析と機械学習でログを二重取得しており効率が悪い 🟢 基盤刷新に合わせてフローを刷新し集約された管理を確立 🟢
一本化して二重取得を撤廃。コスト面も既存の10~20%程度まで圧縮 🟢 2~3h → 数秒まで短縮
More Decks by Recruit
See All by Recruit
OpenSearchで実現する ホットペッパーグルメの検索基盤
recruitengineers
PRO
2
42
局所最適は悪ではない。壊れているのは指標です。量と質を同時に見る先行指標の設計
recruitengineers
PRO
3
1.7k
実体験から学ぶ分析エージェントの開発と運⽤
recruitengineers
PRO
9
3.1k
大規模フロントエンド開発におけるmonorepoという選択肢
recruitengineers
PRO
2
140
自律型 AI をセキュアに実装!Gemini と MIG で作る動的コード実行環境
recruitengineers
PRO
1
370
Google Cloud Next Tokyo 26登壇時のスクリプト
recruitengineers
PRO
0
400
つくって納得、つかって実感! 大規模言語モデルことはじめ ver2.0
recruitengineers
PRO
6
3.2k
ブラウザ研修 2026
recruitengineers
PRO
8
2.3k
事業価値と Engineering 2026年度版
recruitengineers
PRO
60
32k
Other Decks in Technology
See All in Technology
WasmをRustにする技術
sansantech
PRO
1
130
RAGの改善を速く回すための評価基盤
yosukeyoshida
6
3.4k
Agent Routerで作るマルチテナント 推論基盤 #CNDW2026 / Building Multi-Tenant Inference Platform with Agent Router #CNDW2026
everpeace
3
480
Why start a new company, on Rails and AI, today. SF Ruby Conf 2026, Irina Nazarova
irinanazarova
0
190
AI-Ready なデータ基盤ってなに? & 新卒未経験が、いま考えていること
imuta
0
980
要件定義をAIに委任!Claude Codeプラグインで作るPdM × AgentTeams
puku0x
0
100
Kansai WordPress Meetup@大阪『ブロックテーマを作る上で知っておくべきこと
torounit
0
250
閉域網でのAPI公開の選択肢全部比較!
takano0131
4
580
「個社」ではなく「業界」の課題を解く AI 対話開発 ー 価値を広げる設計と、価値を守るエンジニアリング ー
ivry_presentationmaterials
3
780
[関西Kaggler会 20261113] 続・コミュニティコンペのススメ
nejumi
0
150
設計手法を「道具」として使いこなすために
a_suenami
7
1.4k
自動計装なしでECSサービスをApplication Signalsに載せるまで
ota1022
2
440
Featured
See All Featured
Lightning Talk: Beautiful Slides for Beginners
inesmontani
PRO
2
850
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
508
140k
AI in Enterprises - Java and Open Source to the Rescue
ivargrimstad
0
1.6k
Leadership Guide Workshop - DevTernity 2021
reverentgeek
1
430
Product Roadmaps are Hard
iamctodd
55
13k
The Illustrated Guide to Node.js - THAT Conference 2024
reverentgeek
1
610
Accessibility Awareness
sabderemane
1
310
Navigating the moral maze — ethical principles for Al-driven product design
skipperchong
2
690
The Hidden Cost of Media on the Web [PixelPalooza 2025]
tammyeverts
2
580
Public Speaking Without Barfing On Your Shoes - THAT 2023
reverentgeek
1
670
The Curious Case for Waylosing
cassininazir
1
620
jQuery: Nuts, Bolts and Bling
dougneiner
66
8.7k