Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Qiita Career Meetup for Server Side Engineers

Qiita Career Meetup for Server Side Engineers

2017/7/20開催のSever Side Engineer向け採用イベント

https://connpass.com/event/92668/

tosametal

July 20, 2018
Tweet

More Decks by tosametal

Other Decks in Technology

Transcript

  1. SSP DSP1 DSP3 DSP2 30円 50円 10円 転職広告 RTB(Real Time

    Bidding) 健康食品 広告 車広告 ※実際の入札金額はもっと少ないです。説明を分かりやすくするためこの金額にしています 転職広告 サイトA 最も高い金額の50円を出した DSP2の広告が落札され表示
  2. システム紹介(BLADE) • Bid Request 150億/day, Impression 30億/month • ピーク時20万QPS •

    レスポンス5~10ms(ネットワークのレイテンシは除く) • Scala, Java, Python • 他社データ(CCC, SoftBank, Geo, EC, Credit etc...) • 約1500台のサーバ(全てオンプレミス)
  3. • 毎朝野菜ジュース購入 • ユニクロでTシャツ購入 • 渋谷のコンビ二利用 • 世田谷在住30代男性 • 旅行サイトで申し込み

    • ポルシェに興味あり • • 平日は渋谷、休日は市川 • 月に1回は大阪 • 平日も夜は新宿が多い • ニンテンドーSwitch購入 • サイクロン掃除機 • トーマスのおもちゃ WEB上の行動履歴 位置情報データ EC購買データ リアル購買データ データを繋げてわかる 真のユーザ像
  4. サイトにアクセスしたログをリアルタイムに処理 要件 • 2~5万QPS • 整形・加工 • ログの順序は保持 トップ ページ

    商品 ページ 購入 ページ 12:00:00 12:00:05 12:00:10 購入でCV(コンバージョン) 達成
  5. 高速化 MySQL Scheduler 更新 Actor ActorSystem ドライバ エグゼキュータ エグゼキュータ エグゼキュータ

    定期的に メッセージ送信 →2~5万QPSのパフォーマンス要件を満たす DBから取得し たデータは メモリに保持
  6. 既存の入札額算出フロー DWH 分析 ツール crontab データソース ジョブ管理 • 複数のデータソース •

    ブラックボックス化した分析基盤 • スケールしづらいDWH • 複雑なジョブ管理 • 実行環境依存のバッチ処理 など問題は山積み・・・ DWHにデータを転送 DWHで入札額計算処理を実行 Hadoop Hadoop Hadoop Hadoop
  7. MicroAd BLADEにおける入札額算出処理 3. 入札額算出 2. 広告効果予測 1. 入力データ 生成 機械学習用

    サーバ tsv形式でdownload それぞれの処理の スケジュールや依存関係を digdagで管理