Upgrade to Pro — share decks privately, control downloads, hide ads and more …

マゾいログ回収の話と未来

0adc4facc8dd5623911ff6bbc4ed1884?s=47 s_wool
May 13, 2014
Programming
14
10k

 マゾいログ回収の話と未来

Fluentd Meetup 新しい応用事例とv1に関する発表
http://eventdots.jp/event/49560

0adc4facc8dd5623911ff6bbc4ed1884?s=128

s_wool

May 13, 2014
Tweet

More Decks by s_wool

See All by s_wool
ここだから話せるVPoEの現場
0adc4facc8dd5623911ff6bbc4ed1884?s=48 swool
0
430
Amazon EMR利用者がCloudera Altusを使ってみた感想
0adc4facc8dd5623911ff6bbc4ed1884?s=48 swool
0
5.8k
フリークアウトにおける大規模データの取り扱いのこれまでとこれから
0adc4facc8dd5623911ff6bbc4ed1884?s=48 swool
0
940

Other Decks in Programming

See All in Programming
mrubyを1300円のボードで動かそう
9ec05c5a1b9b0ce9cd53ec3a63838b9a?s=48 yuuu
0
160
How useEvent would change our applications
45daf58c77e9dbbab5a1c8a5afc7ac5c?s=48 koba04
1
1.1k
Jakarta EE 10 is Coming Your Way
B489790e1a844284d7cd1fa2cd6e021f?s=48 ivargrimstad
0
1.5k
LOWYAの信頼性向上とNew Relic
F95bdf0d9003fa506a9f7448335da1af?s=48 kazumax55
4
290
WindowsコンテナDojo : 第1回 Visual StudioでWindowsコンテナアプリ作成
E5eb221d34d4ffbe973f8542b4c3a00e?s=48 oniak3ibm
PRO
0
320
脱オブジェクト指向講座(5分LT資料)
9e840766611f942c7c0a9ad6987a5d78?s=48 kishida
8
10k
Named Document って何？
4cda705b5eecbba889fb97ce9f374efe?s=48 harunakano
0
150
クリエイティブ系のウェブサイト制作で役立つCSS技法 / CSS for develop creative website
4b7124f2f5989173c8ce3b0934817a32?s=48 clockmaker
1
940
Angular's new Standalone Components: How Will They Affect My Architecture? @iJS London 2022
15934fa2aa7b2ce21f091e9b7cffa856?s=48 manfredsteyer
PRO
0
370
WindowsコンテナDojo：第2回 Windowsコンテナアプリのビルド、公開、デプロイ
E5eb221d34d4ffbe973f8542b4c3a00e?s=48 oniak3ibm
PRO
0
130
質とスピード（2022春版、質疑応答用資料付き） / Quality and Speed 2022 Spring Edition
9f3a83db74bee75a64b5e6ed106a775c?s=48 twada
PRO
27
17k
Android Architecture Design With Koin
E02cd1d0fc5c51ac491b484a258a63a6?s=48 agiuliani
0
200

Featured

See All Featured
What's in a price? How to price your products and services
Dad095ea7038f89f760419ce475d5d14?s=48 michaelherold
229
9.3k
How GitHub (no longer) Works
78b475797a14c84799063c7cd073962f?s=48 holman
296
140k
YesSQL, Process and Tooling at Scale
D09fad3e36ae6841f54820be0e907f7a?s=48 rocio
157
12k
JavaScript: Past, Present, and Future - NDC Porto 2020
3ab1249be442027903e1180025340b3f?s=48 reverentgeek
37
3.2k
StorybookのUI Testing Handbookを読んだ
50fc0fdc2327ecbe7350645812de52e3?s=48 zakiyama
4
2k
A Philosophy of Restraint
C9b18d9dff88a9dd2393364c2b3b21bd?s=48 colly
192
14k
4 Signs Your Business is Dying
E4f5d494ebdc9e7cce1aecf3ce3e8bc1?s=48 shpigford
169
20k
Documentation Writing (for coders)
61857dafbd287b3027c4dcea9008ad3c?s=48 carmenhchung
47
2.5k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
95d9f37115fbb0d13135d0f77132f856?s=48 morganepeng
103
16k
No one is an island. Learnings from fostering a developers community.
6bb82b13cda86d3b821fa44100335ddf?s=48 thoeni
9
1.1k
The Art of Programming - Codeland 2020
719435d98d452de7ac367c828266cf01?s=48 erikaheidi
31
5.8k
Code Review Best Practice
3d6ace9554821d552146413bcdf874f6?s=48 trishagee
41
6.7k

Transcript

  1. マゾいログ回収の話と未来 加藤慶一 株式会社フリークアウト 2014/05/13

  2. about me

  3. Norikazu Kato (@s_wool or s-wool) ログ @ フリークアウト fluentd, Hadoop,

    elasticsearch … 経歴 2011.04 グリー株式会社 とあるソーシャルゲームを運営 Treasure Dataの導入時にちょっと手伝ったり 2013.01 株式会社フリークアウト 5月くらいからログ担当 趣味：サバゲー

  4. about

  5. FreakOut 国内で初めてRTBによる広告枠の買付を行うDSPを開始 2011.01～ RTB -> Real Time Bidding DSP ->

    Demand Side Platform

  6. RTB? DSP?

  7. RTBの簡単なしくみ

  8. RTBの簡単なしくみ この間大体100ms

  9. 50ms or die.

  10. この記事がとてもわかりやすい http://blog.katty.in/5143

  11. 本もいろいろ

  12. それはさておき

  13. フリークアウトにおける ログ回収の歴史と fluentd(td-agent)

  14. 今の構成

  15. 現構成までのタイムライン 時期 トピック 2011.1  FreakOut RTB開始  rsyncによるログ回収 +

    MySQLへ格納 2012.11  fluentdの利用開始  一部のログをTDへ転送 2013.1  fluentdによる本格的なログ回収の開始  転送先はs3 + ログサーバー  Hadoop運用開始（CDH3） 2013.5  データセンター移行 2013.7  CDH4へアップグレード 2014.01  elasticsearch使い始める

  16. 2011

  17. rsync + MySQL 入札、配信サーバーなどからログをrsyncでログサーバーへ転送 ログサーバーでサマリー作成（30分区切り） 今でも動いている

  18. 2012

  19. fluentd使い始め 新機能開発時のログの格納場所に困り始める TDに白羽の矢が立つ

  20. 2013

  21. fluentdによるログ回収の開始 s3（バックアップ用）とログサーバーへ転送 ログサーバーはtsv（hive用）にしてhdfsにput

  22. ＿人人人人人人人人＿ ＞ 突然のDC移行 ＜ ￣Y^Y^Y^Y^Y^Y^Y￣

  23. DC移行 とあるDCからとあるDCへ 諸事情によりログサーバーから先に移行開始

  24. DC間転送をどうするか VPNはあるけど お前それTB越えてて同じこと言えんの？

  25. DC間転送をどうするか もともとS3に転送していたので 移行元DCにアグリゲーションノードを用意し S3を挟んでログサーバーへ転送

  26. 移行中の構成

  27. CDH4 CDH4.3へアップグレード マスターノード系を分割 スレーブノードも一気に増築

  28. ちなみに スレーブノードは 自作機

  29. CDH4 WebHDFSへ直接転送開始 fluent-plugin-webhdfs 分単位のtime_slice

  30. このあたりでいろいろハマリはじめる out_s3が詰まる queue size exceeds limit アプリケーションサーバーでのログのparseがしんどくなる msgpackのunpackエラー aggregatorに飛んでくるデータが壊れてる？ LAの高まり

  31. 対処 out_s3が詰まる aggregatorでfluentdを複数起動する out_s3のnum_threadを増やす buffer_queue_limitを増やす td_monitor_agent便利 parseがしんどくなる tail時のformatをシンプルに hiveへのetl時に頑張ることに 複数起動しようとするとconfの管理とかが大変になる

    initスクリプトに手をくわえる # /etc/init.d/td-agent start conf-name confはpuppet側で吸収（するつもり）

  32. お世話になってます

  33. 2014

  34. Elasticsearch 使用されているapiの状況をkibanaで監視 （fluentdとは関係ないけど）Hiveからログ加工して異常監視とかにも 使ってる

  35. 今後がんばりたい話

  36. 話は戻って

  37. rsync + MySQL 入札、配信サーバーなどからログをrsyncでログサーバーへ転送 ログサーバーでサマリー作成（30分区切り） 今でも動いている

  38. こういうこと

  39. こういうこと ほぼ同じログ流してて リソースがもったいないね

  40. 解決への課題 現状すべての入札ログをfluentdで回収されてはいない 必要なカラム、必要ないカラムとかの精査 fluentdにやさしいログフォーマットへの統一 hiveにLoadされるまで分析できないデータになってる カラム増えた際の対応とか

  41. 解決から見える未来 リアルタイムな異常監視 ここでいう異常はシステムではなく、RTBの状況の監視 CPM, CTR, … 入札ロジック変更を即時に評価しよりよい入札へ

  42. 50ms or die. から芸術的な 1 impressionを