Apache Ignite

Transcript

1. Apache Igniteを 半年使ってみえてきたもの CyberAgent, Inc. All Rights Reserved 葛⻄ 聖
2. ࣗݾ঺հ
   
   葛西　聖 MDH エンジニア 主なお仕事 DMPとか担当 ScalaでSparkとかFinchとか使うお仕事 モットー イメージできたらだいたいできる
3. ུ֓
   •  Apache Igniteとは •  IDマッピングを載せてみた •  IgniteでFull GCを解消 •  まとめ
4. Apache Igniteとは CHAPTER : 01
5. "QBDIF
   *HOJUFͱ͸
   キャッシュ以外にもMapReduce、SQL、Hadoopのアクセラレータ等、機能盛りだくさん。 OffHeap(Javaの管理外メモリ領域)を使うことでGCを発生させずに大量のデータを 扱うことが可能。 今回はキャッシュとして使ってます。 Apache Ignite In-Memory Data Fabric hHps://ignite.apache.org/
6. "QBDIF
   *HOJUFͱ͸
   &$্ͰͷΫϥελ࡞੒ྫ
   
7. IDマッピングをのせてみた CHAPTER : 02
8. *%ϚοϐϯάΛͷͤͯΈͨ
   要望 •  DMPバッチで作成しているIDマッピングのデータをad Request時に使いたい 　
9. *%ϚοϐϯάΛͷͤͯΈͨ
   *%Ϛοϐϯάͱ͸ʁ
   
10. *%ϚοϐϯάΛͷͤͯΈͨ
    要望 •  DMPバッチで作成しているIDマッピングのデータをad Request時に使いたい 対応案 •  IDマッピングはHBaseに置いてあるので都度アクセスすれば一応使える →HBaseの負荷が高騰するので現実的ではない 　
11. *%ϚοϐϯάΛͷͤͯΈͨ
    要望 •  DMPバッチで作成しているIDマッピングのデータをad Request時に使いたい 対応案 •  IDマッピングはHBaseに置いてあるので都度アクセスすれば一応使える →HBaseの負荷が高騰するので現実的ではない •  ElasPCacheにのせる →障害発生時マスタの昇格に時間がかかりすぎる
12. *%ϚοϐϯάΛͷͤͯΈͨ
    要望 •  DMPバッチで作成しているIDマッピングのデータをad Request時に使いたい 対応案 •  IDマッピングはHBaseに置いてあるので都度アクセスすれば一応使える →HBaseの負荷が高騰するので現実的ではない •  ElasPCacheにのせる →障害発生時マスタの昇格に時間がかかりすぎる •  Igniteをキャッシュとして使う →OffHeapを使えば大量のデータをのせられる！HBase不要？ 　（DMPバッチもSparkなので）データの投入はIgnite-sparkを使う
13. *%ϚοϐϯάΛͷͤͯΈͨɹॳظߏ੒
    
14. *%ϚοϐϯάΛͷͤͯΈͨ
    運用開始一週間後・・・・ •  sparkでデータ投入中にArrayIndexOutOfBoundsExcepPonが発生、 　ノードが落ちる
15. *%ϚοϐϯάΛͷͤͯΈͨ
    運用開始一週間後・・・・ •  sparkでデータ投入中にArrayIndexOutOfBoundsExcepPonが発生、 　ノードが落ちる •  プロセスの再起動で一応動くが時間経過で落ちる
16. *%ϚοϐϯάΛͷͤͯΈͨ
    運用開始一週間後・・・・ •  sparkでデータ投入中にArrayIndexOutOfBoundsExcepPonが発生、 　ノードが落ちる •  プロセスの再起動で一応動くが時間経過で落ちる →IgnieのLRU制御がInteger.MAXまでだった為、 　Integer.MAXを超えるデータの入れ替え時にNodeが落ちてしまう
17. *%ϚοϐϯάΛͷͤͯΈͨ
    運用開始一週間後・・・・ •  sparkでデータ投入中にArrayIndexOutOfBoundsExcepPonが発生、 　ノードが落ちる •  プロセスの再起動で一応動くが時間経過で落ちる →IgnieのLRU制御がInteger.MAXまでだった為、 　Integer.MAXを超えるデータの入れ替え時にNodeが落ちてしまう 　→1台落ちると生き残ったNodeでカバーしようとしてNode間でデータをコピー 　　LRU制御でひっかかり例外発生、落ちるというダメぽループ 　→最悪データがロスト
18. *%ϚοϐϯάΛͷͤͯΈͨ
    運用開始一週間後・・・・ •  sparkでデータ投入中にArrayIndexOutOfBoundsExcepPonが発生、 　ノードが落ちる •  プロセスの再起動で一応動くが時間経過で落ちる →IgnieのLRU制御がInteger.MAXまでだった為、 　Integer.MAXを超えるデータの入れ替え時にNodeが落ちてしまう 　→1台落ちると生き残ったNodeでカバーしようとしてNode間でデータをコピー 　　LRU制御でひっかかり例外発生、落ちるというダメぽループ 　→最悪データがロスト ※Ver1.8で解決してる模様
19. *%ϚοϐϯάΛͷͤͯΈͨ
    対応 •  本来のデータはあくまでHBaseに置いておく •  Igniteはあくまでキャッシュとして使う
20. *%ϚοϐϯάΛͷͤͯΈͨɹ࠷ऴߏ੒
    
21. *%ϚοϐϯάΛͷͤͯΈͨ
    対応 •  本来のデータはあくまでHBaseに置いておく •  Igniteはあくまでキャッシュとして使う
22. *%ϚοϐϯάΛͷͤͯΈͨ
    対応 •  本来のデータはあくまでHBaseに置いておく •  Igniteはあくまでキャッシュとして使う →現在まで安定稼動中
23. *%ϚοϐϯάΛͷͤͯΈͨ
    教訓 •  データの見積もりは余裕をもってしたつもりだが、 　　地雷(bug)を踏んでしまった •  issueはマメにチェックしましょう •  Cluster毎落ちるとかリスク高すぎ •  そういう意味ではHBaseすごい •  キャッシュとして使う分にはIgnite優秀
24. IgniteでFull GCを解消 CHAPTER : 03
25. *HOJUFͰ'VMM
    ($Λղফ
    とあるAPIサーバのログをみたら24分毎にFull GCが発生していた
26. *HOJUFͰ'VMM
    ($Λղফ
    とあるAPIサーバのログをみたら24分毎にFull GCが発生していた
27. *HOJUFͰ'VMM
    ($Λղফ
    とあるAPIサーバのログをみたら24分毎にFull GCが発生していた 原因 マスタをAPIサーバのメモリ上に保持していた為、リフレッシュ時にFull GC発生
28. *HOJUFͰ'VMM
    ($Λղফ
    とあるAPIサーバのログをみたら24分毎にFull GCが発生していた 原因 マスタをAPIサーバのメモリ上に保持していた為、リフレッシュ時にFull GC発生 マスタをIgniteにのせかれば良いんじゃね？
29. *HOJUFͰ'VMM
    ($Λղফ
    とあるAPIサーバのログをみたら24分毎にFull GCが発生していた 原因 マスタをAPIサーバのメモリ上に保持していた為、リフレッシュ時にFull GC発生 マスタをIgniteにのせかれば良いんじゃね？ →Full GCはなくなったがレイテンシーは悪化
30. *HOJUFͰ'VMM
    ($Λղফ
    とあるAPIサーバのログをみたら24分毎にFull GCが発生していた 原因 マスタをAPIサーバのメモリ上に保持していた為、リフレッシュ時にFull GC発生 マスタをIgniteにのせかれば良いんじゃね？ →Full GCはなくなったがレイテンシーは悪化 　→単純にマスタをIgniteに乗せかえるとRCPが増える 　　最低1msだとしてもループ内で参照していたりするとアウト！
31. *HOJUFͰ'VMM
    ($Λղফ
    とあるAPIサーバのログをみたら24分毎にFull GCが発生していた 原因 マスタをAPIサーバのメモリ上に保持していた為、リフレッシュ時にFull GC発生 マスタをIgniteにのせかれば良いんじゃね？ →Full GCはなくなったがレイテンシーは悪化 　→単純にマスタをIgniteに乗せかえるとRCPが増える 　　最低1msだとしてもループ内で参照していたりするとアウト！ →すぐに使える状態でIgniteにのせておく
32. *HOJUFͰ'VMM
    ($Λղফɹߏ੒
    
33. *HOJUFͰ'VMM
    ($Λղফ
    とあるAPIサーバのログをみたら24分毎にFull GCが発生していた 原因 マスタをAPIサーバのメモリ上に保持していた為、リフレッシュ時にFull GC発生 マスタをIgniteにのせかれば良いんじゃね？ →Full GCはなくなったがレイテンシーは悪化 　→単純にマスタをIgniteに乗せかえるとRCPが増える 　　最低1msだとしてもループ内で参照していたりするとアウト！ →すぐに使える状態でIgniteにのせておく
34. *HOJUFͰ'VMM
    ($Λղফ
    とあるAPIサーバのログをみたら24分毎にFull GCが発生していた 原因 マスタをAPIサーバのメモリ上に保持していた為、リフレッシュ時にFull GC発生 マスタをIgniteにのせかれば良いんじゃね？ →Full GCはなくなったがレイテンシーは悪化 　→単純にマスタをIgniteに乗せかえるとRCPが増える 　　最低1msだとしてもループ内で参照していたりするとアウト！ →すぐに使える状態でIgniteにのせておく 　→cacheMode=REPLICATEDだとIgniteのNode間通信で帯域を食いつぶす
35. *HOJUFͰ'VMM
    ($Λղফ
    3&1-*$"5&%ͷ৔߹
    
36. *HOJUFͰ'VMM
    ($Λղফ
    とあるAPIサーバのログをみたら24分毎にFull GCが発生していた 原因 マスタをAPIサーバのメモリ上に保持していた為、リフレッシュ時にFull GC発生 マスタをIgniteにのせかれば良いんじゃね？ →Full GCはなくなったがレイテンシーは悪化 　→単純にマスタをIgniteに乗せかえるとRCPが増える 　　最低1msだとしてもループ内で参照していたりするとアウト！ →すぐに使える状態でIgniteにのせておく 　→cacheMode=REPLICATEDだとIgniteのNode間通信で帯域を食いつぶす
37. *HOJUFͰ'VMM
    ($Λղফ
    とあるAPIサーバのログをみたら24分毎にFull GCが発生していた 原因 マスタをAPIサーバのメモリ上に保持していた為、リフレッシュ時にFull GC発生 マスタをIgniteにのせかれば良いんじゃね？ →Full GCはなくなったがレイテンシーは悪化 　→単純にマスタをIgniteに乗せかえるとRCPが増える 　　最低1msだとしてもループ内で参照していたりするとアウト！ →すぐに使える状態でIgniteにのせておく 　→cacheMode=REPLICATEDだとIgniteのNode間通信で帯域を食いつぶす 　　→cacheMode=PARTITIONED、データをlz4で圧縮しておく
38. *HOJUFͰ'VMM
    ($Λղফ
    1"35*5*0/&%ͷ৔߹
    
39. *HOJUFͰ'VMM
    ($Λղফ
    とあるAPIサーバのログをみたら24分毎にFull GCが発生していた 原因 マスタをAPIサーバのメモリ上に保持していた為、リフレッシュ時にFull GC発生 マスタをIgniteにのせかれば良いんじゃね？ →Full GCはなくなったがレイテンシーは悪化 　→単純にマスタをIgniteに乗せかえるとRCPが増える 　　最低1msだとしてもループ内で参照していたりするとアウト！ →すぐに使える状態でIgniteにのせておく 　→cacheMode=REPLICATEDだとIgniteのNode間通信で帯域を食いつぶす 　　→cacheMode=PARTITIONED、データをlz4で圧縮しておく
40. *HOJUFͰ'VMM
    ($Λղফ
    リリース後レイテンシーが大幅に改善 →無事年を越せました
41. まとめ CHAPTER : 04
42. ·ͱΊ
    •  事前にユースケースを洗い出しましょう •  Cache Modeは用途に合わせて適切に •  Valueが大きくなる場合は帯域を圧迫しないか確認しておく •  使いたい機能のissueがないか確認 •  メトリクスとろうと思ったらtypo発見
43. ありがとうございました！