忍者ツールズのCouchbase導入事例

Couchconf Tokyo 2013
忍者ツールズのCouchbase導入事例
Kenichi Tsunokawa, Samurai Factory Inc.
http://www.couchbase.com/jp/couchconf-tokyo-jp

Transcript

1. 忍者ツールズのCouchbase 導入事例 Kenichi Tsunokawa, Samurai Factory Inc.
2. アジェンダ • 会社紹介、サービス紹介 • Couchbaseをどう利用しているか • Couchbase導入後、どう良くなったか • 運用していて困ったこと • 運用していて分かったこと
3. 自己紹介 株式会社サムライファクトリー 角川 兼一(Kenichi Tsunokawa) サーバー運用/構築を担当しています。 Twitter:@tsunokawa
4. 株式会社サムライファクトリー WEBメディアサービス http://www.ninja.co.jp/ Marketingツール/広告サービス http://www.biz-samurai.com/
5. 忍者ツールズ • 忍者ブログ • 忍者ホームページ • 忍者サンドボックス • 忍者アクセス解析 • NINJA ANALYZE
6. BIZ SAMURAI
7. 忍者ツールズは 様々なサービスを展開しています。
8. その様々なサービスで Couchbaseを利用しています。
9. 主にDBキャッシュで利用していて、 Memcachedから移行しつつあります。
10. 忍者ツールズ サービス環境
11. LVS 忍者ツールズ サーバー構成 Apache Memcached DB
12. LVS LVS 忍者ツールズ サーバー構成 Apache Memcached DB
13. LVS LVS 忍者ツールズ サーバー構成 Apache Memcached DB
14. LVS LVS 忍者ツールズ サーバー構成 Apache Memcached DB
15. LVS LVS 忍者ツールズ サーバー構成 Apache Memcached DB
16. LVS LVS 忍者ツールズ サーバー構成 Apache Memcached DB
17. LVS LVS 忍者ツールズ サーバー構成 Apache Memcached DB
18. LVS LVS 忍者ツールズ サーバー構成 Apache Memcached DB
19. LVS LVS 忍者ツールズ サーバー構成 Apache Memcached DB
20. LVS LVS 忍者ツールズ サーバー構成 Apache Memcached DB
21. LVS LVS 忍者ツールズ サーバー構成 Apache Memcached DB
22. LVS LVS 忍者ツールズ サーバー構成 Apache Memcached DB ？
23. LVS LVS 忍者ブログ Apache Memcached DB LVS LVS 忍者サンドボックス Apache Memcached DB LVS LVS 忍者ホームページ Apache Memcached DB and more
24. Couchbase登場！ Memcached → Couchbase Couchbase
25. LVS 忍者ブログ Apache DB LVS 忍者サンドボックス Apache DB LVS 忍者ホームページ Apache DB and more Couchbase Couchbase
26. Couchbase導入前の Memcachedの課題 • 各サービスごとにMemcachedの起動が必要 • Memcachedの運用(主に監視)が手間 • 冗長構成が取りづらい • スケールがしづらい
27. Couchbase導入後 • 各サービスごとにMemcachedの起動が必要
28. Couchbase導入後 • 各サービスごとにMemcachedの起動が必要 ↓ Couchbaseのクラスタが1つさえあれば サービスごとにバケットを作るだけで良くなった。
29. Couchbase導入後 • 各サービスごとにMemcachedの起動が必要 • Memcachedの運用(主に監視)が手間
30. Couchbase導入後 • 各サービスごとにMemcachedの起動が必要 • Memcachedの運用(主に監視)が手間 ↓ 監視対象サーバーがCouchbaseサーバーだけ で良くなった。
31. Couchbase導入後 • 各サービスごとにMemcachedの起動が必要 • Memcachedの運用(主に監視)が手間 • 冗長構成が取りづらい • スケールがしづらい
32. Couchbase導入後 • 各サービスごとにMemcachedの起動が必要 • Memcachedの運用(主に監視)が手間 • 冗長構成が取りづらい • スケールがしづらい ↓ Couchbaseが得意！
33. Couchbase環境 • Membase1.7.1から利用開始 • アップデートを繰り返し現在バージョン1.8.0を 利用中 • 今後2.0にバージョンアップ予定
34. LVS Couchbase Couchbase Couchbase環境 Couchbase Couchbase LVS
35. Couchbase環境 サーバー • Couchbase1.8.0 • メモリ16GB • SSD*2(RAID0) 計：8node
36. 運用していて困ったこと
37. Couchbase1.8.0→1.8.1 アップデートテストを行ったところ、 Rebalanceがフリーズするトラブル ▪couchbase-server-1.8.0r-1 ↓アップデート ▪couchbase-server-1.8.1-937
38. 1. クラスタから1台を外す。 2. Rebalance 3. クラスタから外した1台を/etc/init.d/couchbase- server stopでデーモン停止 4. 1.8.0→1.8.1へアップデート 5. WebUIからAdd server 6. Rebalance Rebalanceでプログレスバーが先に進まない状態になってし まった。 「0.0.3% complete」のように途中で止まってしまった。
39. 1. クラスタに存在するバケットを全て削除 2. バケットを再作成 3. もう一度アップデートを実行 Rebalanceはフリーズせず、 アップデート作業が成功した。
40. Couchbase1.8.0のクラスタと Couchbase2.0の新クラスタを同時並行稼働中 1バケットずつCouchbase2.0へ移行中
41. 運用していて分かったこと
42. Memcached Type？ Couchbase Type？ 最初どちらを使えば良いか分からなかった。。。 主にDBキャッシュ目的だったので、 Memcached Typeでバケットを作っていた。
43. 最初はMemcached Typeを利用 ・キャッシュ目的(永続性不要) ・これまでMemcachedを使っていた ⇒よってMemcached Typeでバケットを作 成・運用
44. Memcached Typeだと ネットワーク障害の時古いデータが getされる場合があるのでは？という 疑問が。
45. サーバー名 ステータス 格納Key&Value キャッシュサーバー1 稼働 - キャッシュサーバー2 稼働 - キャッシュサーバー3 稼働 - キャッシュサーバー4 稼働 -
46. • Memcached Typeのバケットに KeyとValueをsetします。 Key Value Key1 12345
47. Escape character is '^]'. set key1 0 3600 5 12345 STORED get key1 VALUE key1 0 5 12345 END
48. サーバー名 ステータス 格納Key&Value キャッシュサーバー1 稼働 - キャッシュサーバー2 稼働 - キャッシュサーバー3 稼働 key1=12345 キャッシュサーバー4 稼働 -
49. ネットワーク障害で キャッシュサーバー3がダウン サーバー名 ステータス 格納Key&Value キャッシュサーバー1 稼働 - キャッシュサーバー2 稼働 - キャッシュサーバー3 ネットワークダウン key1=12345 キャッシュサーバー4 稼働 -
50. key1の値は取れなくなった。 Escape character is '^]'. get key1 END
51. キャッシュサーバー3がダウンした状態で 同じKey, 違うValueをset(上書き想定) Key Value Key1 abcde
52. Escape character is '^]'. set key1 0 3600 5 abcde STORED get key1 VALUE key1 0 5 abcde END
53. サーバー名 ステータス 格納Key&Value キャッシュサーバー1 稼働 - キャッシュサーバー2 稼働 key1=abcde キャッシュサーバー3 ネットワークダウン key1=12345 キャッシュサーバー4 稼働 -
54. キャッシュサーバー3が ネットワークダウンから復帰
55. サーバー名 ステータス 格納Key&Value キャッシュサーバー1 稼働 - キャッシュサーバー2 稼働 key1=abcde キャッシュサーバー3 稼働 key1=12345 キャッシュサーバー4 稼働 - 新しいvalue 古いvalue
56. Escape character is '^]'. get key1 VALUE key1 0 5 12345 END
57. • サーバー台数：4台 key1はキャッシュサーバー3に • サーバー台数：3台 key1はキャッシュサーバー2に ネットワーク障害からサーバー台数が4台に戻ると、 Value格納(担当)サーバーがキャッシュサーバー3に戻 る為、古いデータがgetされる。
58. Couchbase Typeの バケットだったら
59. ネットワーク障害で キャッシュサーバー3がダウン サーバー名 ステータス 格納Key&Value キャッシュサーバー1 稼働 - キャッシュサーバー2 稼働 - キャッシュサーバー3 ネットワークダウン key1=12345 キャッシュサーバー4 稼働 -
60. Couchbaseモードのバケットだと、 Trying 10.0.0.1... Connected to 10.0.0.1 Escape character is '^]'. get key1 SERVER_ERROR proxy write to downstream 10.0.0.3 set key1 0 3600 5 abcde SERVER_ERROR proxy write to downstream 10.0.0.3
61. setもgetも以下のようにエラーが返ってきました。 エラーを返すことでデータの整合性が保たれるようになってい る。 バケットはCouchbase Typeで作成したほうが良さそう？
62. バケット設定の比較
63. Bucket Type Replication Memcached Type - Couchbase Type 0(disable) Couchbase Type 1 ～ 3 Auto Failover ON ON ON
64. ※あくまで個人的な所感です • Memcached Type 先程のネットワーク障害時に整合性の問題が発生するかも？ • Couchbase Type Replication 0(disable) Memcached Typeと似ているが、ネットワーク障害時Auto FailoverがONになっていたとしてもレプリカがないので、応答 が出来ない。Rebalance後応答可。 • Couchbase Type Replication 1～3 Auto FailoverがONになっていると、Failover後レプリカを持つ サーバーが代わりに応答を返す。
65. ※あくまで個人的な所感です • Memcached Type 先程のネットワーク障害時に整合性の問題が発生するかも？ • Couchbase Type Replication 0(disable) Memcached Typeと似ているが、ネットワーク障害時 Auto FailoverがONになっていたとしてもレプリカがない ので、応答が出来ない。Rebalance後応答可。 • Couchbase Type Replication 1～3 Auto FailoverがONになっていると、Failover後レプリカ を持つサーバーが代わりに応答を返す。 今はMemcached Typeを利用していますが、今後はこの設定のバケットへ切り替えを 考えています。 今後もベストな設定を求めて検証を続けていきます。
66. 最後に
67. Couchbaseはまさに求めていた ソフトウェアです。 これからも検証を行いつつ使い続けます。 Thank you！Couchbase
68. ご清聴ありがとうございました！