2015 年のうちにやっておきたい Amazon Elasticsearch Service 入門

JAWS-UG 福岡「ちょっと濃い目にAWSの話をしてみよう」で発表したスライドです。

Transcript

1. 2015 年のうちにやっておきたい Amazon Elasticsearch Service ⼊⾨ 2015.12.12 JAWS-UG福岡 ちょっと濃い⽬にAWSの話をしてみよう かっぱ(@inokara)
2. 提供
3. AWSを活⽤しながらビジネスに集中できる コンシェルジュサービス
4. 24時間365⽇ 定額課⾦/ 請求書払い PCI DSS、ISMS、Pマーク取得済みの運⽤体制 監視運⽤保守 企業 AWS
5. (1,500⽇間) ※ 2010年5⽉cloudpackサービススタート 36,000時間 連続稼働 (※)
6. 4 社 社超 プロジェク ト超 500 600 5年間 5年間AWSのみで運⽤保守
7. アジア地域4社 世界28社 最上位パートナー プレミアコンサルティングパートナー
8. 企業規模別 cloudpack利⽤⽐率 36% 27 37 % % 中⼩企業 中堅企業 ⼤企業
9. Web系 91 ％ うち33%が ソーシャルゲームや メディアサイト cloudpackͷओͳར༻状況
11. アジェンダ ☁ 注意 ☁ ⾃⼰紹介 ☁ Demo の準備 ☁ Amazon Elasticsearch Service について ☁ 個⼈的な事例(途中で Demo を挟むかも) ☁ Demo ☁ 終わり
12. 注意 ☁ ⾃分が Amazon Elasticsearch Service に⼊⾨したメ モです ☁ 運⽤事例等の役⽴つ情報は無いかもしれません ☁ 本資料に記載された内容の全ては作成時点の内容とな ります ☁ 本資料内で Amazon Elasticsearch Service を Amazon ES と省略して記載している部分があります
13. ⾃⼰紹介 ☁ 川原洋平(@inokara)※「かっぱ」と呼んでね♪ ☁ アイレット株式会社 cloudpack 事業部所属 ☁ ⾹椎からリモート勤務（1 年少々）しています
14. いきなり Demo の準備
15. Amazon ES クラスタを構築してみる ☁ 後ほど九州地⽅の PM 2.5 を可視化します ☁ その前に Amazon ES クラスタを構築します ☁ 10 分位でクラスタ構築されます ☁ クラスタ構築後 PM2.5 のデータを投⼊します
16. Amazon Elasticserach Service について
17. その前に Elasticsearch とは ☁ スキーマフリー ☁ 分散ドキュメントストア ☁ REST & API ☁ インストールが簡単、導⼊が簡単 ☁ Java で実装
18. ボクと Elasticsearch の過去 ☁ 導⼊し易いが故の… ☁ プラグイン ☁ JVM ☁ アクセスコントロール ‘ ৭ʑͱ൓ল͠ͳ͚Ε͹͍͚ͳ͍ࣄ͕͋Γ·͢ʜ͕ɺ ·ͨࠓ౓ʜ
19. Amazon Elsticsearch Service について(概要) ☁ 簡単デプロイ ☁ 管理(可⽤性の確保、パッチ管理、障害検出、ノードの交 換、バックアップ、モニタリング等)は AWS にある程度 お任せ ☁ CloudWatch と連携した⾼いスケーラビリティ ☁ Kibana ⼊り(はじめから Kibana が利⽤可能) ☁ IAM ポリシーによって安全にクラスタにアクセス出来る
20. Amazon Elsticsearch Service について(導⼊ 1) ☁ Manegement Console からであれば数ステップ ☁ 後ほど Demo ☁ クラスタ = ドメイン ☁ ドメインを作るところから始める ☁ 10 分位でアクセス可能な状態になる
21. Amazon Elsticsearch Service について(導⼊ 2) ☁ インスタンスタイプの選択 ☁ T2 テスト、クラスタ管理向け ☁ R3 メモリ重視 ☁ I2 ハイパフォーマンス ☁ M3 ⼀般的な利⽤
22. Amazon Elsticsearch Service について(導⼊ 3) ☁ ドメインのノード数 ☁ Enable dedicated master ☁ クラスタ管理のみを⾏うノードを作成する(奇数で⽤意することを推奨) ☁ Enable zone awareness[あうぇあねす] ☁ リージョン内の複数の AZ にノード分散配置する ☁ Advance setting(今回は特に触れない) ☁ rest.action.multi.allow_explicit_index ☁ URL Base のアクセスポリシーを指定 ☁ indices.fielddata.cache.size ☁ fielddata のキャッシュサイズを指定
23. Amazon Elsticsearch Service について(導⼊ 4) ☁ ストレージ ☁ T2 シリーズ以外は Instance Store を選択することができる ☁ EBS は Magnetic / GP2 / PIOPS から選択することが出来る ☁ EBS サイズは最低 10GB から最⼤ 512GB まで指定することが出来 る(インスタンスサイズによって最⼤サイズは異なる) ☁ スナップショットの時間を指定する
24. Amazon Elsticsearch Service について(導⼊ 5) ☁ アクセスポリシーの設定 ☁ IAM や IP で制御することができる(後述)
25. Amazon Elsticsearch Service について(管理) ☁ モニタリングは CloudWatch で ☁ 必要に応じて⼿動でスケールアウトが可能 ☁ スナップショット ☁ デフォルトでは⾃動的に取得される ☁ スナップショット取得時間は指定可能 ☁ 保存期間は 14 ⽇間 ☁ レストアするには AWS サポートにお願いする必要がある... ☁ Elasticsearch API を使うことで⼿動でスナップショットを作成可能 (後述)
26. Amazon Elsticsearch Service について(API) ☁ 以下の API がサポートされている ☁ http://docs.aws.amazon.com/ja_jp/elasticsearch-service/ latest/developerguide/es-gsg-supported-operations.html ☁ サポートされていない API もある... ☁ 例えば、status とか(elasticsearch-head とかで使われている) ☁ ⽇々サポートされる API が増えている感もある
27. Amazon Elsticsearch Service について(プラグイン) ☁ 以下のプラグインが導⼊されている ☁ Kinaba 3 ☁ Kibana 4 ☁ jetty ☁ cloud-aws ☁ kuromoji ☁ icu ☁ ⾃分でプラグインが追加出来ない... ☁ そもそもインストールできたらマネージドではなくなるので仕⽅ないのかなと思っている
28. Amazon Elsticsearch Service について(アクセスポリシー) ☁ IAM ユーザー、AWS アカウントによるアクセス制 御 ☁ IP アドレスによるアクセス制御 ☁ Lambda からのアクセスは挫折した ☁ IAM でアクセス制御している API にリクエストする場合にはアクセスを 許可されたリソースの credential を使った署名を付与する必要がある ☁ SDK は上記を程よくラッピングしているので意識する必要は無い
29. そろそろ ES クラスタ出来たかな？
30. （続）Amazon ES クラスタを構築してみる ☁ クラスタが構築出来たらデータを投⼊します ☁ 投⼊するデータはそらまめ君で公開されている⼤ 気汚染物質のデータから PM2.5 のみを投⼊しま す(そらまめ君(http://soramame.taiki.go.jp/)) ☁ データは Ruby を使って投⼊します ☁ データの投⼊には暫く時間が掛かります…
31. 個⼈的な事例
32. ⼿動によるスナップショット http://inokara.hateblo.jp/entry/2015/12/05/181358
33. Fluentd + CloudWatch Logs との連携 http://inokara.hateblo.jp/entry/2015/12/06/192436
34. Fluentd + CloudWatch Logs との連携
35. Amazon S3 + S3 Event notification + SQS との連携 http://inokara.hateblo.jp/entry/2015/12/10/224031
36. Amazon S3 + S3 Event notification + SQS との連携
37. そして Demo
38. 放り込んでおいたそらまめ君データを Kibana 4 で可視化する
39. 放り込んでおいたそらまめ君データを Kibana 4 で可視化する ☁ そらまめ君(http://soramame.taiki.go.jp/) ☁ 先ほど放り込んでおいたデータを Kibana4 で可 視化する ☁ Kabana4 のオブジェクト情報(JSON)も Amazon ES に⼊っている(弄ることも出来る)
40. そらまめ君のデータを放り込んで Kibana 4 で可視化する(デモにミスった場合の予備) こんな感じになる予定
41. （おまけ）そらまめ君のデータを毎⽇配信中 S3 にホスティング Lambda でツイート Docker + Ruby + Dynamo DB で収集
42. 最後に
43. Amazon ES を触った感想 ☁ 簡単構築、運⽤管理のコストは下がると思う ☁ 基本的な操作は Rest API で出来るので普通の Elasticsearch となんら遜⾊が 無い ☁ 但し、利⽤が制限されている API があるので注意 ☁ インデックスの Mapping についても⾃分で⾯倒を⾒る必要がある(逆に⾔うと 任意に定義出来る) ☁ Kibana 同梱は嬉しいが⾃分でプラグインインストールできなさそうなのは⾟ いけど我慢しよう ☁ Lambda との連携が理想的だけどアクセスポリシーと併⽤する際には注意が必 要(SDK が対応してくれると嬉しい)
44. 参考リンク ☁ http://docs.aws.amazon.com/ja_jp/elasticsearch-service/latest/ developerguide/aes-dg.pdf ☁ https://www.elastic.co/guide/en/elasticsearch/reference/current/ index.html ☁ https://speakerdeck.com/johtani/elasticsearchfalseshao-jie-tote-zheng- cross-2015 ☁ http://soramame.taiki.go.jp/ ☁ http://inokara.hateblo.jp/entry/2015/12/05/181358 ☁ http://inokara.hateblo.jp/entry/2015/12/06/192436 ☁ http://inokara.hateblo.jp/entry/2015/12/10/224031
45. 質問…(はお⼿柔らかに…)
46. 提供