Slide 1
Slide 1 text
2015 年のうちにやっておきたい
Amazon Elasticsearch Service ⼊⾨
2015.12.12
JAWS-UG福岡 ちょっと濃い⽬にAWSの話をしてみよう
かっぱ(@inokara)
Slide 2
Slide 2 text
提供
Slide 3
Slide 3 text
AWSを活⽤しながらビジネスに集中できる
コンシェルジュサービス
Slide 4
Slide 4 text
24時間365⽇
定額課⾦/
請求書払い
PCI DSS、ISMS、Pマーク取得済みの運⽤体制
監視運⽤保守
企業 AWS
Slide 5
Slide 5 text
(1,500⽇間)
※ 2010年5⽉cloudpackサービススタート
36,000時間
連続稼働
(※)
Slide 6
Slide 6 text
4 社
社超
プロジェク
ト超
500
600
5年間
5年間AWSのみで運⽤保守
Slide 7
Slide 7 text
アジア地域4社
世界28社
最上位パートナー
プレミアコンサルティングパートナー
Slide 8
Slide 8 text
企業規模別 cloudpack利⽤⽐率
36%
27 37
% %
中⼩企業 中堅企業 ⼤企業
Slide 9
Slide 9 text
Web系
91
％
うち33%が
ソーシャルゲームや
メディアサイト
cloudpackͷओͳར༻状況
Slide 10
Slide 10 text
No content
Slide 11
Slide 11 text
アジェンダ
☁ 注意
☁ ⾃⼰紹介
☁ Demo の準備
☁ Amazon Elasticsearch Service について
☁ 個⼈的な事例(途中で Demo を挟むかも)
☁ Demo
☁ 終わり
Slide 12
Slide 12 text
注意
☁ ⾃分が Amazon Elasticsearch Service に⼊⾨したメ
モです
☁ 運⽤事例等の役⽴つ情報は無いかもしれません
☁ 本資料に記載された内容の全ては作成時点の内容とな
ります
☁ 本資料内で Amazon Elasticsearch Service を
Amazon ES と省略して記載している部分があります
Slide 13
Slide 13 text
⾃⼰紹介
☁ 川原洋平(@inokara)※「かっぱ」と呼んでね♪
☁ アイレット株式会社 cloudpack 事業部所属
☁ ⾹椎からリモート勤務（1 年少々）しています
Slide 14
Slide 14 text
いきなり Demo の準備
Slide 15
Slide 15 text
Amazon ES クラスタを構築してみる
☁ 後ほど九州地⽅の PM 2.5 を可視化します
☁ その前に Amazon ES クラスタを構築します
☁ 10 分位でクラスタ構築されます
☁ クラスタ構築後 PM2.5 のデータを投⼊します
Slide 16
Slide 16 text
Amazon Elasticserach Service について
Slide 17
Slide 17 text
その前に Elasticsearch とは
☁ スキーマフリー
☁ 分散ドキュメントストア
☁ REST & API
☁ インストールが簡単、導⼊が簡単
☁ Java で実装
Slide 18
Slide 18 text
ボクと Elasticsearch の過去
☁ 導⼊し易いが故の…
☁ プラグイン
☁ JVM
☁ アクセスコントロール
‘ ৭ʑͱল͠ͳ͚Ε͍͚ͳ͍ࣄ͕͋Γ·͢ʜ͕ɺ
·ͨࠓʜ
Slide 19
Slide 19 text
Amazon Elsticsearch Service について(概要)
☁ 簡単デプロイ
☁ 管理(可⽤性の確保、パッチ管理、障害検出、ノードの交
換、バックアップ、モニタリング等)は AWS にある程度
お任せ
☁ CloudWatch と連携した⾼いスケーラビリティ
☁ Kibana ⼊り(はじめから Kibana が利⽤可能)
☁ IAM ポリシーによって安全にクラスタにアクセス出来る
Slide 20
Slide 20 text
Amazon Elsticsearch Service について(導⼊ 1)
☁ Manegement Console からであれば数ステップ
☁ 後ほど Demo
☁ クラスタ = ドメイン
☁ ドメインを作るところから始める
☁ 10 分位でアクセス可能な状態になる
Slide 21
Slide 21 text
Amazon Elsticsearch Service について(導⼊ 2)
☁ インスタンスタイプの選択
☁ T2 テスト、クラスタ管理向け
☁ R3 メモリ重視
☁ I2 ハイパフォーマンス
☁ M3 ⼀般的な利⽤
Slide 22
Slide 22 text
Amazon Elsticsearch Service について(導⼊ 3)
☁ ドメインのノード数
☁ Enable dedicated master
☁ クラスタ管理のみを⾏うノードを作成する(奇数で⽤意することを推奨)
☁ Enable zone awareness[あうぇあねす]
☁ リージョン内の複数の AZ にノード分散配置する
☁ Advance setting(今回は特に触れない)
☁ rest.action.multi.allow_explicit_index
☁ URL Base のアクセスポリシーを指定
☁ indices.fielddata.cache.size
☁ fielddata のキャッシュサイズを指定
Slide 23
Slide 23 text
Amazon Elsticsearch Service について(導⼊ 4)
☁ ストレージ
☁ T2 シリーズ以外は Instance Store を選択することができる
☁ EBS は Magnetic / GP2 / PIOPS から選択することが出来る
☁ EBS サイズは最低 10GB から最⼤ 512GB まで指定することが出来
る(インスタンスサイズによって最⼤サイズは異なる)
☁ スナップショットの時間を指定する
Slide 24
Slide 24 text
Amazon Elsticsearch Service について(導⼊ 5)
☁ アクセスポリシーの設定
☁ IAM や IP で制御することができる(後述)
Slide 25
Slide 25 text
Amazon Elsticsearch Service について(管理)
☁ モニタリングは CloudWatch で
☁ 必要に応じて⼿動でスケールアウトが可能
☁ スナップショット
☁ デフォルトでは⾃動的に取得される
☁ スナップショット取得時間は指定可能
☁ 保存期間は 14 ⽇間
☁ レストアするには AWS サポートにお願いする必要がある...
☁ Elasticsearch API を使うことで⼿動でスナップショットを作成可能
(後述)
Slide 26
Slide 26 text
Amazon Elsticsearch Service について(API)
☁ 以下の API がサポートされている
☁ http://docs.aws.amazon.com/ja_jp/elasticsearch-service/
latest/developerguide/es-gsg-supported-operations.html
☁ サポートされていない API もある...
☁ 例えば、status とか(elasticsearch-head とかで使われている)
☁ ⽇々サポートされる API が増えている感もある
Slide 27
Slide 27 text
Amazon Elsticsearch Service について(プラグイン)
☁ 以下のプラグインが導⼊されている
☁ Kinaba 3
☁ Kibana 4
☁ jetty
☁ cloud-aws
☁ kuromoji
☁ icu
☁ ⾃分でプラグインが追加出来ない...
☁ そもそもインストールできたらマネージドではなくなるので仕⽅ないのかなと思っている
Slide 28
Slide 28 text
Amazon Elsticsearch Service について(アクセスポリシー)
☁ IAM ユーザー、AWS アカウントによるアクセス制
御
☁ IP アドレスによるアクセス制御
☁ Lambda からのアクセスは挫折した
☁ IAM でアクセス制御している API にリクエストする場合にはアクセスを
許可されたリソースの credential を使った署名を付与する必要がある
☁ SDK は上記を程よくラッピングしているので意識する必要は無い
Slide 29
Slide 29 text
そろそろ ES クラスタ出来たかな？
Slide 30
Slide 30 text
（続）Amazon ES クラスタを構築してみる
☁ クラスタが構築出来たらデータを投⼊します
☁ 投⼊するデータはそらまめ君で公開されている⼤
気汚染物質のデータから PM2.5 のみを投⼊しま
す(そらまめ君(http://soramame.taiki.go.jp/))
☁ データは Ruby を使って投⼊します
☁ データの投⼊には暫く時間が掛かります…
Slide 31
Slide 31 text
個⼈的な事例
Slide 32
Slide 32 text
⼿動によるスナップショット
http://inokara.hateblo.jp/entry/2015/12/05/181358
Slide 33
Slide 33 text
Fluentd + CloudWatch Logs との連携
http://inokara.hateblo.jp/entry/2015/12/06/192436
Slide 34
Slide 34 text
Fluentd + CloudWatch Logs との連携
Slide 35
Slide 35 text
Amazon S3 + S3 Event notification + SQS との連携
http://inokara.hateblo.jp/entry/2015/12/10/224031
Slide 36
Slide 36 text
Amazon S3 + S3 Event notification + SQS との連携
Slide 37
Slide 37 text
そして Demo
Slide 38
Slide 38 text
放り込んでおいたそらまめ君データを Kibana 4 で可視化する
Slide 39
Slide 39 text
放り込んでおいたそらまめ君データを Kibana 4 で可視化する
☁ そらまめ君(http://soramame.taiki.go.jp/)
☁ 先ほど放り込んでおいたデータを Kibana4 で可
視化する
☁ Kabana4 のオブジェクト情報(JSON)も
Amazon ES に⼊っている(弄ることも出来る)
Slide 40
Slide 40 text
そらまめ君のデータを放り込んで Kibana 4 で可視化する(デモにミスった場合の予備)
こんな感じになる予定
Slide 41
Slide 41 text
（おまけ）そらまめ君のデータを毎⽇配信中
S3 にホスティング
Lambda でツイート
Docker + Ruby + Dynamo DB で収集
Slide 42
Slide 42 text
最後に
Slide 43
Slide 43 text
Amazon ES を触った感想
☁ 簡単構築、運⽤管理のコストは下がると思う
☁ 基本的な操作は Rest API で出来るので普通の Elasticsearch となんら遜⾊が
無い
☁ 但し、利⽤が制限されている API があるので注意
☁ インデックスの Mapping についても⾃分で⾯倒を⾒る必要がある(逆に⾔うと
任意に定義出来る)
☁ Kibana 同梱は嬉しいが⾃分でプラグインインストールできなさそうなのは⾟
いけど我慢しよう
☁ Lambda との連携が理想的だけどアクセスポリシーと併⽤する際には注意が必
要(SDK が対応してくれると嬉しい)
Slide 44
Slide 44 text
参考リンク
☁ http://docs.aws.amazon.com/ja_jp/elasticsearch-service/latest/
developerguide/aes-dg.pdf
☁ https://www.elastic.co/guide/en/elasticsearch/reference/current/
index.html
☁ https://speakerdeck.com/johtani/elasticsearchfalseshao-jie-tote-zheng-
cross-2015
☁ http://soramame.taiki.go.jp/
☁ http://inokara.hateblo.jp/entry/2015/12/05/181358
☁ http://inokara.hateblo.jp/entry/2015/12/06/192436
☁ http://inokara.hateblo.jp/entry/2015/12/10/224031
Slide 45
Slide 45 text
質問…(はお⼿柔らかに…)
Slide 46
Slide 46 text
提供
Slide 47
Slide 47 text
No content