ClassiでのElasticsearchの利用について

Transcript

1. Copyright © 2018 Classi Corp. All Rights Reserved. Classiでの Amazon

   Elasticsearch Serviceの活用 Copyright © 2018 Classi Corp. All Rights Reserved. プロダクト部 中村真一郎

2. Copyright © 2018 Classi Corp. All Rights Reserved. • 中村真一郎

   • twitter: s_nakamura, github: nakaearth • 株式会社ヒトメディアからClassiへ出向 • 職歴 • sIer: 8年 • BtoCやBtoBのサービスやっている会社に10年近く • 現在は • Classiで、Railsエンジニアとして働いています 1 自己紹介

3. Copyright © 2018 Classi Corp. All Rights Reserved. • ClassiでElasticsearchをどう使っているのか

   • 運用している時に出てきた問題、課題など a. コンテンツボックス検索機能 b. 校内グループ • その他 2 目次

4. Copyright © 2018 Classi Corp. All Rights Reserved. • 現在Amazon

   Elasticsearch Serviceを使っているのは以下の機能 • テスト、問題、アンケート等の検索機能(コンテンツボックス） • 先生/生徒がメッセージをやり取りする機能(校内グループ) • その他様々なデータの検索 • この中の最初の二つについて話します 3 ClassiでElasticsearchをどう使っているのか

5. Copyright © 2018 Classi Corp. All Rights Reserved. コンテンツボックス •

   これはもともとMysqlのmroongaストレージエンジンを使って作られて いたがパフォーマンス悪化のためElasticsearchに変更して改善を試 みた • 何故変更したかというと、そもそもデータ構造がmroongaに適し てなかった • 階層構造のデータ • データの属性(科目だったり難易度だったり)が検索対象1に対してN。 • ElasticsearchはDocument指向DBでjson形式のデータを登録。 • json形式のデータを検索できるので、階層構造になっていても大丈 夫。 • AWSにはAmazon Elasticsearch Serviceがある。 → Elasticsearchに変更することに。 4 ClassiでElasticsearchをどう使っているのか

6. Copyright © 2018 Classi Corp. All Rights Reserved. コンテンツボックス •

   作り直した結果どうなったか・・・。 • レスポンスが10秒以上掛かっていたものが1~2秒まで短縮でき た・・。 • テストも結構細かく追加した。 • まずは機能として使えないという危機は脱した で、リプレースしてから月日が流れ、新たな課題が・・・。 5 ClassiでElasticsearchをどう使っているのか

7. Copyright © 2018 Classi Corp. All Rights Reserved. コンテンツボックス •

   運用して感じた課題、それは「 バージョンアップ」 • 既に6系が出ているElasticsearch。で今使っているのは・・・・・ 2.3!!!!!!! 6 運用している時に出てきた問題、課題など

8. Copyright © 2018 Classi Corp. All Rights Reserved. コンテンツボックス •

   随分差があるように見えるが・・・ • Elasticsearchは2系の次は5系。だからそこまで古くはない・・・・とは 言えない・・・。 • やっぱり古い・・・。 • アップデートしないとダメ • どうやるか・・・。 • reindex apiはまだ使えない • バックアップデータのrestoreだと差分がでる 7 運用している時に出てきた問題、課題など

9. Copyright © 2018 Classi Corp. All Rights Reserved. コンテンツボックス •

   Elasticsearchのバージョンを上げて新規にindexを作成して、そこに 対し既存のデータをimport。 • データimport中も並行して新規データも入れるようにする • 割と泥臭いかもしれないけど、この方式が無難 8 運用している時に出てきた問題、課題など ver2.3でindex ver5でindex作成 APP

10. Copyright © 2018 Classi Corp. All Rights Reserved. 校内グループ •

    バージョン5系 • 当初、学校毎にindexを作成。 • 学校毎にデータが別れている。 • messageとcommentが1対多の構造。それを一つのJSONで表して登 録。 • 本文に対してキーワード検索を行う 9 ClassiでElasticsearchをどう使っているのか

11. Copyright © 2018 Classi Corp. All Rights Reserved. 校内グループ •

    学校数が多くなりindexの数は〜千以上に。 • index作成ができない状態に・・・・。 • master nodeを置いてないとindexの作成やindexの更新が検索側に 影響する • 結局master nodeを追加し、index数も抑えた形で作り直してリリース 10 ClassiでElasticsearchをどう使っているのか

12. Copyright © 2018 Classi Corp. All Rights Reserved. 校内グループ •

    index数は〜十個。学校を各Indexに適宜分散させる • master nodeを3つ(推奨）にし、データnodeを2つ • 安定した。 11 ClassiでElasticsearchをどう使っているのか

13. Copyright © 2018 Classi Corp. All Rights Reserved. 校内グループ •

    今は6系が出てます。→バージョンアップしないと!! • 最近AWSからAmazon Elasticsearch Serviceのupdateに関して使えそ うな機能がリリース！！ 12 ClassiでElasticsearchをどう使っているのか

14. Copyright © 2018 Classi Corp. All Rights Reserved. 校内グループ •

    5系から使える機能。 • ドメインのアップグレードから今のバージョンから次のバージョンに アップグレードすることができる（ノーメンテで) 13 ClassiでElasticsearchをどう使っているのか

15. Copyright © 2018 Classi Corp. All Rights Reserved. 校内グループ •

    「アップグレードの適格性の確認」を実行するとアップグレードがこ のままできるかの確認ができる。 • 結果は「アップグレード履歴」から確認できる 14 ClassiでElasticsearchをどう使っているのか

16. Copyright © 2018 Classi Corp. All Rights Reserved. 校内グループ •

    5系から使える機能なので、2系から5系へは今までのように運用側 で工夫してやるしかないが、幸い5系を使っているのでこの機能につ いてはAWSのこの機能が使えるかも • まだテスト環境でしか試してない。本番適用は近日中の予定。 15 ClassiでElasticsearchをどう使っているのか

17. Copyright © 2018 Classi Corp. All Rights Reserved. その他 •

    バージョンアップの追従が早くなった。 → 使える機能は限られている マシンラーニングなど使えない機能が結構ある。 →運用コストは抑えられる。 • バックアップ。自由にやりたいなら自前でスクリプト書いてやる。 • kibanaを使って中身を見ることはできる 16 ClassiでElasticsearchをどう使っているのか

18. Copyright © 2018 Classi Corp. All Rights Reserved. 以上です。ご静聴ありがとうございます！ 17