ユーザベースのDockerへの取り組み

Transcript

1. ユーザベースの Dockerへの 取り組み
2. 自己紹介 氏名 　羽山雄偉 所属 　株式会社ユーザベース　インフラエンジニア 　前職は某ゲーム会社でソーシャルゲームのインフラエンジニア 担当業務 　全社的なインフラの構築・運用を担当 　社内、コーポレートサイト、SPEEDA、新サービス、etc..
3. アジェンダ 会社紹介 開発環境のDocker運用 FORCASのDockerへの取り組み まとめ
4. ➢ ミッション 　経済情報で、世界をかえる ➢ 沿革 　2008年　設立 　2016年　マザーズ上場 ➢ 拠点 　東京・上海・香港・シンガポール・スリランカ ➢ 従業員数 　約200人
5. 提供サービス 企業・業界分析のための 情報プラットフォーム 経済ニュース プラットフォーム
6. 提供サービス 日本スタートアップの 企業情報データベース ABMに特化した マーケティングエンジン 絶賛開発中！！
7. 利用している技術 オンプレ, AWS, Azure, GCP, Java8, Scala, Clojure, Kotlin, Wicket, Spring, Seasar2, Vert.x, RxJava, Aerospike, Elasticsearch, Jenkins, Selenium, Docker, Ansible, Rancher AWS, Java8, Swift, Kotlin, Spring, Node.js, Vert.x, React, Vue.js, Realm, DynamoDB, Redshift, Elasticsearch, Firebase, Ansible AWS, Java8, Kotlin, Python, ES2017, Spring, Spring Boot, Vue.js, scikit-learn, Flask, Celery, Jupyter Notebook, Aurora, CircleCI, Docker, Ansible, Rancher AWS, Ruby, ES2017, Node.js, React, Flow, Redux, redux-saga, Ruby on Rails, koa, Ansible
8. アジェンダ 会社紹介 開発環境のDocker運用 FORCASのDockerへの取り組み まとめ
9. 開発Docker環境で抱えていた悩み 30人の開発体制 複数チームで平行して開発
10. Dockerホストが複数台立ち上がり、 どこのチームがどのコンテナを使っているのかが分かりづらくなってきた 開発Docker環境で抱えていた悩み 30人の開発体制 複数チームで平行して開発
11. 簡単にスケールでき、一括で管理運用ができる環境 スケールする環境下でもデータの消えない仕組み スケールする環境下でも自動的にリソース監視 プロジェクトごとに色々なコンテナを利用して開発ができる 開発環境で実現したかった世界
12. 開発環境について データセンター内にあるプライベートクラウド（XenSever）の中に Rancherを導入
13. Rancher Labs の提供しているDockerのクラスタ管理ツール RancherOSで様々なシステムを合わせて提供 充実したWebインターフェース 4つのオーケストレーション環境を利用可能 現在 Docker 17.03.0-ce まで対応 Cattleを利用中
14. Rancher Agent rancher/agent rancher/agent rancher/agent ホストを足すだけでスケール可能 自動でコンテナを分散管理 DockerのLink機能で、内部通信 Link 出来るようになったこと
15. ②Rancherから 　イメージを利用する Rancherの使い方 ①Dockerレジストリに 　イメージをpushして
16. Stackを利用することでプロジェクトごとにコンテナを管理・運用できる プロジェクトごとのコンテナ管理 プロジェクト1 プロジェクト2 ・ ・ ・
17. プロジェクトの開始方法 ②docker-compose.yml 　をアップロード ③Stackが追加され、 　Dockerコンテナが 　稼働する ①プロジェクト 　（Stack）を作成
18. Catalogからボリュームプラグインの Rancher-NFSを利用してデータを永続化 データの永続化
19. コンテナの自動監視 Prometheusを利用し、各コンテナを自動監視 Catalogから選択するだけで利用できる
20. アジェンダ 会社紹介 開発環境のDocker運用 FORCASのDockerへの取り組み まとめ
21. FORCASのDockerへの取り組み インフラ環境 - AWSを採用 マイクロサービス - 各種APIはDockerを利用 バッチ環境 - Docker CI環境 - Docker + CircleCI + Slack
22. FORCASで目指している世界 マイクロサービスの担当者がそれぞれCIを回せる環境 メンテナンスフリーなバッチ環境
23. FORCASのインフラ概要図 SPEEDA Bitbucket Slack CircleCI Front API Lead API Analyze API 名寄せ API batch Elasticsearch Log SPEEDAデータ Lambda ECR ELB ELB ELB ELB Redis Aurora
24. バッチ処理の取り組み メンテナンスフリーなバッチ環境を目指して・・・ - Dockerレジストリにイメージをpushするだけでリリースされる環境に - SPEEDAからのアクションをトリガーにバッチが動き出す仕組みに
25. Elasticsearch SPEEDA ①データ配信 ②Lambda実行 ECR Batch S3 Lambda Aurora バッチ処理の仕組み
26. Elasticsearch ③サーバ起動 SPEEDA ①データ配信 ②Lambda実行 バッチ処理の仕組み ECR Batch S3 Lambda Aurora
27. Elasticsearch ③サーバ起動 ④Dockerイメージ取得 ⑥シャットダウン SPEEDA ①データ配信 ②Lambda実行 ⑤Dockerコンテナ起動 バッチ処理の仕組み ECR Batch S3 Lambda Aurora
28. CIの取り組み マイクロサービスの担当者がそれぞれCIを回せる環境を目指して・・・ - CircleCIによるイメージ作成の自動化 - ChatOps環境の構築
29. Front API Lead API Analyze API 名寄せ API ECR STG Bitbucket Slack CircleCI CIの仕組み ①DockerイメージPush
30. Front API Lead API Analyze API 名寄せ API ECR STG Bitbucket Slack CircleCI CIの仕組み ①DockerイメージPush ②サーバ再起動
31. Front API Lead API Analyze API 名寄せ API ECR STG Bitbucket Slack CircleCI CIの仕組み ②サーバ再起動 ③Dockerイメージ取得 ①DockerイメージPush ④Dockerコンテナ起動
32. Front API Lead API Analyze API 名寄せ API ECR STG Bitbucket Slack CircleCI CIの仕組み ①DockerイメージPush ④リリース ⑤EC2インスタンス作成 ②サーバ再起動 ③Dockerイメージ取得 ④Dockerコンテナ起動
33. Front API Lead API Analyze API 名寄せ API ECR STG Bitbucket Slack CircleCI CIの仕組み ④リリース ⑤EC2インスタンス作成 ⑥Dockerイメージ取得 ①DockerイメージPush ⑦Dockerコンテナ起動 ②サーバ再起動 ③Dockerイメージ取得 ④Dockerコンテナ起動
34. Front API Lead API Analyze API 名寄せ API ECR STG Bitbucket Slack CircleCI CIの仕組み ⑥Dockerイメージ取得 ⑧サーバプール切り替え ①DockerイメージPush ④リリース ⑤EC2インスタンス作成 ⑦Dockerコンテナ起動 ②サーバ再起動 ③Dockerイメージ取得 ④Dockerコンテナ起動
35. アジェンダ 会社紹介 開発環境のDocker運用 FORCASのDockerへの取り組み まとめ
36. 複数の開発プロジェクトを管理するプラットフォームとしてRancherは便利 特にStackを利用したプロジェクト管理と Catalogから様々な環境の構築ができる点は非常に便利 FORCASではEC2インスタンスを起動すると最新のDockerコンテナが 立ち上がる環境にしており、サーバを管理しなくが楽になりそう まとめ
37. ありがとうございました