OneOps

Copyright 2016 FUJITSU LABORATORIES LTD
OneOps
たかはしなおと
0
第３２回 PaaS勉強会

View Slide

Who am I ?
たかはしなおと
TwitterID: tnaoto
富士通研究所所属
日本Cloud Foundryグループ監事
1

View Slide

振り返り
n 前回のPaaS勉強会
2 Copyright 2016 FUJITSU LABORATORIES LTD
by @jacopen

View Slide

前回の結論
まともに動かない！
コードの扱いが雑（レビューしてない？）

View Slide

残った印象
disられたエンタープライズ

View Slide

ザ・エンタープライズ
呼んだ（´・ω・｀）？
* 富士通汐留本社
黙っているわけにはいかない

View Slide

今日のテーマ
ぼくの知ってるエンタープライズはこんなはずじゃない
と、いうことで深く見てみることにする

View Slide

OneOps
Cloud Application lifecycle Management

View Slide

OneOps
なんか日経コンピュータあたりの表紙になりそうな文言

View Slide

OneOps
なんか日経コンピュータあたりの表紙になりそうな文言
釣るのも釣れるのは、エンタープライズな会社ですけどね

View Slide

OneOps
Walmartが公開したCI/CDをするためのOSS
Walmartのショッピングサイト
(walmart.com、Sam’s Clubなど)は
OneOpsを使って運用されているらしい
10

View Slide

前回の@jacopenの発表より
50兆円くらい

View Slide

富士通約4兆7千億円（2014年度連結）
http://pr.fujitsu.com/jp/ir/data/region.html

View Slide

売上だけで言えば、
スーパーエンタープライズな事案

View Slide

OneOpsのGoogleトレンド
14
きっと、エンタープライズな情シスやSEが（ｒｙ

View Slide

エンタープライズな会社に属しているので、
これは触っておかないと、半年後くらいになんか言われる（えっ

View Slide

エンタープライズな会社に属しているので、
これは触っておかないと、半年後くらいになんか言われる（えっ
枯れたもの（安定している）って大事
（半年後にたぶん僕の興味は無いけど）

View Slide

と、いうことで、先にまず食いつきが良さそうな画面から

View Slide

OneOpsのJavaの例
18

View Slide

なんだか、エンタープライズが好きそうな画面
((o(´∀｀)o))ﾜｸﾜｸ

View Slide

OneOpsのJavaの例
20
特にこの辺

View Slide

ビジネスメリット
n PaaS 2.0
n ビジネスとテクノロジー、運用の緩衝を減らす
n イノベーションが加速する
• すぐに作って試せるから
n 継続的ライフサイクル管理
• OneOpsを使って起動されたアプリケーションは、
オートパイロットによりオートスケール、オートヒール／リペアが可能
n ポータビリティ
• ”Cloud shop”から、テクノロジー、スケーラビリティ、セキュリティ、カスタマサービス、
もしくは低コストを選択でき、アプリケーションやデータベースを様々なプロバイダで
稼働出来る
n OneOpsは、開発者と運用者の間にあるクラウド環境へのデリバリ
をコントロールする。クラウドアプリケーションに必要なものをワンス
トップで提供する
http://oneops.com/benefits.html

View Slide

去年、一昨年と日経コンピュータあたりを飾った文言の数々
つまり、これはエンタープライズだと思う

View Slide

参考情報
解説
エンタープライズな会社ほど、
上層部が日経コンピュータを読んでいるらしい

View Slide

開発者のメリット
n One Design
n Any Cloud
n All Environments
n Cloud Technology Agnostic
n Manage Deployments
n High Availability
n Desigin catalog
n Auto Healing
n Auto replace
n Many Software Products
supported
n Auto Scaling
n API
n Monitoring
n Best Practices are the default
n Oneops was build to scale
n Continuous delivery
n Environment profiles

View Slide

n One Design
n Any Cloud
n All Environments
n High Availability
n Desigin catalog
n Auto Healing
n Auto replace
supported
n Auto Scaling
n API
n Monitoring
n OneOps was build to scale
エンタープライズが気にしそうな文言
注：個人的な見解です

View Slide

n One Design
n Any Cloud
n All Environments
n High Availability
n Desigin catalog
n Auto Healing
n Auto replace
supported
n Auto Scaling
n API
n Monitoring
n OneOps was build to scale
気にはなるけど、本番は怖い感じ

View Slide

運用者
n Monitoring
n Alerting
n LADP/AD Identity Integration
n Configuration Management
system
n Oneops is naturally
compliance – ready
n Cross cloud showback
n Cross cloud quota
n Configuration policy
governance
n Custom defined clouds
n Cloud migration made easy
n Extensive cloud usage
reporting
n Oneops managing oneops
n Automation technology
agnostic
n Saas ready at birth
n Designed and proven to scale
n Commitment to open source
n Oneops has a bright future

View Slide

運用者
n Monitoring
n Alerting
n LADP/AD Identity Integration
n Configuration Management
system
n Oneops is naturally
compliance – ready
n Cross cloud showback
n Cross cloud quota
n Configuration policy
governance
n Custom defined clouds
n Cloud migration made easy
n Extensive cloud usage
reporting
n OneOps managing OneOps
n Automation technology
agnostic
n Saas ready at birth
n Designed and proven to scale
n Commitment to open source
n OneOps has a bright future
エンタープライズが気にしそうな文言
ただし、実際の運用者ではない場合も多い

View Slide

Integration
n Support cloud
n Openstack(Liberty,kilo,juno)
n Rackspace
n Azure
n AWS
n CenturyLink
n Support product
n Couchbase
n Tomcat
n Nodejs
n Docker
n Cassandra
n Datastax
n Potgresql
n Netscaler
n Ubuntu 14.04
n Centos 7
n Ruby
n php
n Perl
n Apache
n Elasticsearch
n Zookeeper
n MySLQ
n Redis
n Squid
n Oracle
n Rabbitmq
n ActiveMQ
n TIBCO
n Java
n JBOSS
n Solr
n Liferay
n Go
n Flume
n Haproxy

View Slide

Integration
n Support cloud
n Openstack(Liberty,kilo,juno)
n Rackspace
n Azure
n AWS
n CenturyLink
n Support product
n Couchbase
n Tomcat
n Nodejs
n Docker
n Cassandra
n Datastax
n Potgresql
n Netscaler
n Ubuntu 14.04
n Centos 7
n Ruby
n php
n Perl
n Apache
n Elasticsearch
n Zookeeper
n MySLQ
n Redis
n Squid
n Oracle
n Rabbitmq
n ActiveMQ
n TIBCO
n Java
n JBOSS
n Solr
n Liferay
n Go
n Flume
n Haproxy
開発運用より要件定義で重宝されそうな感じ

View Slide

概要は、わかった（というか前回も言ってた）
じゃ、前回無かった肝心の中身はどうなんだ

View Slide

やっと本題
（前置きが長いのもエンタープライズの（ｒｙ））

View Slide

Architecture Overview

View Slide

OneOps System Architecture

View Slide

ruby
Java
ruby

View Slide

Ruby
OneOps?
Java
Walmart?
Ruby
OneOps?
注）コードの品質状況から
勝手に判断しています

View Slide

OneOpsには大きく2つの役割がある
オペーレーター（管理者）
GUI(CLI)を操作して、アプリケーションをデプロイする人
アプリケーション開発者も含まれている気がする
開発者
アプリケーションのための設定を作る人
a.k.a インフラエンジニア

View Slide

オペレーター

View Slide

利用するクラウドを設定
awsやopenstackという大枠の選択
と
EC2やNovaといったサービス情報を設定

View Slide

アプリケーションを定義
Assembiles
Platformを定義
利用するpack（アプリケーションテンプレート）を選択
Designを定義
アプリケーションにコードを定義、利用OSの指定など
Transion
デプロイ名やDNS名、利用するクラウドを選択
Operation
VMを作って、アプリを入れる

View Slide

動作の実態
管理サーバの上でchef soloを実行して
VM作成やサービス設定を行い、
サービスや作成したVMに対して、
knife solo(chef solo)を実行

View Slide

このあたり

View Slide

デモ

View Slide

開発者

View Slide

n 開発者

View Slide

すべては、このリポジトリに凝縮
https://github.com/oneops/circuit-oneops-1

View Slide

大きく４つ
Catalog
構成済みテンプレート？
Cloud
利用するクラウド、サービスの定義
Component
実行対象の検索と、レシピの実体
Packs
Componentの依存関係や定義情報集。いわゆる知見集

View Slide

Catalog
ここで選択出来るらしいが出ない・・・
https://github.com/oneops/circuit-oneops-1/tree/master/catalogs

View Slide

Cloud
利用するクラウド、サービスの定義
接続エンジンがFogなので、
アクセス情報用のテンプレを作る
https://github.com/oneops/circuit-oneops-1/tree/master/clouds

View Slide

AWS向けだとこんな感じ
https://github.com/oneops/circuit-oneops-1/blob/master/clouds/aws.rb

View Slide

Component
実行対象の検索と、レシピの実体
書き方は、chefのrecipeそのまま
ただし、イベントトリガーからフックされるように、
ファイル名が規定されている
add, update, delete, start, stopなど
各イベントに合わせた状態を定義しておく必要がある
例えば、addでインストール、deleteで削除やロールバック処理

View Slide

Packs
コンポーネントの配置（依存）関係を定義する
https://github.com/oneops/circuit-oneops-1/blob/master/packs/apache.rb

View Slide

Packs
コンポーネントの配置（依存）関係を定義する

View Slide

ちなみに

View Slide

監視
プロビジョニングしたVMに
nagiosサーバがインストールされる
このnagiosの監視トリガーに、
oneopsが用意したスクリプトを実行させている

View Slide


View Slide

Oneopsへのコントローラへの通知には、
VM上ログをlogstashを使って転送し、
esper(cep)を使ってイベントリを検索している
と思うけど、動いてない・・・

View Slide

このあたりのstartガイドがあるが、
他のプロジェクト参考にして書いてね
http://oneops.github.io/developer/getting-started/
っていう投げやり感
そして、どうやっても書ける気がしない絶望
開発環境くらい提供するのがエンタープライズの仕事だと思う

View Slide

まとめると
開発者: recipe書いてpack書いて、
管理者：circuit-oneops-1をsyncして
オペーレーター：デプロイ

View Slide

ここからが、アンサーソング

View Slide

僕がOneOpsがエンタープライズの作りじゃないと思う理由
1. コードのリリース管理が機能してない
2. 動作バイナリの配布がなく、コードをユーザにビルドさせる
3. コード自体の品質
4. OSSライセンスの理解

View Slide

いつもmasterでビルドしてる

View Slide

例えばGUIのリポジトリ
ちゃんとリリースタグがある

View Slide

一方でSetupのリポジトリ
Oh….

View Slide

Setupのリポジトリ
Oh….
そしてこの構築と主軸となるsetupに
リリースタグを使ってセットアップする方法は無い模様・・・

View Slide

エンタープライズプロダクトなら、リリース管理やって当然です！
ただし、コード上のタグ付けとは言ってない

View Slide

と、思っていて一昨日くらいに構築試してたときに気がつく
あれ、前なかった気がする

View Slide

https://github.com/oneops/dev-tools/commits/master/setup-scripts/install_build_srvr.sh
Masterからstableでビルド
引数化
日付入り最新stableでビルド
つい最近追加されてた
でも、jenkinsだけですべてのセットアップしてるわけじゃないんで・・・

View Slide

2. 動作バイナリの配布がなく、
コードをユーザにビルドさせる
Setup時にjenkinsがバイナリを生成する
(warとgem)

View Slide

細かいセットアップをワークフローで制御
ちなみにjenkinsのダウンロードや起動、ジョブ実行はrakeタスク・・・

View Slide

さて、何が起こるか

View Slide

よく分からない原因で、何度もセットアップ叩く状況に・・・
前述でmasterビルドしてると言いましたが、
この後起こることは想像出来ますよね・・・

View Slide

よく分からない原因で、何度もセットアップ叩く状況に・・・
このjenkinsを実行する前後でもshellでセットアップが流れていますので、
これだけで完結してない
ジョブは成功しているけど、
実態は失敗していることもある・・・

View Slide

エンタープライズならこうだろ？

View Slide

ぼくらのエクセル手順書
一部表現に、過大誇張が含まれています

View Slide

と、いうのは冗談として、
ちゃんと、セットアップ出来ることを確認しているので、
セットアップできないトラブルが起こることは少ない
そもそもユーザにビルドさせること自体稀

View Slide

レビューしてる？？

View Slide

PR方式を使って、変更管理

View Slide

PR方式を使って、変更管理
この修正コンテキストと、そしてそれがオッケーな理由は？？

View Slide

一方エンタープライズの変更管理と言えば
そろそろしつこい

View Slide

きっちり過ぎる必要もないが、
ちゃんとコンテキストも残そうぜって話
エンタープライズ関係ない

View Slide

4. OSSライセンス
OneOpeはApache License, Version 2.0で提供

View Slide

n 問題のリポジトリ

View Slide


View Slide

有名なcepエンジン
こいつのライセンスはGPLv2

View Slide

GPL v2ライセンス
Apache License, Version 2.0と互換性なし
Javaの場合、import文書いただけでもアウト
使う側のコードもGPLv2にならないといけない伝播性が高い
細かくいうと、同じプロセス上に乗るだけで実はNG
プロセスを分けて使うが定石

View Slide

いわゆるGPLライセンス汚染が発生している
ライセンス事項の直下ですでに。

View Slide

OneOpsの見解
バイナリ配布してないから問題ないとか違うから！

View Slide

エンタープライズなモノ作りの現場では、
法務部やOSS検出ツールをかけて
きっちりライセンスチェックしてます
プロダクト開発現場ではGPLは極力避けます

View Slide

Pivotal製 license_finder
https://github.com/pivotal/LicenseFinder
画面に入りきってないけど、問題があるGPLv2は１つだけ
ちなみにこれ、富士通がCloud Foundryの開発の中で
pivotalに働きかけて作ってもらったものの１つらしい

View Slide

僕がOneOpsがエンタープライズの作りじゃないと思う理由
2. 動作バイナリの配布がなく、コードをユーザにビルドさせる
4. OSSライセンスの理解
うちのエンタープライズはこうだ！っていう殴りこみ、ウェルカムです

View Slide

OneOpsを動かしたい人向け情報

View Slide

必要なもの
根性

View Slide

必要なもの
OpenStack
どこのご家庭にもあるので。
AWSにOneOps入りのAMIがありますが、動かなかったので。

View Slide

力技デプロイ
Chefのrecipeをいじって、
実行が成功したように見せかけてパスする
例えば
アプリケーションのデプロイにDNSサービスが必須になっている
OpenStack DNSサービス(Designate)の部分が、
Designateを立てても怪しかったので、recipeをまるっとNOP化

View Slide

注意事項
OneOpsの管理サーバがVMを作って、
recipe実行するが、Floating-ipに対応してないので、
作成するVMと同じ仮想ルータ配下にいる必要がある
Vagrantで手元でOneOps作ってもダメだったってこと

View Slide

デバックポイント１
GUIのログ
GUIはrailsだが、動作がrails serverのdevelopmentモード
動作ホームは、/opt/oneops
ログは、/opt/oneops/logs/
railsサーバなので、動作がそもそも遅い
OneOpsが動くVMは、8G以上（推奨16G以上）あるとよさ気

View Slide

ログ類
Chefの実行ログ
/opt/oneops/inductor/clouds-available/shared/log/inductor.log
Tomcatのログ /usr/local/tomcat7/logs/catalina.out

View Slide

失敗事案
rails serverが遅いので、unicorn化した
その１
ログイン画面は招待がないと入れないモードになる
コード追跡の結果、configにinvitationという項目を発見しOFF

View Slide

失敗事案
rails serverが遅いので、unicorn化した
その２
Railsが呼び出す、activeresourceが謎のNULLを吐く
解析の結果、CMSのURLがNULLになる
なお、これがNULLになると、そもそもGUIが立ち上がらなかったり、
ログイン直後にエラーになって何も出来ない
その趣旨のログは出ないので、
NULLになってエラーということがわかるまでも大変
3営業日くらいかけたけど原因分からず・・・。

View Slide

デバックポイント2
内部サービスが動いているのか、
動いていないのかが分からない
サービス起動スクリプトが壊れていて起動していない
コンソールにはさっぱり原因が分からないようなエラーが出る
内部が非同期処理のため、オペーレーターからは
問題なくデプロイ操作が出来るように見える
サービス自身の死活監視がない

View Slide

じゃないと、こんなコードが・・・

View Slide

どう考えても何か起こるし、起こったときにデバック出来ない図
そして、僕は動かなくてこのメソッド潰しました
なお、最近のセットアップでは、このままで動く模様・・・

View Slide

最新情報
CentOS6で動きません
CentOS6のセットアップはruby1.9.3…

View Slide

最新情報
CentOS6のセットアップはruby1.9.3…
セットアップが流れるくらいのテストしとけ・・・

View Slide

仕方ないので、rubyを2.0.0にして再度セットアップを実行
ちなみに、後述するcentos7だとシステムrubyを使っていて、これが2.0.0だったりする
PR出しといた
＝＞マージされてた

View Slide

動いた
あれ？

View Slide

デザイン変わってるし・・・
3/12現在のcentos7向けでセットアップすると左になる

View Slide

最新情報
画面は出ますが、組織が作れません
CMSが500エラーを返すも、CMS側にログなし・・・

View Slide

最新情報
画面は出ますが、組織が作れません
CMSが500エラーを返すも、CMS側にログなし・・・
ほんとに、OneOps使ってる？

View Slide

港の噂
OneOpsがk8sへの移行を検討しているという未確認情報

View Slide

港の噂
突然増えていることに気がつく

View Slide

港の噂
OneOpsがk8sへの移行を検討しているという未確認情報
不安しか無い

View Slide

まとめ
考え方としては有益
ほんとに使ってきたの？と思うくらいの品質
エンタープライズのモノ作りは、こんなのじゃ出荷許されません
コードを見る限り、メンテツライなーって感じ
ここは同じ・・・
OSS化して、メンテナンスコストを下げたいという意識はありそう
が、人が寄ってくるような仕掛けはあまりない
このあたりの策の無さは、エンタープライズ

View Slide

まとめ
バグが多いので、Pull Requestの練習も兼ねて、
寄ってたかって投げてみると、承認欲求は満たされると思います！

View Slide

117

View Slide

OneOps

OneOps

Naoto TAKAHASHi

More Decks by Naoto TAKAHASHi

Other Decks in Technology

Featured

Transcript