ユーザー企業におけるサーバレスシステムへの移行/JAWS DAYS2018

1
DAISO INDUSTRIES CO., LTD.
ユーザー企業におけるサーバレスシステムへの移⾏
株式会社⼤創産業
情報システム部
開発１課課⻑
丸本健⼆郎

View Slide

会社紹介
DAISO INDUSTRIES CO., LTD. 2
(2017/10現在)
売上4,200億
店舗5,050 商品70,000 国27

View Slide

会社紹介
売上4,200億
店舗5,050 商品70,000 国27
(2017/10現在)

View Slide

• ⽒名丸本健⼆郎（まるもとけんじろう）
• 年齢３７歳
• ⽣まれ広島
• 趣味
– スキー 1級 30回/年
– ロードバイク ave 27km/h
– ビリヤード C級
– 釣り⿂探任せ
– 料理休⽇コック
– 畑仕事 30分/毎朝
– DIY 外構完成、ウッドデッキ図⾯製作中
• 社歴 Sier（⼤阪）→ 外資（東京）→ ダイソー（広島）
⾃⼰紹介

View Slide

１．（概念編）なぜ、サーバーレスに⾄ったのか
２．（実践編）サーバーレス使ってみた
３．（まとめ）使ってみての感想、できあがったもの
アジェンダ
6
ユーザー企業におけるサーバレスシステムへの移⾏

View Slide

7

View Slide

システム開発における課題を
解決するため
8

View Slide

課題１
⼤規模システムはイヤ！
9

View Slide

ベンダーシステムサーバー
機能 C
機能 A
機能 B
・システム変更による影響範囲が広い
・テストが⼤きくなる

View Slide

機能 C
機能 A
機能 B
特定ベンダーでないと改修できない

View Slide

機能 C
機能 A
機能 B
システムが⼤きいからだ

View Slide

システムは⼩さく創ろう
機能 C
機能 A
機能 B

View Slide

⼤きいシステム → ⼩さいシステム
14

View Slide

課題２
密結合はイヤ！
15

View Slide

⼆つのシステムが密接に結びついた状態。
システムどうしが固有のインターフェースに基づいて接続
されているため、⼀⽅が他⽅を容易に取り替えられない状
態をいう。
16
密結合とは？
⼤辞林より
密接
⼀⽅にメス他⽅にもメス

View Slide

17
密結合
⼀⽅にメス
他⽅にもメス
他⽅にもメス
他⽅にもメス
他⽅にもメス
もうメスなんて⼊れれない

View Slide

18
疎結合にするには？
密接

View Slide

19
疎結合にするには？
連携部分を切り出す
キュー
API

View Slide

密結合 → 疎結合
20

View Slide

課題３
インフラ管理はイヤ！
21

View Slide

管理対象外
管理対象
全てを管理
オンプレクラウド
MIDDLE
VM
プログラム
建屋
ハード
OS
電源
NW
⼟地
ハードの
管理が不要
MIDDLE
VM
プログラム
建屋
ハード
OS
電源
NW
⼟地
MIDDLE
VM
プログラム
建屋
ハード
OS
電源
NW
⼟地
サーバーレス
アプリ
のみに集中
ビジネス
プログラム

View Slide

オンプレ、クラウド → サーバレス
23

View Slide

課題４
スケールアップはイヤ！
１４．（概念編）なぜ、サーバーレスに⾄ったのか
24

View Slide

処理の考え⽅
処理したいデータ量
処
理
能
⼒
1h
処理能⼒/1h
3h

View Slide

処理の考え⽅
処
理
能
⼒
1h
処理能⼒/1h
１hで終わらせたい！
スケールアップ

View Slide

処理の考え⽅
処
理
能
⼒
1h
処理能⼒/1h
１hで終わらせたい！
×３
スケールアウト

View Slide

店舗数・・・5,050
× 商品数・・・70,000
× 計算⽇数・・・45
＝15,907,500,000レコード
（159億）

View Slide

スケールアップ

View Slide

スケールアウト

View Slide

スケールアップ → スケールアウト
１４．（概念編）なぜ、サーバーレスに⾄ったのか
31

View Slide

サービスいっぱい・・・
Compute
Amazon
EC2
AWS Elastic
Beanstalk
Amazon
EFS
Amazon
Glacier
Amazon
S3
Storage
Database
Amazon
DynamoDB
Amazon
ElastiCache
Amazon
RDS
Amazon
Redshift
Amazon
CloudWatch
AWS
CloudFormation
Management Tools
Amazon
Kinesis
Analytics
Amazon
EMR
Developer Tools
Amazon API
Gateway
AWS Step
Functions
Amazon
SWF
Application Services
Messaging
Amazon
SES
Amazon
SQS
Amazon
SNS
Amazon
ECS
AWS
Lambda
AWS
CloudTrail
Amazon ES Amazon
CloudSearch
AWS
CodeCommit
AWS
CodeDeploy
AWS
CodeBuild
AWS
CodePipeline

View Slide

振り分けてみた
Amazon
EC2
AWS Elastic
Beanstalk
Amazon
EFS
Amazon
Glacier
Amazon
S3
Amazon
DynamoDB
Amazon
ElastiCache
Amazon
RDS
Amazon
Redshift
Amazon
CloudWatch
AWS
CloudFormation
Amazon
Kinesis
Amazon
EMR
Amazon API
Gateway
AWS Step
Functions
Amazon
SWF
Amazon
SES
Amazon
SQS
Amazon
SNS
Amazon
ECS
AWS
Lambda
AWS
CloudTrail
Amazon ES
Amazon
CloudSearch
AWS
CodeCommit
AWS
CodeDeploy
AWS
CodeBuild
AWS
CodePipeline
スケールアウト型
スケールアップ型

View Slide

システムを⼩さく、
疎結合で
インフラを持たず
スケールアウト型で
開発をしよう
概念まとめ
34

View Slide

35
２．（実践編）サーバーレス使ってみた

View Slide

参照
ためる
チェック
受取
構成図
36
コマンドクエリ
参照更新
POSデータをうける → ためる → つかう

View Slide

S3
37

View Slide

38
⼀⾔で⾔うと、ファイルシステム

View Slide

S3
39
サーバーサーバーレス
冗⻑バックアップ
世代管理バックアップ
完全性リネーム
イベント検知
サーバーあり、と、サーバーレスで⽐較
標準
標準
標準
標準

View Slide

S3
40
ファイル移動が失敗することがある
AWS CLI
tips
？
All
move
ポーリング
All
move

View Slide

S3
41
tips ファイル名を意識しよう
20180310_A
20180310_B
20180310_C
20180310_D
20180310_E
20180310_F

View Slide

S3
42
20180310_A
20180310_B
20180310_C
20180310_D
20180310_E
20180310_F
アクセス効率が悪い

View Slide

S3
43
ファイル名
20180310_A
20180310_B
20180310_C
20180310_D
20180310_E
20180310_F

View Slide

S3
44
ab4j20180310_A
1a6520180310_B
oeb120180310_C
beak20180310_D
3jda20180310_E
pm9j20180310_F
ハッシュ値＋ファイル名

View Slide

S3
45
ハッシュ値＋ファイル名
ab4j20180310_A
1a6520180310_B
oeb120180310_C
beak20180310_D
3jda20180310_E
pm9j20180310_F
アクセス効率が良い
定常的に100リクエスト／１秒、瞬間的に800リクエスト／１秒以上

View Slide

SQS
46

View Slide

SQS
47
疎結合にしよう
処理A
キュー
処理B
クラウドデザインパターン
Queuing Chain

View Slide

SQS
48
実⾏保証
処理A 処理B

View Slide

SQS
49
冪等性
確保
複数回うごくことがある
tips

View Slide

SQS
50
は
き
だ
せ
る
スケーラブル
う
け
と
め
れ
る

View Slide

④
⑤
SQS
51
順番保証されない
①
②
③
④
⑤
②
③
tips
①
①
②
③
④
⑤

View Slide

SQS
52
順番保証されない
①
②
③
④
⑤
①
②
③
④
⑤
結果整合性で設計する！
どうしても順番がいる場合は、FIFOオプション
tips

View Slide

SQS
53
拡張を⾒越した設計

View Slide

SNS
54
Pub Sub
拡張を⾒越した設計
クラウドデザインパターン
Fanout
イベントを起こす側イベント処理を⾏う側

View Slide

Lambda
55

View Slide

Lambda
56
アプリケーションコードを実⾏するサービス
イベント

View Slide

Lambda
57
オンプレクラウドサーバーサーバーレス
⽐較
EC2 Lamdba

View Slide

Lambda オンプレ、クラウドサーバー、サーバーレスを⽐較
58
処
理
能
⼒
時
24
0 12
6 18
オンプレ
ピークにあわせてリソースを確保
想定処理量

View Slide

59
処
理
能
⼒
停⽌
24
0 12
稼働スケール
アップ／アウト
スケール
ダウン／イン
6 18
停
⽌
クラウドサーバー
想定処理量
時

View Slide

60
イベント駆動でスケーラブル、無駄がない
処
理
能
⼒
24
0 12
6 18
サーバーレス
時

View Slide

Lambda
61
オンプレクラウドサーバーサーバーレス
⽐較
EC2 Lamdba

View Slide

start end
Lambda
62
MAX 5分
tips

View Slide

start end
Lambda
63
MAX 5分
時間内に処理できる量をつかむ
tips

View Slide

start end
Lambda
64
MAX 5分
５分で
終わる
ボリューム
にカット
tips

View Slide

Lambda
65
ソース容量
５０MB 制限
外部ライブラリ
Pandas（４０MB）
tips
別の外部ライブラリ
（２０MB）
もう⼊らない！
解決策・・・⾒つかってません。。

View Slide

DynamoDB
66

View Slide

データベース
DynamoDB
67
RDS Dynamo
特性 AICD
（並列と相性悪い）
結果整合性
（並列と相性が良い）
データ
モデル
テーブルキー・バリュー
コスト
ストレージ
I/O
ストレージ
キャパシティユニット

View Slide

データベース
DynamoDB
68
RDS Dynamo
特性 AICD
（同時コネクション数が少）
結果整合性
（同時コネクション数が多い）
データ
モデル
テーブルキー・バリュー
コスト
ストレージ
I/O
ストレージ
キャパシティユニット
tips

View Slide

書き込みキャパ
DynamoDB
69
処理したいコ×５
tips
書き込みできたコ×３
書き込みまちのコ×２
Lambda５分制約
タイムアウトエラー

View Slide

DynamoDB
70

お⾦で解決
書き込みできたコ×３
書き込みまちのコ×２
tips

View Slide

DynamoDB
71
このようなコを
発⽣させない仕掛け
tips

View Slide

DynamoDB
72
Lamdba同時起動数を制御し
キャパシティ超えを
起こさせない
tips

View Slide

DynamoDB
73
同時実⾏数制御前
同時実⾏数制御後
書き込みキャパ上限で、
Lamdbaがエラー多発
書き込みキャパ以下でDynamoが稼働

View Slide

開発⼿法
74

View Slide

コーディング環境
IDE
75

View Slide

IDE
76
⽐較
ローカルスペックに依存
or or

View Slide

IDE
77
ターミナル
[CLI、git、linuxコマンド]
ローカル
プロジェクト
フォルダ
ソース⼀覧
実際の画⾯

View Slide

–ソース世代管理
–ソースレビュー
ソース管理
78

View Slide

ソース管理
79
プルリク（ソースレビュー）でナレッジ共有

View Slide

ソース管理
80
ツリー⾒たいときはSourceTreeを別途⽴ち上げ

View Slide

CI/CD ＋ cloudformation
81
デプロイの⾃動化
CFn未対応のものがある
（ex.Lamdba同時実⾏数）
tips

View Slide

CI/CD ＋ cloudformation
82
AWS CLI
デプロイの⾃動化
CFn未対応のものがある
（ex.Lamdba同時実⾏数）
tips
circleCIで「CFn→CLI」

View Slide

全体開発イメージ
83
本番環境
本番
⾃動
デプロイ
⾃動
テスト
master
83
検証環境
総合テスト
⾃動
デプロイ
⾃動
テスト
Release/
~~~
開発環境
結合テスト
⾃動
デプロイ
⾃動
テスト
develop
実験環境
環境テスト
⾃動
デプロイ
⾃動
テスト
Push
Feature/
~~~
単体
テスト
Commit
改修
プルリクプル
リク

View Slide

３．（まとめ）使ってみての感想、できあがったもの
84

View Slide

アプリ
チーム
インフラ
チーム
サーバーあり 1 1
サーバーレス
３．（まとめ）使ってみての感想
苦労した？？
2
初モノはなんでも苦労する
0.1

View Slide

３．（まとめ）使ってみての感想
アプリ
チーム
インフラ
チーム
サーバーあり 1 1
サーバーレス 0.1
苦労した？？ → 今はどう？
0.8
・制約があるから、迷わない
・優秀な先⽣がいっぱい

View Slide

アプリインフラ
サーバーあり 70点 70点
サーバーレス
３．（まとめ）できあがったもの
創られたシステムの出来は？
90点
クラウドのメリットを簡単に、⼤きく享受
90点

View Slide

おわり
88
AWSで開発を推進中
⼀緒に仕事しませんか！
連絡、お待ちしております。
[email protected]

View Slide

ユーザー企業におけるサーバレスシステムへの移行/JAWS DAYS2018

ユーザー企業におけるサーバレスシステムへの移行/JAWS DAYS2018

marumoto

More Decks by marumoto

Other Decks in Technology

Featured

Transcript