Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2017_jaws_ug_night_shuhei
Search
morioka shuhei
June 02, 2017
3
4.4k
2017_jaws_ug_night_shuhei
AWSでのデータ集積基盤構築
AWS SUMMIT TOKYO 2017 JAWS-UG ナイトイベント
morioka shuhei
June 02, 2017
Tweet
Share
More Decks by morioka shuhei
See All by morioka shuhei
20191103_小山高専_卒業生講話
selmertsx
1
210
20190306_serverless_meetup_tokyo_11
selmertsx
5
1.6k
aws_reinvent_recap
selmertsx
2
270
aws_reinvent_recap_chaos_engineering_to_serverless
selmertsx
1
1.2k
2018_03_speeekaigi
selmertsx
1
370
sam_on_aws_2018_startup_days
selmertsx
1
300
20171019_aws_startup_tech
selmertsx
1
6.8k
rails_rdm_revieee
selmertsx
0
1.2k
revieee
selmertsx
0
340
Featured
See All Featured
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
327
21k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
37
1.7k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
41
9.2k
Designing on Purpose - Digital PM Summit 2013
jponch
114
6.9k
The Pragmatic Product Professional
lauravandoore
31
6.2k
Writing Fast Ruby
sferik
625
60k
Designing for humans not robots
tammielis
249
25k
Unsuck your backbone
ammeep
667
57k
No one is an island. Learnings from fostering a developers community.
thoeni
19
2.9k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
32k
Documentation Writing (for coders)
carmenintech
65
4.3k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
230
17k
Transcript
安くて簡単! AWS でのデー タ集積基盤構築 Speee 森岡周平
今日のお話 Kinesis Firehose + Athena と QuickSight を使って 簡単なデー タ確認基盤を
AWS 初心者が1日で作った話 を5分くらいで
お話のゴー ル Kinesis Firehose + Athena ( デー タの集積) QuickSight
( デー タの可視化) で デー タの可視化が簡単にできそうと思えること 今日話さないこと TreasureData との比較 Kinesis Firehose のパフォー マンスなど ※ 時間的な問題で省略します
Agenda 自己紹介 事業説明 ( ぬりかえ) 可視化対象のデー タについて 構築システムの説明 可視化した結果 まとめ
Agenda 自己紹介 事業説明 ( ぬりかえ) 可視化対象のデー タについて 構築システムの説明 可視化した結果 まとめ
名前: 森岡周平 GitHub Account: Selmertsx 業務での使用言語: Ruby, Java AWS 歴:
( ちゃんと触り始めて) 半年 会社: Speee 所属部署: 開発基盤部 / ヌリカエ
Agenda 自己紹介 事業説明 ( ぬりかえ) 可視化対象のデー タについて 構築システムの説明 可視化した結果 まとめ
外壁塗装の一括見積もりサー ビス 専門のアドバイザー が、 お客様にヒアリングした 情報を元に、 適切な業者様を紹介させて頂く
施工業者様に紹介、 成約することで売上を得る
Agenda 自己紹介 事業説明 ( ぬりかえ) 可視化対象のデー タについて 構築システムの説明 可視化した結果 まとめ
やりたいこと 社内のアドバイザー の行動量に対する、 利益 ( お客様の満足度と 施工業者様の売上 ) を最大化したい アドバイザー
は専門的な知識や相場の把握が求められる アドバイザー の育成には時間が掛かり、 簡単に採用できない 一人あたりの効率を最大化することが事業の成長に直結 見たいデー タ アドバイザー の通話時間 アドバイザー の通話回数 アドバイザー の管理画面の操作数 ※ お客様のサー ビス満足度、 属性毎に集計したい
Agenda 自己紹介 事業説明 ( ぬりかえ) 可視化対象のデー タについて 構築システムの説明 可視化した結果 まとめ
Kinesis Firehose+Athena / MySQL にデー タを集積 QuickSight でデー タを可視化
説明 このシステムの説明を デー タの集積 デー タの可視化 上記2つの処理を通して説明します
デー タの集積について
Kinesis Firehose 任意のデー タを API だけでS3/RedShift に送信できる機能 デー タの圧縮や暗号化も可能 Delivery
Stream の設定はコンソー ルから5 分で可能 # ruby sample code client.put_record( delivery_stream_name: "DeliveryStreamName", record: { data: [name,path,time].to_csv } ) #s3://dict/year/month/day/hour/xxx 森岡周平,/path/nurikae_app/a,2017-06-01 05:58:15.979 森岡周平,/path/nurikae_app/b,2017-06-01 05:58:19.326 森岡周平,/path/nurikae_app/c,2017-06-01 05:58:22.507
お客様との通話は自作 windows app 施工業者様への紹介はweb の管理画面 Kinesis Firehose からS3 にデー タを集積し
Athena でデー タを集計
デー タの可視化について
QuickSight AWS から提供されているBI ツー ル (Re:dash っぽい)
S3/RDS 等をデー タソー スにデー タの可視化が可能 AWS に乗ってる場合めちゃくちゃ楽 お値段: $9/user (10
GB SPICE include) SPICE に import しておけば、 ちょっといじっても Athena にリクエストが飛ばない SPICE 使った場合、custom SQL は使えない
架電ログなどは Athena から取得 売上デー タなどは MySQL から取得
Agenda 自己紹介 事業説明 ( ぬりかえ) 可視化対象のデー タについて 構築システムの説明 可視化した結果 まとめ
アドバイザー 毎のKPI をリアルタイムで可視化 ※ 単位等々 はちょっと説明できません
None
Agenda 自己紹介 事業説明 ( ぬりかえ) 可視化対象のデー タについて 構築システムの説明 可視化した結果 まとめ
まとめ Kinesis Firehose + Athena + QuickSight を使って 1日でデー タを可視化できる環境が作れた
Athena のSDK が公開されたので簡単 アドバイザー 業務に関して、 誰が、 何を、 どれく らいやっているのか可視化できた 価値を最大化するためのリソー ス配分や、 業務で のボトルネックが明確になった かかったお金は総額 $10 程度. ※ 金額の詳細は、 色々 な都合で割愛
最後に AWS のECS などの機能を使って Heroku Review Apps の機能を安価に実現する Revieee というOSS
も開発したりしています GitHub でコー ドを公開しているので、 良かったら見てみて下さい https://github.com/speee/webapp-revieee http://tech.speee.jp/entry/2017/05/15/112804
以上です! ご清聴ありがとう ございました