GCPでNoAdmした話 - Speaker Deck

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

copyright Fringe81 Co.,Ltd. 自己紹介 ● @chidakiyo ● Fringe81という会社で働いています。 ● 普段はR&Dをしていたり、新規事業のプロト作ったりしている人です。 ● 筋トレ好きです。 ● Appengine 昔から触ってました。よいどれ

Slide 4

Slide 4 text

copyright Fringe81 Co.,Ltd. NoAdmとは？ ● 管理系の画面を「開発せずに作る」 ● アプリケーションの運用に必要なダッシュボードなどの機能をアプリケーション側で作り込まず、かつ、フルマネージドに実現したいという思いつきからの造語です。

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

copyright Fringe81 Co.,Ltd. ちなみに、Datastoreって、 ● エンティティのJoinができない ● 集約関数がない（sum, count, etc.） ● 全文検索できない「うーん、 SQLで書きたい・・・」みたいな気持ちに

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

copyright Fringe81 Co.,Ltd. 1) DatastoreをGCSへバックアップする ● 自作の chidakiyo/datastore-backup を利用して各 kindをGCS上にバックアップ Qiitaも書いてます : https://qiita.com/chidakiyo/items/bb2e49c6f99b7210fa0f

Slide 14

Slide 14 text

copyright Fringe81 Co.,Ltd. 2) バックアップファイルをBQに投入する ● favclip/ds2bqを利用 ● GCSに書き込まれたバックアップのOCN （Object Change Notification）をトリガにds2bqでバックアップファイルをBQに投入

Slide 15

Slide 15 text

Slide 16

Slide 16 text

copyright Fringe81 Co.,Ltd. SQLを実行できることで実現できたコト ● 日毎の企業別の投稿数の推移 ● 日毎の貰ったポイント、送ったポイント ● アカウントごとの投稿数/送った貰ったポイント ● などなど、、、 SQLで好きなように分析できる！かなりいい感じ！

Slide 17

Slide 17 text

Slide 18

Slide 18 text

copyright Fringe81 Co.,Ltd. 昨日判明した衝撃の事実・・・ ● 今日紹介したDatastoreのバックアップ手法は古代の手法となりつつあるようで、トレンディーなエンジニアのみなさまにおかれましては、gcloud beta datastore exportのご利用を検討してみてください！（涙 ● 昨日、GCPUGのSlackで気づきました・・・参考 : https://cloud.google.com/datastore/docs/export-import-entities

Slide 19

Slide 19 text

Slide 20

Slide 20 text

copyright Fringe81 Co.,Ltd. SRE本でいう Toil を撲滅する ● 顧客向けのレポート作成のためにExcelポチポチ ● 利用状況の分析のための情報をDatastoreからのデータ取得ポチポチ Toilとは「苦労」や「長く続く骨折り仕事」のような意味があり、 SRE本では、手作業である、繰り返される、自動化可能である、戦術的である、長期的な価値を持たない、サービスの成長に対し O(n)である、の1つ以上に当てはまれば Toilである可能性が高いと書かれています。

Slide 21

Slide 21 text

copyright Fringe81 Co.,Ltd. SRE本でいう Toil を撲滅する ● 顧客向けのレポート作成のためにExcelポチポチ ● 利用状況の分析のための情報をDatastoreからのデータ取得ポチポチこんな苦労は撲滅！！

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

copyright Fringe81 Co.,Ltd. Datastudio、何と接続できる？ ● BQだけではなく、色々なデータに簡単に接続できる（CloudSQL, AdWords, MySQL, PostgreSQL, GoogleSpreadSheet, etc..) ● コミュニティコネクタと言うものがありさらにいろいろなデータソースに接続できます

Slide 29

Slide 29 text

copyright Fringe81 Co.,Ltd. Datastudioを利用して嬉しいこと ● 顧客ごとに見たい指標をカスタマイズしたレポートの提供が容易にできる ● サーバコスト不要 ● SQL書けなくてもグラフが作れる ● G Suiteの権限で共有ができるので管理しやすい

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

copyright Fringe81 Co.,Ltd. Slackへのグラフ通知で嬉しいこと ● グラフが毎朝決まった形でSlackに投稿され、Slack 上ですぐに議論が始められる ● コミュニケーションツール上にレポートされるので、チーム内の意識のすり合わせの時間が減らせる

Slide 35

Slide 35 text

copyright Fringe81 Co.,Ltd. GASのSlack通知でハマったこと/困ったこと ● GASのリソース使いすぎるとCPU時間が長すぎますメールがGoogleから来て、止められることがある。 ● GASの処理は6分以内に終わらせる必要がある。

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

copyright Fringe81 Co.,Ltd. BQ連携構成で良かった点 ● Datastoreのバックアップを起点にNoAdm側は構成されているため、疎結合でアプリケーション側に影響を与えない ● アプリケーション側への影響が少ないため、運用の便利ツールを比較的容易に作りやすい ● 初期の開発の工数を減らすことができた

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

copyright Fringe81 Co.,Ltd. 参考: [まだBIツールで消耗してるの？ ~ サーバレス・KPI分析ダッシュボードをGAS + Slackで] http://blog.yamotty.com/entry/20161114/1479079800 [BigQueryを簡単にグラフにするGoogle Apps Script] http://toreta.blog.jp/archives/20649904.html