Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【第2期】Go Academy LT資料
Search
sugamaan
January 16, 2023
Programming
2
400
【第2期】Go Academy LT資料
sugamaan
January 16, 2023
Tweet
Share
More Decks by sugamaan
See All by sugamaan
7ヶ月で6名の中途エンジニア採用に対して現場のエンジニアが行ったこと
sugamaan
3
530
終わらないSEO対策と向き合うために ~ Core Web Vitals ・Webパフォーマンス改善 ~
sugamaan
1
810
Other Decks in Programming
See All in Programming
昭和の職場からアジャイルの世界へ
kumagoro95
1
410
ソフトウェアエンジニアの成長
masuda220
PRO
12
2k
Bedrock Agentsレスポンス解析によるAgentのOps
licux
3
890
PRレビューのお供にDanger
stoticdev
1
210
Multi Step Form, Decentralized Autonomous Organization
pumpkiinbell
1
810
CDK開発におけるコーディング規約の運用
yamanashi_ren01
2
190
AIの力でお手軽Chrome拡張機能作り
taiseiue
0
180
pylint custom ruleで始めるレビュー自動化
shogoujiie
0
130
メンテが命: PHPフレームワークのコンテナ化とアップグレード戦略
shunta27
0
190
Writing documentation can be fun with plugin system
okuramasafumi
0
120
なぜイベント駆動が必要なのか - CQRS/ESで解く複雑系システムの課題 -
j5ik2o
12
4.4k
Software Architecture
hschwentner
6
2.1k
Featured
See All Featured
What's in a price? How to price your products and services
michaelherold
244
12k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
Into the Great Unknown - MozCon
thekraken
35
1.6k
Making Projects Easy
brettharned
116
6k
The World Runs on Bad Software
bkeepers
PRO
67
11k
GitHub's CSS Performance
jonrohan
1030
460k
Six Lessons from altMBA
skipperchong
27
3.6k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Side Projects
sachag
452
42k
Code Review Best Practice
trishagee
67
18k
A Tale of Four Properties
chriscoyier
158
23k
Transcript
GoとAWSを使い倒す 感染者数取得API・バッチ 株式会社サイバーエージェント 【第2期】Go Academy LT資料
自己紹介 経営管理SaaS KUROTEN. 開発 Go/Python/Vue.js/Nuxt.js/GraphQL/CleanArchitecture #山形出身 #サウナ #ゴルフ #麻雀 #フットサル
開発 その他 09_菅間 伶史(Sugama Reiji) エキサイト株式会社 SaaS事業部 @sugamaan 出典:エキサイト株式会社SaaS事業部紹介資料
01 バッチ
外部APIからS3へ JSONファイル保存 S3からDBへ保存 Slack通知 作成したAWS Lambda - バッチ - 全国の感染者数データをDB
へ保存するバッチ
概要 外部APIからS3へ JSONファイル保存 外部APIから取得したJSONファイルをS3へ 保存するLambda 工夫した点 バケット名は環境変数によって動的に変更 HTTP clientライブラリのgo-resty/restyを導入 し、HTTP
Statusをもとにリトライ処理を実行 Exponential Backoffアルゴリズムにて指数関数 的にリトライ間隔を増やす Restyによるリトライ処理 S3バケット
概要 S3からDBへ保存 S3からJSONファイルを取得しDBへ保存 するLambda 工夫した点 AWS SSM Parameter Storeを使い、DBの 接続情報を環境ごと管理
トランザクションラッパーにて実装とトラ ンザクションを分離し、処理の共通化と RollbackやCommit忘れを防止 SSM パラメータストア トランザクションラッパー
概要 Slack通知 バッチ処理が失敗した際にSlackへ通知するLambda Slack画面 ソースコード
Amazon EventBridge AWS Step Functions Amazon S3 Amazon RDS →
↓ → → → AWS Lambda ← 概要 バッチ処理全体像 EventBridge → Step Functions → Lambda → RDS・S3・Slack AWS Systems Manager → ←
02 API
感染者数取得API 概要 前日までの都道府県ごとの感染者数を取得するAPI URL https://1uehxc9ojh.execute-api.ap-northeast-1.amazonaws.com/Prod/patient/details? start_date=20221201&end_date=20221203&area=青森県 ※開始日時、終了日時、都道府県名を指定してリクエストをすると以下のようにレスポンスを返却 レスポンス例 APIドキュメント
docker-compose-local.yml Docker 開発環境 go 1.19 MySQL 8.0 開発効率 Makefile cosmtrek/air(ホットリロード)
保存時に再ビルド ホットリロード
IDE Linter 保存時にコードのリフォーマットと goimportsを実行 開発効率 golangci/golangci-lintを導入 golangci-lint runコマンドにて kisielk/errcheckなどが確認できる golanggci-lint
runを実行
ロジック ロジック DBから以下の情報を取得 都道府県名 日付ごとの感染者数 合計 平均 工夫した点 並行処理で情報を取得 contextとselectを使って他goroutine
の中断ハンドリングを実装
アノテーションコメント Swagger UI(http://localhost:8081/swagger/index.html) APIドキュメント APIドキュメント swaggo/swagを導入 アノテーションコメントからSwagger Documentationを作成 gin-gonic/gin×gin-swaggerを使いローカルで Swagger
UIを作成 GinでWebサーバー立ち上げ
エラー出力 エラー出力 エラー内容に応じて適切なHTTP ResponseをAPI Gateway経由で返却。 カスタムLambdaエラーを実装し、独自エラーを返却 エラーは呼び出し先でエラーをラップし、呼び出し元で処理 呼び出し先 独自エラーを返却&ロギング 呼び出し元
400エラー場合
ロギング ロギング SQLの構造化ログをsimukti/sqldb-logger × rs/zerolog を使い出力 設定 ログ例
テスト テスト Table Driven Testで記述 テスト並列化 go-cmpでのmap比較 工夫した点 stretchr/testify でアサーションを用意
t.Parallel()でテストを並列化 mapの比較はgoogle/go-cmp
総括 将来的な課題 検索の複雑化とそれに伴うモデルの肥大化 エンドポイントの設計・分割 アーキテクチャの導入の検討 レスポンス速度 プロファイリングから始めるためにAPMやpprofなどのツール導入 コードのリファクタリング Lambda側のエラーハンドリング、ログ、レスポンスなど共通化したものに書き換える 総括
使ったAWSサービス6個、Goのライブラリ23個 AWS、Goともにたくさん書けて満足です。 Goならではの書き方がたくさんあり、とても良い経験になりました! 難しかった点 SAMのIAMロール サービス間連携(Lambda間、LambdaとAPI Gatewayなど) レスポンスの形式、引数、出力 ディレクトリ構成
参考資料 参考資料 内閣官房新型コロナウイルス等感染症対策推進室 https://corona.go.jp/dashboard/ 全国の感染者数オープンデータ https://opendata.corona.go.jp/api/Covid19JapanAll
ご清聴ありがとうございました!