Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【第2期】Go Academy LT資料
Search
sugamaan
January 16, 2023
Programming
2
440
【第2期】Go Academy LT資料
sugamaan
January 16, 2023
Tweet
Share
More Decks by sugamaan
See All by sugamaan
7ヶ月で6名の中途エンジニア採用に対して現場のエンジニアが行ったこと
sugamaan
3
550
終わらないSEO対策と向き合うために ~ Core Web Vitals ・Webパフォーマンス改善 ~
sugamaan
1
910
Other Decks in Programming
See All in Programming
AWS発のAIエディタKiroを使ってみた
iriikeita
1
110
学習を成果に繋げるための個人開発の考え方 〜 「学習のための個人開発」のすすめ / personal project for leaning
panda_program
1
110
Ruby Parser progress report 2025
yui_knk
1
240
物語を動かす行動"量" #エンジニアニメ
konifar
14
5.7k
マイコンでもRustのtestがしたい その2/KernelVM Tokyo 18
tnishinaga
2
2.4k
MCPで実現するAIエージェント駆動のNext.jsアプリデバッグ手法
nyatinte
7
990
WebAssemblyインタプリタを書く ~Component Modelを添えて~
ruccho
1
940
Kiroで始めるAI-DLC
kaonash
2
370
ソフトウェアテスト徹底指南書の紹介
goyoki
1
120
FindyにおけるTakumi活用と脆弱性管理のこれから
rvirus0817
0
230
パスタの技術
yusukebe
1
540
もうちょっといいRubyプロファイラを作りたい (2025)
osyoyu
0
190
Featured
See All Featured
Into the Great Unknown - MozCon
thekraken
40
2k
Done Done
chrislema
185
16k
Art, The Web, and Tiny UX
lynnandtonic
302
21k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
A Tale of Four Properties
chriscoyier
160
23k
KATA
mclloyd
32
14k
Designing for Performance
lara
610
69k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.4k
Navigating Team Friction
lara
189
15k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
31
2.2k
Optimizing for Happiness
mojombo
379
70k
Transcript
GoとAWSを使い倒す 感染者数取得API・バッチ 株式会社サイバーエージェント 【第2期】Go Academy LT資料
自己紹介 経営管理SaaS KUROTEN. 開発 Go/Python/Vue.js/Nuxt.js/GraphQL/CleanArchitecture #山形出身 #サウナ #ゴルフ #麻雀 #フットサル
開発 その他 09_菅間 伶史(Sugama Reiji) エキサイト株式会社 SaaS事業部 @sugamaan 出典:エキサイト株式会社SaaS事業部紹介資料
01 バッチ
外部APIからS3へ JSONファイル保存 S3からDBへ保存 Slack通知 作成したAWS Lambda - バッチ - 全国の感染者数データをDB
へ保存するバッチ
概要 外部APIからS3へ JSONファイル保存 外部APIから取得したJSONファイルをS3へ 保存するLambda 工夫した点 バケット名は環境変数によって動的に変更 HTTP clientライブラリのgo-resty/restyを導入 し、HTTP
Statusをもとにリトライ処理を実行 Exponential Backoffアルゴリズムにて指数関数 的にリトライ間隔を増やす Restyによるリトライ処理 S3バケット
概要 S3からDBへ保存 S3からJSONファイルを取得しDBへ保存 するLambda 工夫した点 AWS SSM Parameter Storeを使い、DBの 接続情報を環境ごと管理
トランザクションラッパーにて実装とトラ ンザクションを分離し、処理の共通化と RollbackやCommit忘れを防止 SSM パラメータストア トランザクションラッパー
概要 Slack通知 バッチ処理が失敗した際にSlackへ通知するLambda Slack画面 ソースコード
Amazon EventBridge AWS Step Functions Amazon S3 Amazon RDS →
↓ → → → AWS Lambda ← 概要 バッチ処理全体像 EventBridge → Step Functions → Lambda → RDS・S3・Slack AWS Systems Manager → ←
02 API
感染者数取得API 概要 前日までの都道府県ごとの感染者数を取得するAPI URL https://1uehxc9ojh.execute-api.ap-northeast-1.amazonaws.com/Prod/patient/details? start_date=20221201&end_date=20221203&area=青森県 ※開始日時、終了日時、都道府県名を指定してリクエストをすると以下のようにレスポンスを返却 レスポンス例 APIドキュメント
docker-compose-local.yml Docker 開発環境 go 1.19 MySQL 8.0 開発効率 Makefile cosmtrek/air(ホットリロード)
保存時に再ビルド ホットリロード
IDE Linter 保存時にコードのリフォーマットと goimportsを実行 開発効率 golangci/golangci-lintを導入 golangci-lint runコマンドにて kisielk/errcheckなどが確認できる golanggci-lint
runを実行
ロジック ロジック DBから以下の情報を取得 都道府県名 日付ごとの感染者数 合計 平均 工夫した点 並行処理で情報を取得 contextとselectを使って他goroutine
の中断ハンドリングを実装
アノテーションコメント Swagger UI(http://localhost:8081/swagger/index.html) APIドキュメント APIドキュメント swaggo/swagを導入 アノテーションコメントからSwagger Documentationを作成 gin-gonic/gin×gin-swaggerを使いローカルで Swagger
UIを作成 GinでWebサーバー立ち上げ
エラー出力 エラー出力 エラー内容に応じて適切なHTTP ResponseをAPI Gateway経由で返却。 カスタムLambdaエラーを実装し、独自エラーを返却 エラーは呼び出し先でエラーをラップし、呼び出し元で処理 呼び出し先 独自エラーを返却&ロギング 呼び出し元
400エラー場合
ロギング ロギング SQLの構造化ログをsimukti/sqldb-logger × rs/zerolog を使い出力 設定 ログ例
テスト テスト Table Driven Testで記述 テスト並列化 go-cmpでのmap比較 工夫した点 stretchr/testify でアサーションを用意
t.Parallel()でテストを並列化 mapの比較はgoogle/go-cmp
総括 将来的な課題 検索の複雑化とそれに伴うモデルの肥大化 エンドポイントの設計・分割 アーキテクチャの導入の検討 レスポンス速度 プロファイリングから始めるためにAPMやpprofなどのツール導入 コードのリファクタリング Lambda側のエラーハンドリング、ログ、レスポンスなど共通化したものに書き換える 総括
使ったAWSサービス6個、Goのライブラリ23個 AWS、Goともにたくさん書けて満足です。 Goならではの書き方がたくさんあり、とても良い経験になりました! 難しかった点 SAMのIAMロール サービス間連携(Lambda間、LambdaとAPI Gatewayなど) レスポンスの形式、引数、出力 ディレクトリ構成
参考資料 参考資料 内閣官房新型コロナウイルス等感染症対策推進室 https://corona.go.jp/dashboard/ 全国の感染者数オープンデータ https://opendata.corona.go.jp/api/Covid19JapanAll
ご清聴ありがとうございました!