GoとAWSを使い倒す 感染者数取得API・バッチ 株式会社サイバーエージェント 【第2期】Go Academy LT資料

自己紹介 経営管理SaaS KUROTEN. 開発 Go/Python/Vue.js/Nuxt.js/GraphQL/CleanArchitecture #山形出身 #サウナ #ゴルフ #麻雀 #フットサル 開発 その他 09_菅間 伶史（Sugama Reiji） エキサイト株式会社 SaaS事業部 @sugamaan 出典：エキサイト株式会社SaaS事業部紹介資料

01 バッチ

外部APIからS3へ JSONファイル保存 S3からDBへ保存 Slack通知 作成したAWS Lambda - バッチ - 全国の感染者数データをDB へ保存するバッチ

概要 外部APIからS3へ JSONファイル保存 外部APIから取得したJSONファイルをS3へ 保存するLambda 工夫した点 バケット名は環境変数によって動的に変更 HTTP clientライブラリのgo-resty/restyを導入 し、HTTP Statusをもとにリトライ処理を実行 Exponential Backoffアルゴリズムにて指数関数 的にリトライ間隔を増やす Restyによるリトライ処理 S3バケット

概要 S3からDBへ保存 S3からJSONファイルを取得しDBへ保存 するLambda 工夫した点 AWS SSM Parameter Storeを使い、DBの 接続情報を環境ごと管理 トランザクションラッパーにて実装とトラ ンザクションを分離し、処理の共通化と RollbackやCommit忘れを防止 SSM パラメータストア トランザクションラッパー

概要 Slack通知 バッチ処理が失敗した際にSlackへ通知するLambda Slack画面 ソースコード

Amazon EventBridge AWS Step Functions Amazon S3 Amazon RDS → ↓ → → → AWS Lambda ← 概要 バッチ処理全体像 EventBridge → Step Functions → Lambda → RDS・S3・Slack AWS Systems Manager → ←

02 API

感染者数取得API 概要 前日までの都道府県ごとの感染者数を取得するAPI URL https://1uehxc9ojh.execute-api.ap-northeast-1.amazonaws.com/Prod/patient/details? start_date=20221201&end_date=20221203&area=青森県 ※開始日時、終了日時、都道府県名を指定してリクエストをすると以下のようにレスポンスを返却 レスポンス例 APIドキュメント

docker-compose-local.yml Docker 開発環境 go 1.19 MySQL 8.0 開発効率 Makefile cosmtrek/air（ホットリロード） 保存時に再ビルド ホットリロード

IDE Linter 保存時にコードのリフォーマットと goimportsを実行 開発効率 golangci/golangci-lintを導入 golangci-lint runコマンドにて kisielk/errcheckなどが確認できる golanggci-lint runを実行

ロジック ロジック DBから以下の情報を取得 都道府県名 日付ごとの感染者数 合計 平均 工夫した点 並行処理で情報を取得 contextとselectを使って他goroutine の中断ハンドリングを実装

アノテーションコメント Swagger UI（http://localhost:8081/swagger/index.html） APIドキュメント APIドキュメント swaggo/swagを導入 アノテーションコメントからSwagger Documentationを作成 gin-gonic/gin×gin-swaggerを使いローカルで Swagger UIを作成 GinでWebサーバー立ち上げ

エラー出力 エラー出力 エラー内容に応じて適切なHTTP ResponseをAPI Gateway経由で返却。 カスタムLambdaエラーを実装し、独自エラーを返却 エラーは呼び出し先でエラーをラップし、呼び出し元で処理 呼び出し先 独自エラーを返却&ロギング 呼び出し元 400エラー場合

ロギング ロギング SQLの構造化ログをsimukti/sqldb-logger × rs/zerolog を使い出力 設定 ログ例

テスト テスト Table Driven Testで記述 テスト並列化 go-cmpでのmap比較 工夫した点 stretchr/testify でアサーションを用意 t.Parallel()でテストを並列化 mapの比較はgoogle/go-cmp

総括 将来的な課題 検索の複雑化とそれに伴うモデルの肥大化 エンドポイントの設計・分割 アーキテクチャの導入の検討 レスポンス速度 プロファイリングから始めるためにAPMやpprofなどのツール導入 コードのリファクタリング Lambda側のエラーハンドリング、ログ、レスポンスなど共通化したものに書き換える 総括 使ったAWSサービス6個、Goのライブラリ23個 AWS、Goともにたくさん書けて満足です。 Goならではの書き方がたくさんあり、とても良い経験になりました！ 難しかった点 SAMのIAMロール サービス間連携（Lambda間、LambdaとAPI Gatewayなど） レスポンスの形式、引数、出力 ディレクトリ構成

参考資料 参考資料 内閣官房新型コロナウイルス等感染症対策推進室 https://corona.go.jp/dashboard/ 全国の感染者数オープンデータ https://opendata.corona.go.jp/api/Covid19JapanAll

ご清聴ありがとうございました！