個人開発でconnpass_apiの制限と闘った話.pdf

Transcript

1. 個人開発でconnpass apiの 制限と闘った話 takumi 2024年2月3日 エンジニアの輪 at 東京
2. 自己紹介 • takumi（@takumidiary） • 新卒2年目エンジニア • バックエンド開発メイン ◦ フロント、インフラも
3. 何発表するの？ • 個人開発でconnpass apiを使用した際に出くわした制限とそ れにどう対応したのかを発表します
4. 作っているもの
5. DevLocator（開発中） • エンジニアイベントを地図上に表示するサービス • connpassからイベント情報を取得
6. なぜ開発しようと思ったか • connpass利用頻度が多くなったためconnpass apiを使って 何か作ってみたかった • 最近はオフライン開催も増えてきたので視覚的にイベント開 催がわかるといいなと思った
7. 制限との出会い
8. イベント情報取得の要件 • その日から1ヶ月分のイベント情報を取得 ◦ 2/3〜3/3、10/31〜11/30 • 一度の読み込み（リクエスト間隔をあけない）で全イベントを表 示
9. 当初の想定 • connpass apiを使用して取得したイベントをそのまま表示す ればいけるじゃん！
10. 開発開始！ • 早速、apiリファレンスを確認してみる • そこには想定していなかった制限が、、
11. connpass apiの2つの制限
12. 2つの制限 • 1リクエストで取得できるイベント数 • リクエスト間隔
13. 1リクエストで取得できるイベント数 • 最大でも100件しか取得できない • 1ヶ月分のイベント情報 → 約1000件
14. リクエスト間隔
15. robots.txtとは？ robots.txt ファイルとは、検索エンジンのクローラーに対して、サイト のどの URL にアクセスしてよいかを伝えるものです。 https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ja
16. リクエスト間隔
17. リクエスト間隔 • Bingクローラに対する制限 • 20秒のクロール間隔 • /series/output/, /account/, /event/ へのアクセスを禁止
18. リクエスト間隔 • Amazonクローラに対する制限 • /user/, /event/へのアクセス禁止
19. リクエスト間隔 • 全クローラに対する制限 • 5秒のクロール間隔 • /series/output/, /account/へのアク セス禁止 今回の場合ここに該当
20. リクエスト間隔 今回はクローリングではなくapiコールだが、 apiサーバに負荷をかけたくない リクエスト間隔を最低5秒空ける
21. 制限によって発生した課題
22. 制限によって発生した課題 • 全イベント（1ヶ月分）を地図上に表示するのに時間がかかっ てしまう ◦ 5秒ごとに100件ずつ取得するため
23. どのように対応したか？
24. バッチ処理
25. バッチ処理の要件 • 目的 ◦ connpass apiから1ヶ月分のイベント情報を取得してDBに 保存する
26. バッチ処理の要件 • 既にDBにデータがある場合は全削除する ◦ データを最新に保つため • 100件ずつ6秒ごとにイベント取得apiをコール • 取得したデータをDBに保存 • 毎日午前3:30に実行
27. 技術構成 • メイン処理：Cloud Run jobs • 定期実行：Cloud Scheduler • DB：Planet Scale
28. 構成図 connpassから情報取得して保存
29. 構成図 定期実行
30. バッチ処理実行詳細
31. まとめ • connpass apiの制限をバッチ処理で回避した • 今回は小規模なものだったが、課題を技術で解決する体験が できた
32. ご清聴ありがとうございました！