フルサーバーレス×Snowflakeで開発した「超並列クローラー」の全て

オンライン広告の不正を減らすための仕組みであるads.txtに対応した配信を行うため，広告配信プロダクト共通で使用する基盤を開発しました。
Snowflakeの章では，Terraformを使用した基盤やRoleの設計，またPublic Suffix Listを使用しURLからeffective Top Level Domainを抽出するためのクエリを紹介しながら，どのような壁にぶつかり，どのようにしてパフォーマンス改善を行ったのかをお話しします。
インフラの章では，スパイクとの闘いやクローリングの状態監視手法などなど，数百万オーダーの超並列クローリングを実現するためのアーキテクチャ設計をメインに，フルサーバレスでメンテコストを極限まで抑えた""超並列クローラー""の全てをご紹介します。

Transcript