サイバーエージェントの実践×実験Snowflake
導⼊の経緯から最新機能のトライアルまで
How Snowflake Is Used In CyberAgent - Go To the Future
株式会社サイバーエージェント AI事業本部
黒崎 優太 (@kuro_m )
@Snowflake Build.local Japan
データの移⾏
• S にあるファイルをSnowflakeに移⾏しました
• ⼤きめのWarehouseを複数使い並列に取り込むことで数時間で移⾏が完了
• 総容量60TBくらい(Snowflakeで圧縮後)
• computeとstorageが分離されている恩恵を受けました
Slide 39
Slide 39 text
ALTER TABLE 〜 SWAP WITH
• 初めて知ったときは感動しました
• alter table系のクエリはトランザクションが効かない
• テーブル洗い替え系の操作をしている瞬間にクエリが来るとタイミングが悪い
とテーブルが存在しない
• alter table 〜 swap with 〜をつかうとテーブルの⼊れ替えがatomicに
• トランザクションができなくともテーブルのスワップが安全に!