Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
スタートアップにおけるデータ基盤のパッチワークフローの変遷
kakehashi
June 11, 2021
Technology
1
1.4k
スタートアップにおけるデータ基盤のパッチワークフローの変遷
AWS startup 202106
kakehashi
June 11, 2021
Tweet
Share
More Decks by kakehashi
See All by kakehashi
異分野の知見を活かす、DevOpsの実践: Learning from Other Fields
kakehashi
1
630
1万台のRaspberry_Pi4を制御する_AWS_IoTで実現する新処方箋情報基盤.pdf
kakehashi
0
840
業務システムにも使いやすいUIを。モダンフロントエンドの技術選定
kakehashi
0
740
新規開発のスーパーカオス期からの スクラム導入Step by Step
kakehashi
0
690
新規事業立ち上げ時のエンジニアリング
kakehashi
0
520
薬局の在庫発注管理の難しさと機械学習活用
kakehashi
0
700
株式会社カケハシ_採用サイト2022年1月時点
kakehashi
1
3.7k
KAKEHASHI-会社説明資料-2022.04
kakehashi
2
7.1k
Other Decks in Technology
See All in Technology
一人から始めるプロダクトSRE / How to start SRE in a product team, all by yourself
vtryo
4
2.8k
Nutanix_Meetup_20220511
keigotomomatsu
0
150
tfcon-2022-cpp
cpp
5
5.1k
プロダクトの理想と現実はなぜ乖離しがち?プロダクト作りに潜む問題を考える
suzukentaro
0
190
[SRE NEXT 2022]ヤプリのSREにおけるセキュリティ強化の取り組みを公開する
mmochi23
1
710
1,000万人以上が利用する「家族アルバム みてね」のSRE組織は4年間でどのように作られてきたのか/SRE NEXT 2022
isaoshimizu
6
3.2k
[AKIBA.AWS] それ、t2.micro選んで大丈夫?
tsukuboshi
0
310
次期LTSに備えよ!AOS 6.1 HCI Core 編
smzksts
0
180
IDOLY PRIDEにおけるAssetBundleビルドパイプラインについて
qualiarts
0
310
A1A会社紹介資料-2022-05-20
a1a
2
1.1k
家の明るさ制御 / Brightness Control in My House
1024jp
0
130
エンタープライズにおけるSRE立ち上げとNew Relic選定に至った背景とは / SRE Startup and New Relic in the Enterprise
tomoyakitaura
2
160
Featured
See All Featured
Creatively Recalculating Your Daily Design Routine
revolveconf
207
10k
StorybookのUI Testing Handbookを読んだ
zakiyama
4
2k
Streamline your AJAX requests with AmplifyJS and jQuery
dougneiner
125
8.5k
Fashionably flexible responsive web design (full day workshop)
malarkey
396
62k
Visualization
eitanlees
124
11k
Fantastic passwords and where to find them - at NoRuKo
philnash
25
1.5k
Build your cross-platform service in a week with App Engine
jlugia
219
17k
Code Review Best Practice
trishagee
41
6.8k
How To Stay Up To Date on Web Technology
chriscoyier
780
250k
Building an army of robots
kneath
299
40k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
11
4.6k
Building Applications with DynamoDB
mza
83
4.6k
Transcript
スタートアップにおける データ基盤のバッチワークフローの変遷 株式会社カケハシ 福田 貴之
自己紹介 福田 貴之 株式会社カケハシ データ基盤 ProductOwner 兼 エンジニア 経歴 •
某Y!2007年新卒でモバイル向けサービス開発運用 • ソーシャルゲーム会社でログ基盤を約6年くらいみてた • あとはベンチャーをいくつか...(HR Saasとか) • 2020年より現職 好きなAWSサービス: ECSFargate
Agenda • カケハシの紹介 • 弊社の以前ワークフローの構成と問題点 • ワークフローエンジン選定 • MWAA(Airflow)使ってみた •
まとめ
株式会社カケハシ の紹介
明日の医療の基盤となる、エコシステムの実現 Vision 患者 医薬品 サプライチェーン 薬局 ⽇本の医療体験を、しなやかに。 Mission
事業内容 患者満足と薬局の働き方改革を支援 電子薬歴の先をいく “薬局体験”アシスタント 薬局と患者さんがLINEでつながり、 LINE × 薬剤師で、薬局の外での 服薬期間中も患者を継続フォローする 調剤薬局の
経営診断サービス
数字で見るカケハシ社 https://www.kakehashi.life/5th-anniversary.html
スタートアップにおける データ基盤のバッチワークフローの変遷
以前の弊社データ基盤構成
以前のデータ基盤のアーキテクチャ構成 • サービスはDynamoDB • Lambdaで生データを抜いて、加工をGlueJob、結果は S3に、それらのジョブをStepFunctionsで管理 • この処理結果のS3を使う別チーム(AWSアカウント) が、GlueJobを利用して、RDSに入れたり、Athenaから 利用している。これらはGlueWorkflowで管理
課題に感じていたこと • チームも別々でどこで何が動いているか全貌把握が 難しくなっている • 再集計の困難さ • StepfunctionsもGlueWorkflowもWebコンソールから ワークフローを作っていた ◦
コードで管理されていなかった
ワークフローエンジン選定
何故ワークフローエンジンを使うか • cron(CloudWatchEventsなど)では駄目なのか? ◦ 依存関係のない単発のJOBがある程度ならこちらの方が楽 • バッチを運用してると困ってくること ◦ ジョブごとの依存関係をコードで管理したい....
◦ retry処理や成否通知処理をそれぞれのJobに実装したくない... ◦ どこまで終わっているのか状態管理をしてほしい... ◦ どの部分にどれくらい時間がかかっているのか観測したい... ◦ 失敗時にそこから再集計しやすいようにしたい... • 最初からワークフローを導入するのはオーバースペックな場合も
バッチワークフロー比較 OSSはいくつかあるけれど、、マネージドでやりたい • (OSS)Airflow ◦ Airbnb社 • (OSS)Digdag ◦ TreasureData社
• (OSS)Argo Workflow ◦ k8sネイティブ • (OSS)Luigi ◦ Spotify社OSS • AWS StepFunctions • AWS Glue Workflow • Amazon Managed Workflows for Apache Airflow
AWSマネージドワークフロー所感 • Glue Workflow ◦ Glue Job/Glue Crawlerだけのワークフローなら作るのは一番ラク ◦
S3をGlueJobでETL処理してAthenaで見るみたいな用途だとマッチするのでは ◦ コンソールのジョブの一覧性がちょっと... • StepFunctions ◦ GlueWorkflowよりは多少めんどくさいが自由度もある ◦ 豊富なAWSサービスとの連携 ◦ 思想としてコードを書かずにワークフローが作れる • MWAA(Airflow) ◦ Airflowをマネージドで運用してくれる ◦ ワークフローがコードで管理できる(=かなり書く必要があるが...) ◦ 拡張性もある(boto3でコードを書けになりがちだが...) ◦ UIがわかりやすく再集計などがやりやすい
MWAA使ってみた!
MWAAアーキテクチャ https://docs.aws.amazon.com/ja_jp/mwaa/latest/userguide/what-is-mwaa.html • MetaDatabaseはAurora? • Airflow Scheduler/Workerは ECS Fargate?
MWAAを利用したクロスアカウントでのデータ基盤 • それぞれのAWS環境で管理していた バッチをMWAAから一元するようにした • クロスアカウントでGlueなどを叩く場合は AssumeRoleするような実装をした
MWAA(Airflow)実際運用してみて良かった点 • 半年くらい運用しているが特に問題は起きてない! • DAGの反映がS3にアップロードするだけで即反映される! • 1度コードを書いてpluginファイルにしておけば同じようなワークフローを量産しやす い • コードでワークフローが管理できる安心感(どこで誰が何をやっているのか)
• (冪等に作っておけば)再集計も楽
MWAA(Airflow)実際に運用するにあたって辛いかもな点 • わりと(かなり)コード書く必要があるかも ◦ 再利用は可能だし通知やretry処理を作り込む必要がないとはいえ... ◦ 一部はOperatorsなど用意されているものもあるが(ECSなど) ▪
https://airflow.apache.org/docs/apache-airflow-providers-amazon/stable/operators/index. html ◦ GlueJobをワークフロー(DAG)から呼ぶときなどboto3で実装必要 ◦ AssumeRoleが1時間で切れるのでそのあたりの実装も必要 • [MWAA] plugin化したファイルの反映にAirflowの再起動が必要(30分くらいかか る...) def exec_gluejob(**kwargs): client = boto3.client("glue") res = client.start_job_run( JobName=job_name, Arguments=job_args, )
まとめ • スタートアップであっても状況に応じてワークフローを使い分けるのはアリ • 初期工数を考えればチーム/メンバーが少数であればStepFunctionsや GlueWorkflowからバッチワークフロー運用するのはアリ ◦ なんならCloudWatchEvents(cron)のままでも良い場合もある •
AWS環境が分かれてプロダクト/チームが複数存在するようになってきたらMWAAを 導入するのはアリ
カケハシは絶賛採用実施中です!! カジュアル面談からでも!! • サーバサイドエンジニア • フロントエンドエンジニア • SRE • データエンジニア
• プロダクトマネジャー • 開発ディレクター(スクラムマ スター) https://herp.careers/v1/kakehashi