Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up
for free
How Scala works at Mercari
Ryo Okubo
October 17, 2020
Programming
2
580
How Scala works at Mercari
Ryo Okubo
October 17, 2020
Tweet
Share
More Decks by Ryo Okubo
See All by Ryo Okubo
syucream
0
1.3k
syucream
2
2k
syucream
0
450
syucream
6
1.7k
syucream
6
1.1k
syucream
0
3.1k
syucream
3
820
syucream
2
180
syucream
0
1.2k
Other Decks in Programming
See All in Programming
deepflow
9
3.2k
suzukiot
0
290
manfredsteyer
PRO
0
150
sters
2
140
makomakok
1
250
hanasuke
1
600
borkdude
2
210
ryokbt
2
300
dbrumann
0
110
pirosikick
4
950
numeroanddev
1
230
nearmugi
0
190
Featured
See All Featured
malarkey
392
61k
destraynor
222
47k
zakiwarfel
88
3.4k
chriscoyier
779
240k
searls
204
36k
reverentgeek
27
2k
qrush
285
19k
hursman
106
9.3k
lara
172
9.6k
iamctodd
19
2k
geoffreycrofte
21
920
shlominoach
176
7.5k
Transcript
1 Scala がメルカリでどう動くか? ScalaMatsuri 2020 LT slides
2 メルカリとは •サービス開始日:2013年7月 •対応OS:Android、iOS ※Webブラウザからも利用可能 •利用料:無料 ※売れたときの手数料:販売価格の 10% •対応地域・言語:日本・日本語基本仕様
•累計出品数:15億品を突破 それを必要とする人の手に渡り、使用されることに喜びを感じ、ま た購入者は、多彩かつユニークな商品の中から「宝探し」感覚で 掘り出し物を見つける買い物体験を楽しんでいます。さらに「メル カリ」では、物の売買だけではなく、出品者・購入者間のチャットや 「いいね!」機能を通じて、お客さま間のコミュニケーションも活発 に行われています。 フリマアプリ「メルカリ」は、個人が簡単に中古品の売買を行える CtoCマーケットプレイスです。出品者・購入者双方が、安全・安心 な取引を楽しんでいただけるサービスを目指し、「メルカリ」が一時 的に購入代金を預かるエスクロー決済を活用した取引環境の整 備や、簡単かつ手頃な価格の配送オプション、差別化されたユ ニークなお客さま体験を提供しています。多くの出品者は、自分に とって必要でなくなったモノが、 2
3 • 社外に発信している情報は Go が多め ◦ 実際にバックエンド API の実装言語は Go
が非常に多い • でも一部 Scala も使っているんです! ◦ 当 LT で事例紹介させてください! ◦ Ref. 我々の技術スタック: https://engineering.mercari.com/technology-stack/ メルカリと Scala … ?
4 • ビッグデータ処理ジョブ実装言語として ◦ Java の資産が多いデータ処理において ◦ Apache Spark, Apache
Flink ジョブの実装のため • Gatling による負荷テストシナリオ記述のため • その他 Java 代替として メルカリにおける Scala の用途
5 • kintone に蓄積されたデータを分析に利用したい • kintone Spark connector で kintone
のレコード取得部分を実装 事例1. Spark による Kintone -> BigQuery データ同期
6 • 大規模データ基盤では品質の担保が困難 ◦ 信頼できないデータ基盤では、そこから得られた分析結果も信頼できなくなる ◦ 目視でデータの中身を確認できるはずもない • Deequ; AWS
が公開するデータユニットテストフレームワーク ◦ Apache Spark を利用している、ので Spark のリッチな API を利用可能 ◦ よく使われるテスト項目をサポート ▪ 重複した値が含まれていないか? ▪ NULL が含まれていないか? ▪ 想定したパターン以外の値が含まれていないか? 事例2. Deequ を使ったデータ品質チェック
7 • より抽象化されたテストシナリオのサポートを構想(開発中) ◦ Spark, Scala の強力な表現能力は嬉しいが、みんなに実装しろと言うのは酷 ◦ YAML にテスト項目を羅列するといい感じに実行されて欲しい
事例2. Deequ を使ったデータ品質チェック
8 • Pub/Sub で配送されたログを永続化・配送 • Apache Flink の Scala API
を用いてジョブを実装 事例3. マイクロサービスのログ収集パイプライン
9 • Flink ジョブでニアリアルタイムで変換・配送(開発中) ◦ CRM(Customer Relationship Management) 関連用途特化のアプリを開発予定 事例3.
マイクロサービスのログのストリーミング処理
10 • MySQL の binlog を BigQuery に配送しニアリアルタイムで分析可能に ◦ ETL
ジョブで MySQL に巨大クエリを投げるより低負荷でデータ同期可能 ◦ 分析可能になるまでのリードタイムが減少し、不正検知などへの活用が期待できる • 変更ログ送信エージェントを Scala で実装 • 変更ログを BigQuery に insert する Flink ジョブも Scala 製 事例4. CDC(Change Data Capture) パイプライン
11 • Apache Beam ベースの実装言語にも Scala を一部使用 ◦ For e.g.
https://github.com/mercari/pubsubloader • データ処理から派生して、スキーマ管理ツールも Scala で一部実装 余談