# Event https://pages.awscloud.com/JAPAN-event-OE-jp-EIB22-BD-Media-20220310-reg-event.html
我々は日々膨大なデータを蓄積し情報化しています。様々な情報化業務がある中で、最も退屈で労働集約的になりかねないのが、レポーティング業務です。そんなレポーティング業務を効率化し、そして、その先にある本当にやりたかったこと実現するためのアドテクノロジーにおけるデータ活用の実態をお伝えします。
まだレポーティング業務で疲弊してるの？アドテクノロジーにおけるデータ活用の実態近森淳平 @pei0804CARTA HOLDINGS （旧VOYAGE GROUP） Zucks アドプロダクト事業本部
View Slide
レポーティング業務、手作業でエクセル作ってますか？
それやめましょう！が、今日の話したいことです。
事業成長機会を増やしたいなら、注力すべきは、レポーティング業務ではない。ネクストアクションを生む分析。
今日はレポーティング業務の倒し方とその実態についてお話します。
今日話さないこと● テック寄りな話
アジェンダ1. 自己紹介2. レポーティング業務とは3. 退屈なことはプログラムにやらせよう4. 効率化した先の世界5. まとめ
自己紹介ぺい@pei0804近森淳平(チカモリ ジュンペイ)CARTA HOLDINGS （旧VOYAGE GROUP）Zucks アドプロダクト事業本部 エンジニア
What’s about CARTA HOLDINGS.
VOYAGE GROUP と CCI が経営統合し誕生しました多くの事業・サービスを運営しています（下記は一部を抜粋）2019年に経営統合CARTA HOLDINGS
私たちは「進化」を生み出す。変わろうとするすべての組織に。知ってもらえずにいる商品たちに。力を眠らせたままのあらゆる産業に。よくする、だけでは足りない。次のステージへのジャンプを起こす。つながりえなかったものをつなぎ、停滞していたものを動かす。そんな進化を、あらゆる場所につくっていく。そのためには、「多様な力」が必要だ。違う才能がぶつかりあい、自分だけでは想像もできなかった方法に辿りつく必要がある。だから私たちは、意志を持って、様々な人間が共存する。挑もうとする人と進化を起こすために。私たちは進化推進業、CARTA HOLDINGSです。MISSION
https://engineering.cartaholdings.co.jp/
レポーティング業務とは、データを情報化する業務である。
そもそも、データとは？情報とは？考えたことはありますか？
データとは意味を成さない。(know-nothing)。ただの記号（シンボル）や信号（シグナル）や事実（ファクト）。例● 1,000人が洗濯機を購入した。● 3人が洗濯機を返品した。
情報とは意味の成す。(know-what, description)意思決定と行動に使える状態。目的で関連付けられたデータ。例● 先週に購入された商品の売上金額を、種別かつ店舗ごとに出したい。
情報化は想像以上に大変(非エンジニア)人の数だけ見たい情報がある。情報出せる土壌が整っていない状態で、需要に応えようとすると、労働集約的になることは、火を見るより明らか。そして、この問題をさらに困難にするのは、レポーティング業務に従事してる人は、往々にして非エンジニアであり、全く効率化されないまま、運用でカバーされ続けることがよくある。一方で、エンジニアは・・・
情報化は想像以上に大変(エンジニア)運用でカバーでは、引き出せない情報が必要になった場合、エンジニアが手を動かす必要が発生する。多くの場合、場当たり的な対応が採用される。それが、またカオスを生む。
レポーティング業務の辛い実例● 自分の興味関心を解決するレポート画面がないので、お手製の重厚長大なエクセルを作成する。そこに入力する値はもちろん手作業のコピペ。○ システムの都合でレポートに1列を追加するのが、かなり大変。追加出来ればいいけど、大体は運用でカバーすることになる。● レポートって名前で、実は信用できない参考値が出ている。● 色んな値を見るために、様々な画面へ遷移しなければならない。● 裏側の仕組みも大体辛いことになっている。
小さな辛みが積み重なって、膨大な時間を失う。
大変で、退屈。それがレポーティング業務。
退屈なことは、プログラムにやらせよう。
安心してください。AIってやつでどうにかなりません。
レポーティング業務は！！！終わらねェ！！！レポーティング業務は、絶対になくならない。そして、それを遂行したとしても、特に付加価値はない。例えば、「広告が表示された」が可視化されることに、感動する人居ない。何故なら出来て当たり前だから。どうせ同じことをやるなら、楽しよう。レポーティング業務は、扱っているビジネスによって十人十色。これさえやればなんとかなるというものはない。
真っ直ぐに仕事に向き合う。それしかない。
レポーティング in 弊社
時は、2021年
Zucksは、レポーティング業務の温かみに包まれた。数値は揃わない。運用でカバー。終わらないバッチ。人類は半ば諦めていたように見えた。だが・・・※温かみは、弊社では手作業が必要な業務のことを指す。
色々頑張った結果、関心事が決まり、簡単なSQLが書ければ、情報は引き出せるようになった。※SQLはデータベースからデータを取ってくる時に使う言語です。
過去発表紹介過去に発表したものにまとめているので、興味あればどうぞ。https://speakerdeck.com/pei0804/hokufalsekankaeruzui-gao-falserehoteinkuji-pan-at-awsdeshi-jian-analytics-modernization
全てのレポーティング業務が効率化したかのように見えた。だが、レポーティング業務は、効率化していなかった。
再掲 情報化は想像以上に大変(非エンジニア)人の数だけ見たい情報がある。情報出せる土壌が整っていない状態で、需要に応えようとすると、労働集約的になることは、火を見るより明らか。そして、この問題をさらに困難にするのは、レポーティング業務に従事してる人は、往々にして非エンジニアであり、全く効率化されないまま、運用でカバーされ続けることがよくある。一方で、エンジニアは・・・
クエリが書ければ、情報引けるではだめ。万人がSQLを書けるわけではない。
SQLが書けなくても、関心事だけ決まれば、情報を引き出せるを便利な画面が必要。
そもそも関心事とは何か？レポーティングに何を期待しているのか？
弊社におけるレポーティング業務とはZucksのDSP(Demand Side Platform)の広告レポートを提供する。例えば、以下のようなものが見れることが期待されている。● 「昨日、何回広告表示されましたか？」● 「今月の広告掲載費用は？」※今日は詳しいアドテクの話をしません。
弊社におけるレポーティング業務とはZucksのDSP(Demand Side Platform)の広告レポートを提供する。例えば、以下のようなものが見れることが期待されている。● 「昨日、何回広告表示されましたか？」● 「今月の広告掲載費用は？」※今日は詳しいアドテクの話をしません。残念ながら、現実はこんなシンプルではない。
レポーティングだけでも、そのユースケースは多岐にわたる。
ヒアリングしていくと、共通点があることがわかった。
関心事を連続して観測する。
つまり、定点観測。
定点観測とは1. ある一定の地点で、気温や気圧、降水量などの気象要素を連続して観測すること。「定点観測カメラ」2. 変化のある事象について、一定期間、観察や調査を続けること。「家電の価格の定点観測」引用：コトバンク
もっと掘り下げていくと2種類の定点観測に分類出来た。
● DSPにおいて重要なKPIを監視したい。○ 異常があればすぐ気づきたい。● 役割ごとの関心事で実績を見返したい。○ 広告の運用者なら、細かい粒度で見たい。○ マネージャークラスなら、俯瞰して見たい。○ 社外の人から求められる場合もある。2種類の定点観測
それぞれに求められていることは、全く違うこともわかった。
● DSPにおいて重要なKPIを監視したい。○ 異常があればすぐ気づきたい。● 役割ごとの関心事で実績を見返したい。○ 広告の運用者なら、細かい粒度で見たい。○ マネージャークラスなら、俯瞰して見たい。○ 社外の人から求められる場合もある。2種類の定点観測リアルタイム性が重要柔軟性が重要
無数のユースケースに見えたレポーティング業務も、2種類に収まることがわかった。
難しく見える課題も掘り下げていけば、実は簡単なことがある。
解決したいことを言語化しよう。
実装したもの● 定形レポート(Fixed format report)DSPで重要なKPI監視に使う。○ フォーマットは固定。○ データの発生から数秒で実績が反映される。● カスタムレポート(Custom report)利用者の関心事に合わせて情報を引ける。○ フォーマットは自由（軸、指標を切り替えできる）。○ データの発生から約1時間で反映される。
実装したものラムダアーキテクチャで実装した。それぞれの構成は以下の通り。● 定形レポート(Fixed format report)○ ソースは、RedshiftとElastiCache for Redisをマージしたもの。○ 数秒で反映される。Redisの値は直近1時間のみ使う。それ以降はRedshiftの値のみを参照する。● カスタムレポート(Custom report)○ ソースは、Redshift。○ 約1時間に1回集計される。
そもそも、なぜ、AWSで作るのか。
なぜAWSで作ったか● インフラを気にせず開発が出来るフルマネージドサービスのサービスレベルが高いため、作り始めの負荷が軽減されるのと、その後の運用面で楽が出来る。そのため少人数のエンジニアで十分運用が可能。● AWSのサポートが手厚い。例えば、今回紹介した基盤を作る時に、元々持っていた基盤のレビュー、新しく採用を考えているサービスのレクチャーなど、本当に手厚いサポートが受けられる。※弊社のサポートプランはエンタープライズ
なぜAWSで作ったか欲しいと思っていた所に、新しいソリューションが出てくる。例えば、最近だとKinesis Data StreamとRedshiftの連携。今回紹介したスピードレイヤー部分を、丸ごとに新機能で置き換えれるとかが、普通に起きるのがAWS。
アイデアさえあれば、あとは実行するだけになるのがAWS。
だから、私はAWS。
こうして関心事に対して、そこそこ簡単に、情報が取れる世界になった。※もちろん、まだまだ効率化の余地はある
そして、時間が生まれる。
レポーティング業務が改善され、生まれた空き時間で人々はどうなる？
さて、昨日のレポート見るか。あれ？ここなんでこうなってるんだろ。もうちょい掘り下げて調べたいな。つまり、分析をしたくなる。
分析とは、能動的な業務である。
分析とは何か？
分析とはレポーティングは、生データを情報に変える。そして、それらは決められた形（Push型情報）で、ユーザーに提供される。一方で分析は、レポーティングの結果を見た上で、何が起きているか？を知りたいことがある。そこで、情報にアクセスすることで（Pull型情報）、状況を把握するのが分析になる。
分析はレポーティングなくして成立しない。分析は、レポーティングあってこそ。レポーティングがまともに回ってないと、分析に辿りつかない。身近なところで例えると、家計改善しよう！となって、家計の収支把握せずに、改善なんて出来ない。収支把握して、ようやく改善計画が立案可能になる。
レポーティング業務が効率化された世界レポーティング業務レポートを確認する分析何が起きているか調べるネクストアクション新しい施策を実行する
レポーティング業務が効率化された世界レポーティング業務レポートを確認する分析何が起きているか調べるネクストアクション新しい施策を実行する現状把握がすぐ終わる。色々調べたくなるので、分析需要が高まる。
レポーティング業務が効率化された世界レポーティング業務レポートを確認する分析何が起きているか調べるネクストアクション新しい施策を実行する分析が進む。新しい施策がどんどん試される。
分析から、新しい行動は生まれる。
とにかくレポーティング業務から、人々を解放しよう。
分析がスムーズに進むと、ネクストアクションも生まれやすくなる。つまり、事業成長機会が増える。
レポーティング業務は、出来て当たり前で、新たな価値を生まない。新たな価値を生むのは分析である。
まだレポーティング業務で疲弊してるの？
pei0804
h1kita
yutoy
smasato
optimisuke
kojira
cimadai
hokaccha
bengo4com
nayuts
lwug
poteboy
sansantech
chriscoyier
maltzj
notwaldorf
deanohume
lara
lauravandoore
kastner
paulrobertlloyd
cassininazir
mthomps