Bit Valley 2020 AI x IoT活⽤サービスの⽴ち上げ・拡販のための取り組み ABEJA Inc. Hiroyuki Ootaguro (@xecus)

⾃⼰紹介 1994年⽣まれ。千葉県出⾝。 産業技術⾼専卒業後、⾸都⼤学東京に編⼊学。 ⾼専在学中は、超⼩型⼈⼯衛星の開発、 医療機器に関する研究に携わる。 ⼤学では量⼦効果デバイスに関する研究に従事。 2015年ABEJAに⼊社、⼩売流通業向け店舗解析サービス ABEJA Insight for Retailのサービス⽴ち上げに従事。 全社の技術戦略を⽴案・実⾏だったり、 ⼈事(採⽤等)的なところもお⼿伝いしてます ⼤⽥黒 紘之 ABEJA SaaS事業部 @xecus

1. 会社・事業紹介(5分) 2. 新サービス開発における取り組み (10分) - リピーター推定（顔認証技術活⽤） - 導線分析 (ToFセンサー活⽤) 3. 既存サービス改修における課題・⼯夫 (4分) - 映像解析・顔認証基盤のアーキテクチャ改良 4. さいごに (< 1分) AGENDA

Corporate Name Headquarters Address Representative ABEJA.Inc the ARGYLE Aoyama 5F(WeWork), 2-14-4, Kita-Aoyama, Minato-ku, Tokyo 107-0061,Japan September 10 2012 Major shareholders Employee Corporate Approx. 80 people Archetype Venture Fund, L.P. Daikin Industries, Ltd. Google International LLC Innovation Network Corporation of Japan inspire investment Co., Ltd Itochu Corporation NTT Plala Inc. Nvidia Corporation Mitsubishi UFJ Capital No. 4 Investment Limited Partnership Mizuho Growth Support Investment Limited Partnership Musashi Seimitsu Industry Co., Ltd. PNB-INSPiRE Ethical Fund 1 Investment Business Limited Liability Partnership SAKURA Internet Inc. salesforce.com, inc. SBI AI & Blockchain LPS (operated by SBI Investment Co., Ltd.) TBS Innovation Partners 2 Investment Partnership (operated by Tokyo Broadcasting System Holdings, Inc.) Topcon Corporation Toshiba Tec Corporation

Corporate We change the world through our innovation. Implement a Fruitful World We Will Reform Industrial Structures with the Force of Our Technology Tagline ゆたかな世界を、実装する イノベーションで世界を変える テクノロジーの⼒で産業構造を変⾰する Vision Mission

1. Data saving 2. Annotation 3. Training 4. Deploy 5. Serving 6. Inference 7. Insight ABEJA Platform (PaaS Division) 1):4*$ "-803-% $ :#&3803-% *P5"DUVBUPS *P54FOTPS &YJTUJOH%BUB 0UIFS4ZTUFN #JH%BUB %FQMPZ .POJUPSJOH &EHF"* *OGFSSJOH $MPVE"* -FBSOJOH*OGFSSJOH *OCPVOE*P5 0VUCPVOE*P5 ABEJA Platform is a platform that provides functions to improve the efficiency of machine learning and deep learning implementation and operation. We provide all necessary functions for pipeline with CLI, SDK, API, GUI and accelerate implementation.

Operate retail shops scientifically, transcending ‘experience’ and ‘gut feeling’ ABEJA Insight for Retail Data gathered Integration & Analysis Visualization Action Cloud Dashboard What to know ✓ Underperforming vs. benchmark stores ✓ Reason for underperformance ✓ Identify measures and policies for improvement What to do ✓ Identify underperforming stores and improvement plans quickly ✓ Specify know-how of best practices in your shops and expand horizontally in your organization Easy to mange data visualization Camera Image Analysis Utilizing Deep Learning technology POS Data Weekly e-mail report

Copyright © 2018 ABEJA, Inc. All rights reserved.

Copyright © 2018 ABEJA, Inc. All rights reserved.

取得可能なデータの⼀例 ళฮӡӦͷKPIʹͳΔσʔλΛIoT x AIͰऔಘɾ෼ੳ͠ɺݟ͑ΔԽ

ABEJA Insight for retailの⽬指す世界 [Product Vision] 顧客⾏動データを基軸にした 新しい⼩売流通業の形を創造する IoT・AIの⼒をフル活⽤して店舗・顧客⾏動をデジタル化し ⼩売（店舗）＋流通業全体のDXを実現させる

Dashboard Service ・映像解析(AI)による解析結果と売上データ等の既存データを統合して分析・可視 化。⼩売経営を⽀援する各種機能を提供。 ・2015年より提供を開始。5年間で140社840店舗以上のユーザー様が利⽤。 ・「⼩売・卸売AI市場」と「マーケティングAI市場」 でシェア1位に (2019年 ミック経済研究所調べ)

Data Analysis Platform ・1⽇40TB以上のIoTデバイスからのデータ（主に映像等）を解析する為の基盤 ※後ほど、アーキテクチャ周りの改善活動について触れます！ ・5年間で3.5億⼈(PV)の来場客をシステムが認識 ・基盤開発を楽にする為に、ABEJA Platformを社内活⽤ →機械学習のモデルのサービングとかは、ある程度楽をさせていただいている

Device ・店舗データ取得のために、数千台のカメラデバイス及びIoTデバイスが稼働中 ・⾃社バックボーン(ABEJA ISP)を活⽤した閉域網接続を提供し、セキュアなデータ 転送を実現している αʔϏεج൫ (Ϋϥ΢υ্) Camera IoT
 Device POS

社内のエンジニアの取り組み 顧客価値最⼤化の為の 継続的な研究開発 （既存サービス改修） 新たな顧客価値創造の為の 研究開発 (新サービス開発） 「リピーター分析」「動線分析」事例を 元に、⽴ち上げ時に発⽣した課題と取り 組みについてご紹介いたします。(10分程 度) 映像解析基盤・顔認証基盤を題材に、 アーキテクチャ改善の取り組みについて ご紹介いたします (5分)

ABEJAで取り組んだ新サービス Ϧϐʔλʔ෼ੳ (إೝূٕज़׆༻) ಈઢ෼ੳ (ToFηϯαʔͷ׆༻) ※ 個⼈情報保護法・カメラ画像利活⽤ガイドブックVer2.0等を踏まえ、 法令を遵守しプライバシーに配慮した運⽤を⾏っております

リピーター分析機能のイメージ Fig: 社内で開発したベースとなる顔認証 新たな顧客価値創造 Fig: 当時のアウトプットイメージ

動線分析機能のイメージ 新たな顧客価値創造 ・⾃動運転⾞にも使われる計測技術を利⽤ 天井にLIDAR(ToF)を⽤いた3Dスキャンセン サを⼤量に敷き詰めて、店舗全体で物体の フルトラッキングを⾏う ・来店者・スタッフの店内⾏動を⼊店から 退店までEnd-to-Endで計測できるサービス   ・エリア滞在、⼿伸ばし計測   ・接客率計測

No content

当時思い描いていた計画 研究 開発 リリース準備 ղੳίΞ։ൃ ਫ਼౓ݕূ ಋೖϑϩʔߏங ࿦จαʔϕΠ Ϟσϧ࡞Γ ࣾ಺πʔϧ։ൃ σϦόϦʔମ੍ߏங リリース v1.0 (顧客提供開始) 1~2ヶ⽉ 1~2ヶ⽉ 1~2ヶ⽉ ☆思いっきりウォーターフォールで引いͨ 新たな顧客価値創造

研究⾯で発⽣した問題例（⼀例） 新たな顧客価値創造 研究対象のコンポーネントが多岐にわたる   IoTx AIに関わる各コンポーネントそれぞれが精度ボトルネックを抱える   ex) 光学レンズ性能、CMOS性能、映像伝送, 顔検出, トラッキング, 特徴量抽出 研究開発のゴール設定の難しさ。終わらない研究活動   前提となるプロダクトサイドの仮説検証の進⾏状況によって   研究ゴールも変動する (並⾛しちゃたせい） 絶え間なく新しい論⽂が発表され、研究が終わらない…   今も昔もホットな研究領域。どんどん新⼿法が提案されていく。

開発⾯で発⽣した問題例（⼀例） 新たな顧客価値創造 精度と実⾏効率(原価)のトレードオフ   精度を上げると実⾏効率・メモリ効率が下がる キャパシティプランニング・⾼速化にはアルゴリズムが理解できる⼈が必要   論⽂・アルゴリズム実装が読めて、計算量が⾒積もれるエンジニアが必要 Deep Learningのフレームワークが多種に渡り、管理運⽤コストがかかる   Openな既存資産を利⽤する場合に発⽣する可能性あり

研究と開発の間に潜む溝 (⾳楽性の違い) 新たな顧客価値創造 研究観点 ͳΔ΂͘୹͍࣌ؒαΠΫϧͰίʔυɾϞσϧΛ มߋɾमਖ਼Λଓ͚ΒΕΔͷ͕ྑ͍ 開発観点 ҆ఆతʹಈ͔ͨ͢Ίʹɺ ݎ࿚ͳ࡞ΓࠐΈ͕ඞཁ どちらも、どちらの⽴場では正しい。研究活動の成果をRepoにPUSHした瞬間、CI/ CDが動いてPRODが壊れる事が過去に。。どうにかせねば。

ղੳίΞ։ൃ ਫ਼౓ݕূ ಋೖϑϩʔߏங ࿦จαʔϕΠ Ϟσϧ࡞Γ ࣾ಺πʔϧ։ൃ σϦόϦʔମ੍ߏங 早速崩れるウォーターフォール 研究 開発 リリース準備 リリース v1.0 3ヶ⽉ 3ヶ⽉ 3ヶ⽉ 新たな顧客価値創造

問題整理 〜なぜWFが崩壊したのか〜 新たな顧客価値創造 ɹ研究・開発のゴール設定の難しさ。終わらない戦い   プロダクトのイメージと要求精度・仕様等が固まりきらないと   研究や開発が動き出せない ɹスケジュールをカオスにする様々な不確実性の存在   精度・実⾏速度・原価の不確実性 ɹ「研究」と「開発」の間に存在する様々な壁   活動サイクル、スキルセット、使⽤するツール、その他

取り組み３つ 新たな顧客価値創造 アジャイル型研究開発体制 x 機能境界型リリース フルサイクルな 研究開発体制の構築 お客様と並⾛するプロダクト 検証体制

アジャイル型研究開発体制 新たな顧客価値創造 研究 開発 評価 試験 時間の流れ ݚڀ ։ൃ ධՁ ࢼݧ 1 Sprint 1 Sprint ܭը ܭը まずは研究チームと開発チームを合体してワンチーム化 その上で、ソフトウェア開発の世界で主流になってきている概念をやってみた。

機能境界型リリース 新たな顧客価値創造 社内外が疲弊する＆しっかりと価値が提供できなくなる為「この⽇にMUSTで新サー ビス・新機能リリースするよ」って時間境界でリリース計画を練るのをやめた その代わりに機能の成熟度・PSF状況の基軸にしたリリース戦略に転換

アジャイル型研究開発 × 機能境界型リリース 新たな顧客価値創造 研究 開発 ධՁ ࢼݧ 時間の流れ R&D Team ݚڀ ։ൃ ධՁ ࢼݧ Closed βとしてのリリース (⼀部店舗で適⽤) 正式リリース (全店舗で利⽤可能) ×Nサイクル ×Nサイクル 想定する提供機能の価値検証の実施 社内環境を活⽤したモデルの精度評価 パフォーマンス・チューニング 適正プライシングの検討等

アジャイル型研究開発 × 機能境界型リリースの効果 新たな顧客価値創造 研究と開発間のコミュニケーションコストが最⼩限になり、「様々な不確実性」に対し て素早い軌道修正ができる体制ができた テストプロダクトの供給を通して、課題の発⾒と解決プロセスに乗せる事ができた リリースするプロダクト(機能)の品質を担保しながら、早速事例創出につなげる事がで きた

ABEJAにおける取り組み 新たな顧客価値創造 アジャイル型研究開発体制 x 機能境界型リリース フルサイクルな 研究開発体制の構築 お客様と並⾛するプロダクト 検証体制

継続的な研究開発をチームですすめる⼟壌づくり 新たな顧客価値創造 ✅ 機械学習のモデル・アルゴリズムとサービス提供⽤コードの分離 ライフサイクルの異なる活動のギャップを吸収 (研究活動と開発活動の共存への第⼀歩） ✅ マイクロサービス化＆ビルドパイプラインの構築 各メンバーが研究・開発を並⾛でき、サービスデリバリーまでの時間を短縮 ✅ AIxIoTに関わる各種メトリクス(画像品質・伝送品質・モデル精度・原価等)を定 量化＆可視化 チームの誰もがモデル・ロジック・システムの安定性等を評価でき、プランニング＆アク ションできる⼟壌・⽂化づくりをする。研究活動と開発活動の共栄を⽬指す。

継続的な研究・開発をチームですすめる⼟壌づくり 新たな顧客価値創造 Models Engineers Researchers MicroServices Deploy Pipeline Metrics & Alert Insights Tools Test Environment ツールを基軸に、研究・開発〜 運⽤までプロセスが回せるよう に⼟壌を整備した

フルサイクルなソフトウェア活動に対応 新たな顧客価値創造 Engineers Researchers Tools ݚڀ ઃܭ ։ൃ ϦϦʔε ӡ༻ αϙʔτ

フルサイクルな研究開発体制のメリット 新たな顧客価値創造 ✅ ResearcherはAIのモデル設計・精度検証プロセスを気兼ねなく⾼速に回せるよに なった ✅ Developerもモデルの精度等を定量的に理解しながら、Researcherの研究成果を Productionに安全に持っていけるようになった ✅ɹメトリクスを共通⾔語として、研究者と開発者がコミュニケーションを取れるよう になった ✅ɹݚڀɾ։ൃ͢Δϝϯόʔ͕ӡ༻՝୊Λൃݟ͠΍͘͢ɺӡ༻վળʹ΋ܨ͕ͬͨ ࢀߟ: Netflixʹ͓͚ΔϑϧαΠΫϧ։ൃऀ―։ൃͨ͠΋ͷ͕ӡ༻͢Δ

ABEJAにおける取り組み アジャイル型研究開発体制 x 機能境界型リリース フルサイクルな 研究開発体制の構築 お客様と並⾛するプロダクト 検証体制 新たな顧客価値創造

ソリューションづくりの難しさ 新しいデバイス(IoT)や新しいモデル(AI)の適⽤によって取得できるデータが増える どのようにソリューションづくりをすればお客様の価値になるのだろうか。 (例: どのようなデータ整形、⾒せ⽅すればよいかデータ利活⽤が⾃⾛できるだろうか) 新たな顧客価値創造

価値検証PDCAを研究開発チームと共に実施 Engineers Researchers Tools フルサイクルな研究開発体制 ϓϩτλΠ ϐϯά Ձ஋Ծઆ ࠶ߟ Ծઆͷ ݕূ׆ಈ (ٕज़ݕূؚΉ) ྑ͍ԾઆΛ र্͍͛Δ 新たな顧客価値創造 より質の⾼いソリューション を追求していくチーム

3⼈⼀組のソリューション仮説検証チーム ͓٬༷ Customer Success (Biz) Data Scientist Data Engineer ソリューション仮説検証チーム (PoC) 新たな顧客価値創造

ソリューション仮説検証チームにおける各ロールの役割 Customer Success ʮσʔλΛ͔ͬ͠Γ׆༻ͯ͠΋Β͑ΔΑ͏ʹͳΔʯ·Ͱͷαϙʔτͱɺ׆༻ ύλʔϯΛϓϩμΫτʹϑΟʔυόοΫ͢Δ͜ͱ͕࢖໋ Ϗδωε໘ͷχʔζΛ἞ΈऔΓͳ͕ΒɺϓϩμΫτ൓өʹ޲͚ͨ൚༻తͳϞσ ϧɾϩδοΫͷ࡞੒͕࢖໋ σʔλαΠΤϯςΟετͷϩδοΫͷج൫࣮૷ɾߴ଎Խٴͼɺ೔ʑมಈ͢Δ σʔλྔʹରԠ͠ɺεέʔϧͰ͖ɺ׌ͭ҆ఆతͳαʔϏεͷఏڙ͕࢖໋ Data Scientist (Engineer) Data Engineer (Engineer) 新たな顧客価値創造

当時のソリューション仮説検証チームの課題 仮説検証のリスト消化にはめちゃくちゃ時間がかかる   ⇢分析ロジック及び可視化部(Dashboard)の開発をするには、    フロントエンドエンジニアの採⽤/稼働が必要になり    ⼈的・時間的コストが⼤きくかかる   ⇢検証したい仮説はたくさん存在する。    1つ１つの仮説検証に⼤きなコストをかける事は難しい。 新たな顧客価値創造

仮説検証を加速する⼯夫 〜BIツールベースの仮説検証〜 ・可視化プロトタイピングには 「Redash」と呼ばれるオープンソースの BIツールを活⽤ ・分析・可視化⽤のクエリーを記述する 事で、仮説検証⽤ロジックと画⾯がさ くっと実装できる 新たな顧客価値創造

ABEJAにおける取り組み アジャイル型研究開発体制 x 機能境界型リリース フルサイクルな 研究開発体制の構築 お客様と並⾛するプロダクト 検証体制 新たな顧客価値創造

まとめ ✅ 「不確実性」とうまく向き合うために、アジャイルな研究開発体制 & 機能境界によ るサービスリリースという取り組みを実施 ✅ 研究と開発のギャップを埋め１つのチームとして進める為に、 フルサイクルな研究 開発体制にシフト ✅ 顧客価値に直結するソリューション作りをする為に、ソリューション仮説を⾼速に 検証するチームを⼩規模に⽴ち上げ 新たな顧客価値創造

カメラ画像利活⽤ガイドブックの策定 ・IoT推進コンソーシアム データ流通促 進ワーキンググループに委員として弊社 岡⽥が参加 ・カメラ画像利活⽤ガイドブック策定後 は、遵守する為のシステム改良・導⼊体 制を構築。その後、リピーター分析機能 は正式リリースをした 新たな顧客価値創造

社内のエンジニアの取り組み 「リピーター分析」「動線分析」事例を 元に、⽴ち上げ時に発⽣した課題と取り 組みについてご紹介いたします。(10分程 度) 映像解析基盤・顔認証基盤を題材に、 アーキテクチャ改善の取り組みについて ご紹介いたします (5分) 顧客価値最⼤化の為の 継続的な研究開発 （既存サービス改修） 新たな顧客価値創造の為の 研究開発 (新サービス開発）

画像解析コア v1.0 monolith arch 動画(数⼗TB) 年齢性別 リピート推定結果 プロダクトの⽴ち上げフェーズでは、結構モノリシックな作り⽅をしていた 継続的な研究開発

画像解析コア v1.0が事業のスケールに追いついていけなくなる 継続的な研究開発

v1.0 monolith archで発⽣した課題例 ɹデータ量が超増えてきて、適正原価から逸脱し始めた 超でかいインスタンスを複数建造する必要性ができた。原価構造を早く改良しないとマズイ 状況。データの量と特性に応じたオートスケールを考慮していきたい気持ち。 ɹ機械学習を使った多様なフレームワークが競合しあう等、開発が難しくなった 結果、少しずつ社内の研究成果を取り込みににくくなり、顧客への新規の価値提供が難しく なった。 最新の社内の研究成果をプロダクションに素早く安全に取り込みたい気持ちが⾼まる 継続的な研究開発

画像解析コア v2.0 MicroService with polyrepo (multi-repo) 映像解析コア 特徴量抽出 顔認証部分 年齢性別推定 Fig: マイクロサービス化した社内の顔画像解析パイプライン (例⽰⽤) 継続的な研究開発

画像解析コア v2.0 MicroService with polyrepo (multi-repo) ✅ɹ各モデルの責任範囲において改善PJを並⾏でき、研究開発の速度感がUP 細分化したモデルコンポーネントの責任範囲が明確化した結果、 逆コンウェイの法則的なアプローチでチームや作業分担を⾒直すきっかけになった ✅ɹモデル側で使えるフレームワークの⾃由度が増え、モデル刷新の⾃由度が⾼まった 社内外の最新の研究成果を取り込む事が楽になった 継続的な研究開発

画像解析コア v2.0 MicroService with polyrepo (multi-repo) ✅ɹスポットインスタンスやSpot Instの併⽤により原価が爆下がりした マイクロサービス化した上で、ステートレスなところ（落ちても⼤丈夫なところ）に 適⽤をした結果、85%ぐらいの原価削減につながった ✅ɹ障害耐性や保守性を⾼め⽇々の運⽤負荷を下げられた 負荷特性の異なる機械学習モデルのスケールができるようになった モデルやコンポーネントの保守性が⾼まり、障害が減る 継続的な研究開発

画像解析コア v2.0 MicroService with polyrepo (multi-repo) ɹモジュール間のI/Fが変わった時に複数レポジトリを修正するコストが⾼い 軽微なバグ修正や改善でも、地味に⼼理的ハードルが上がり放置されがちになる ɹ各モジュールのどのバージョンで本番が動いているか⼀⾒すると分かりにくい 複数リポジトリのふるまい変更やリリースの状況の把握が途中でできなくなり、リリース ミスが発⽣した 継続的な研究開発

画像解析コア v2.0 MicroService with polyrepo (multi-repo) ɹデプロイの依存関係があり，慣れた⼈しかリリース作業ができなくなった (仮定) マイクロサービスが３つ(A,B,C)あり、依存関係A→B→Cが存在 (例) CのI/Fを修正した場合、C→B→Aの順でリリースが必要。 ɹ各リポジトリのCI/CDがPASSしても、全部リリースしてみないとわからないバグがあ る トラブルが怖くて、みんな積極的にリリースしなくなる。 継続的な研究開発

画像解析コア v2.1 (MicroService with monorepo) 継続的な研究開発 1つのリポジトリでマイクロ サービスを実現 (monorepo化)

画像解析コア v2.1 (MicroService with monorepo) ✅ 複数リポ修正する必要性がなくなり、monorepoだけ気にすれば良くなった monorepoにだけPR出せばOK。複数リポジトリを全く修正が不要になった ✅ 変更に対する⼼理的安全性が⽣まれ、リリースが捗るようになった monorepoでCIが通れば、マイクロサービス全体の振る舞いを担保できる ✅ 共通の依存関係を⼀気にアップデートできる 例) 共通的に使っているライブラリにセキュリティパッチを当てる等 継続的な研究開発

画像解析コア v2.1 (MicroService with monorepo) ɹmonorepoに関する国内事例がまだ少ない…??? Pythonだと実例が少ない…?? 英語で検索した⽅が圧倒的に検索性が良い 継続的な研究開発

Pantsで決めるpython monorepo (昨⽇TechBlogをリリースしました！) https://tech-blog.abeja.asia/entry/python-monorepo

さいごに ⭐ɹ本⽇はサービス・新機能創成の話〜スケール時に直⾯した様々な課題をベースに、 社内での取り組みをご紹介させていただきました。早⼝ですみません。 なんか⼤変そうだけど、⾊々やってるな程度にとらえて頂ければと思います。 ご質問、感想など、#bitvalley2020 or TwitterDM( @xecus ) 等でラフに頂ければと思いま すー！ いくつかのポジションで採⽤をガンガン進めております！ (フロントエンドエンジニア、UI/UXデザイナーさん、特に…!!!)