Slide 1

Slide 1 text

1 AIを前提とした体験の 実現に向けて 三宅 悠介, 渡辺 ⿓⼆, 酒井 敏彦 ペパボ研究所 2024.03.21

Slide 2

Slide 2 text

● 次のオンライン宿泊予約サイトBooking.comのトップ ページを⾒てお答えください はじめに 2 いくつのAI体験から構成されている?

Slide 3

Slide 3 text

3 Personalization in Practice Methods and Applications — a WSDM ’21 Tutorial 発表資料より転載

Slide 4

Slide 4 text

はじめに 4 答えは...

Slide 5

Slide 5 text

5 Personalization in Practice Methods and Applications — a WSDM ’21 Tutorial 発表資料より転載

Slide 6

Slide 6 text

● 想像と⽐べて、要素数はどうでしたか? ● 想像と⽐べて、要素の多様性はどうでしたか? はじめに 6 たくさん(3より⼤きい)でした

Slide 7

Slide 7 text

● 本稿は、「AI体験」の⽬的や定義の整理を通して共通 理解を醸成し、AIを前提とした体験をみんなで実現し ていくことを⽬指しています ● 本稿では、任意のタスクを解くための振る舞いをデータから記述するような、機械学習ベース の⽅式全般をAIと呼びます はじめに 7 AI体験ってどういうこと?

Slide 8

Slide 8 text

2つのAX 8

Slide 9

Slide 9 text

● AI Transformation: AI“技術の活⽤による新たな商品‧サービスの提供、新たなビジネ スモデルの開発を通して、社会制度や組織⽂化なども変⾰してい くような取組”* ● AI eXperience: AI技術の活⽤によって得られるUser eXperience (UX) 2つのAX 9 AI Transformation & AI eXperience * 情報通信⽩書令和3年版 ポイント 第1部第2節のDXの説明をAXに合わせ改変

Slide 10

Slide 10 text

2つのAX 10 AI Transformation & AI eXperience 利⽤者 組織‧ システム AI AI eXperience AI Transformation

Slide 11

Slide 11 text

2つのAX 11 AI Transformation & AI eXperience 利⽤者 (購⼊者) 組織‧ システム AI AI Transformation Two-sided marketの場合 利⽤者 (販売者) AI Transformation AI eXperience AI eXperience

Slide 12

Slide 12 text

● AI Transformationは、AI活⽤による組織やシステムの 変⾰。AIによる業務改善やデータ活⽤基盤の推進 ● AI eXperienceは、このAI Transformationを前提とし た、AI活⽤による新しいユーザー体験 ● AI体験にとってAI Transformationは必要条件 2つのAX 12 AI Transformation & AI eXperience

Slide 13

Slide 13 text

AI体験の分類と実践例 13

Slide 14

Slide 14 text

● はじめにビジョンありき ● 以降では、この体験のビジョンに従い、AIが解として 適合するTwo-sided markertでの実践例の紹介を通し て、AI体験を分類する ● シンプルかつスムーズに、最適な商品を⼀緒に⾒つけ ましょう AI体験の分類と実践例 14 あなただけの⼼地よい買い物体験

Slide 15

Slide 15 text

購⼊者と(商品を束ねた)システムの間に発⽣す る、商品の発⾒から購⼊⾏動を通したAI体験。 ⼼地よい買い物体験のために、購⼊者側に負担を 強いることのない、無駄なく円滑な適応的システ ムで実現する。動的な体験。 販売者と購⼊者の間に発⽣する、商品(とその 紹介)を通したAI体験。 ⼼地よい買い物体験のためには、そもそも商品 の数や品質が必要であり、販売者へのAI⽀援で 実現する。静的な体験。 15 AI体験の分類と実践例 システムを通したAI体験 商品を通したAI体験

Slide 16

Slide 16 text

購⼊者と(商品を束ねた)システムの間に発⽣す る、商品の発⾒から購⼊⾏動を通したAI体験。 ⼼地よい買い物体験のために、購⼊者側に負担を 強いることのない、無駄なく円滑な適応的システ ムで実現する。動的な体験。 販売者と購⼊者の間に発⽣する、商品(とその 紹介)を通したAI体験。 ⼼地よい買い物体験のためには、そもそも商品 の数や品質が必要であり、販売者へのAI⽀援で 実現する。静的な体験。 16 AI体験の分類と実践例 システムを通したAI体験 商品を通したAI体験

Slide 17

Slide 17 text

17 AI体験の分類と実践例 - 商品を通したAI体験 社内事例のため省略

Slide 18

Slide 18 text

18 AI体験の分類と実践例 - 商品を通したAI体験 社内事例のため省略

Slide 19

Slide 19 text

19 AI体験の分類と実践例 - 商品を通したAI体験 宿泊施設紹介の要約‧拡張 Booking.comにおける、宿泊施設のレビューを⽤い た施設の優れた点の要約と、価格傾向や他施設との 価値⽐較による紹介項⽬の拡張* AI Transformation: 従来は、宿泊施設に対する理解を深めるためのプロ セスの多くを利⽤者に委ねていた。宿泊施設はこの 要約‧拡張機能により、⾃施設の優れた点をシンプ ルかつスムーズに伝えることができる (ただし、宿泊施設への明⽰的な操作は課さないと考えられる) AI eXperience: スムーズに宿泊施設の今の特徴を理解できる体験。 * Lucas Bernardi, Themistoklis Mavridis, and Pablo Estevez. 2019. 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD '19). より引用

Slide 20

Slide 20 text

AI体験の分類と実践例 - 商品を通したAI体験 AIの導⼊が必ずしもAI体験の実現にはならないことを意識しておきましょ う。例として、システム運⽤として販売商品が規約に沿うかの⽬視確認への AI導⼊を考えましょう。ここで、AIによる確認の⾃動化と運⽤者による最終 確認が実現したとします。効率化には繋がるものの、本質的にはこの路線で は運⽤は変わりません(AI TransformationがAIから組織‧システム⽅向へ⽮ 印があることを思い出しましょう)。この場合、そもそも販売登録時に⾃動 で都度確認されれば、運⽤ごと変化し結果として検知までのタイムラグも減 少し、体験の向上に繋がると考えられます。以下のDXにおけるデジタル化の 段階を参考に、取り組みがAI体験の⼗分条件を満たせているかを考えると良 いでしょう。 コラム: 必要条件としてのAI Transformation 20 * 情報通信⽩書令和3年版 ポイント 第1部第2節のDXの定義より引⽤

Slide 21

Slide 21 text

購⼊者と(商品を束ねた)システムの間に発⽣す る、商品の発⾒から購⼊⾏動を通したAI体験。 ⼼地よい買い物体験のために、購⼊者側に負担を 強いることのない、無駄なく円滑な適応的システ ムで実現する。動的な体験。 販売者と購⼊者の間に発⽣する、商品(とその 紹介)を通したAI体験。 ⼼地よい買い物体験のためには、そもそも商品 の数や品質が必要であり、販売者へのAI⽀援で 実現する。静的な体験。 21 AI体験の分類と実践例 システムを通したAI体験 商品を通したAI体験

Slide 22

Slide 22 text

AI体験の分類と実践例 - システムを通したAI体験 22 従来は、利⽤者がシステムに合わせる 利⽤者 システム ⽂脈(意図‧状況) 利⽤者は⽬的を達成するため、システムの提供 する利⽤者⼀律のインターフェースに対して、 ⾃⾝の状況と意図を操作⼿順として翻訳しなが ら伝える。 必然的にインタラクションは複雑で⻑期化し、 利⽤者の負担となる。

Slide 23

Slide 23 text

このために、システムは従来の構造をそのうちに再 現する。これにより、利⽤者との直接のインタラク ションを減らしながら、⽬的の達成を⽬指す。 AI体験の分類と実践例 - システムを通したAI体験 23 AI体験は、システムが利⽤者に合わせる 利⽤者の 振舞の模倣 (≒モデル) システム 推定した⽂脈 ⽂脈(意図‧状況) 利⽤者 利⽤者側に負担を強いること のない、無駄なく円滑な適応 的システムの実現

Slide 24

Slide 24 text

24 AI体験の分類と実践例 - システムを通したAI体験 社内事例のため省略

Slide 25

Slide 25 text

* Xue Xia, Pong Eksombatchai, Nikil Pancha, Dhruvil Deven Badani, Po-Wei Wang, Neng Gu, Saurabh Vishwas Joshi, Nazanin Farahpour, Zhiyuan Zhang, and Andrew Zhai. 2023. TransAct: Transformer-based Realtime User Action Model for Recommendation at Pinterest. KDD '23. ** M. Jeffrey Mei, Oliver Bembom, and Andreas Ehmann. 2023. Station and Track Attribute-Aware Music Personalization. RecSys '23. *** Hao Ding, Branislav Kveton, Yifei Ma, Youngsuk Park, Venkataramana Kini, Yupeng Gu, Ravi Divvela, Fei Wang, Anoop Deoras, and Hao Wang. 2023. Trending Now: Modeling Trend Recommendations. RecSys '23. ● Pinterestでのホームフィード推薦。利⽤者の短期的な リアルタイム⾏動と⻑期的な利⽤者の嗜好を合成した推 薦が可能* ● SiriusXM Radio(ポッドキャスト)での⾳楽の逐次推 薦。コンテンツだけでなくアーティストや放送局の情報 なども利⽤することで推薦の品質を向上する** ● Amazonのトレンド予測(≠検出)からの推薦。単純な 加速度だけでなく利⽤者と商品の相関の特徴も組み込 み、新作に対する予測性能を向上する*** 25 AI体験の分類と実践例 - システムを通したAI体験 推薦

Slide 26

Slide 26 text

26 AI体験の分類と実践例 - システムを通したAI体験 社内事例のため省略

Slide 27

Slide 27 text

27 AI体験の分類と実践例 - システムを通したAI体験 検索 ● Booking.comでの「今、必要なフィルタセット」の提⽰。 宿泊施設を探す前にフィルタを探す⼿間を省ける体験* ● Fliggy(旅⾏予約サービス)でのクエリ修正。正確に記述 せずともクエリの意図が伝わる体験** ● Amazonでのクエリ推薦。絞り込みや条件の部分変更など から「次の」クエリを教えてくれる体験*** ● Walmartでのクエリ理解。クエリとして⼊⼒するだけで フィルタ設定したかのような結果が得られる体験**** ● Airbnbでの検索結果の並べ替え。「予約しそう」な物件が 上位に来ることで⽐較検討の⼿間を省ける体験***** * Bernardi, L., Estevez, P., Eidis, M., & Osama, E. (2020). Recommending Accommodation Filters with Online Learning. In ORSUM@ RecSys. ** Jian Xie, Yidan Liang, Jingping Liu, Yanghua Xiao, Baohua Wu, and Shenghua Ni. 2023. QUERT: Continual Pre-training of Language Model for Query Understanding in Travel Domain Search. KDD '23. *** Yu Wang, Zhengyang Wang, Hengrui Zhang, Qingyu Yin, Xianfeng Tang, Yinghan Wang, Danqing Zhang, Limeng Cui, Monica Cheng, Bing Yin, Suhang Wang, and Philip S. Yu. 2023. Exploiting Intent Evolution in E-commercial Query Recommendation. KDD '23. **** Zhiyuan Peng, Vachik Dave, Nicole McNabb, Rahul Sharnagat, Alessandro Magnani, Ciya Liao, Yi Fang, and Sravanthi Rajanala. 2023. Entity-aware Multi-task Learning for Query Understanding at Walmart. KDD '23. ***** Chun How Tan, Austin Chan, Malay Haldar, Jie Tang, Xin Liu, Mustafa Abdool, Huiji Gao, Liwei He, and Sanjeev Katariya. 2023. Optimizing Airbnb Search Journey with Multi-task Learning. KDD '23.

Slide 28

Slide 28 text

28 AI体験の分類と実践例 - システムを通したAI体験 動線‧UI ● Booking.comでのランディングページのブロック切 替。⽬的地が決まっていなければインスピレーション を促すブロック、そうでなければ最近の検索を再開す るブロック。状況に応じた滞りのない案内の体験* ● Booking.comでのアイテムスペースナビゲーションの 提⽰。複数の宿泊施設への興味関⼼に基づくアクセス 経路のセットによってスムーズに⽐較検討する体験** ● Peloton(オンラインフィットネス)での動的ホーム スクリーン。推薦ごと(横)ではなくそれらの並び (縦)をパーソナライズ。ワークアウト中のスクロー ルをなくせる体験*** * Ioannis Kangas, Maud Schwoerer, and Lucas J Bernardi. 2021. Recommender Systems for Personalized User Experience: Lessons learned at Booking.com. RecSys '21. ** Lucas Bernardi, Themistoklis Mavridis, and Pablo Estevez. 2019. 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com. KDD '19. *** Natalia Chen, Oinam Nganba Meetei, Nilothpal Talukder, and Alexey Zankevich. 2023. Leveling Up the Peloton Homescreen: A System and Algorithm for Dynamic Row Ranking. RecSys '23. PelotonのHomescreen画像は Welcome to Your New Peloton Homescreen より引用

Slide 29

Slide 29 text

29 AI体験の分類と実践例 - システムを通したAI体験 概念‧⽂脈 特定のシーンに限定された振る舞いではなく「意味的な」 対象*を扱う。概念や⽂脈の⾔語化を通して、それらの推 定結果に基づくシステムの振る舞いを柔軟に検討できる。 ● Booking.comでの旅⾏者の「⽇程の柔軟性」の推 定。融通が効くならば他の⽇程を推薦するなど* ● Booking.comでの旅⾏者の「家族旅⾏かどうか」の 推定。予約時に⼦供⽤の空室がない落胆を回避させ るための事前⼊⼒を促すなど* ● Shopee(ECサイト)での購⼊者の「ステージ」の 推定。ステージの各指標(CTR/滞在時間/CVR)に応 じてアプローチを変えるなど** * Lucas Bernardi, Themistoklis Mavridis, and Pablo Estevez. 2019. 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com. KDD '19. ** Wanda Li, Wenhao Zheng, Xuanji Xiao, and Suhang Wang. 2023. STAN: Stage-Adaptive Network for Multi-Task Recommendation by Learning User Lifecycle-Based Representation. RecSys '23.

Slide 30

Slide 30 text

AI体験の実現 30

Slide 31

Slide 31 text

● AI体験の実現は、従来の⾃動化を超えた領域の開拓。 将来に対して複利でのビジネスインパクトが期待できる ● Booking.comによれば、機械学習ベースのプロジェクト には直接の価値に加え、他のプロジェクトの基礎になる といった間接的な価値創造も観測されている* ● 利⽤者のAI体験は常に更新されており、上回る体験を提 供することが相対的な価値として認められる (冒頭のBooking.comの例は2021年!!) 31 AI体験の実現 AI体験の価値 * Lucas Bernardi, Themistoklis Mavridis, and Pablo Estevez. 2019. 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com. KDD '19.

Slide 32

Slide 32 text

● AIとUXの統合 AI/MLモデルの個別の機能の他に、確率的な性質や性能の不確実性も考慮したデザインが必要。 例えばIUI’23では、27⼈のUX実践者がGoogleのTeachable machineの体験を通して「MLを使ったユーザーとのインタラク ションを強化するためのアフォーダンスを構成」したと報告されている* ● 継続的な計測に基づく評価と改善 インパクトの⼤きなところから取り組むべし。 ●  “影響ない範囲でやったら影響ない結果しか出ないので、やる判断にならない” ●  “リスクとってガンガンやっていく” 例えばBooking.comでは、AI/MLモデルのビジネスインパクトは、オフライン評価で必ずしも正確に判断できないため、 性能劣化のヘルスチェックとして利⽤している**。オンラインへの投⼊と改善のフィードバックループとの並⾏が重要。 32 AI体験の実現 AI体験の実現: 体験のビジョンに対してAIが適合するケースの検討 * K. J. Kevin Feng and David W. Mcdonald. 2023. Addressing UX Practitioners’ Challenges in Designing ML Applications: an Interactive Machine Learning Approach. IUI '23. ** Lucas Bernardi, Themistoklis Mavridis, and Pablo Estevez. 2019. 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com. KDD '19.

Slide 33

Slide 33 text

まとめ 33

Slide 34

Slide 34 text

* なめらかなシステムと運用維持の未来 ** 再帰化への認知的転回 ● AXにおける位置付けと分類、様々な実践例の紹介を通して「AI体験」感覚 を養いました ● AI eXperienceの展開: この感覚を活⽤し、利⽤者に対してこれまで以上に おもしろくてシンプルでスムーズなAI体験を提供しよう ● AI Transformationの推進: AIによって開拓される⾃動化の領域は広⼤で す。AI前提の仕組みづくりを進めよう ● ペパボ研究所は「なめらかなシステム」という概念*,**を通して、AIのことを年中無休で考えてる組織 です。ぜひ⾊々ご相談ください! まとめ 34

Slide 35

Slide 35 text

35 Thank you!