1 AIを前提とした体験の 実現に向けて 三宅 悠介, 渡辺 ⿓⼆, 酒井 敏彦 ペパボ研究所 2024.03.21

● 次のオンライン宿泊予約サイトBooking.comのトップ ページを⾒てお答えください はじめに 2 いくつのAI体験から構成されている？

3 Personalization in Practice Methods and Applications — a WSDM ’21 Tutorial 発表資料より転載

はじめに 4 答えは...

5 Personalization in Practice Methods and Applications — a WSDM ’21 Tutorial 発表資料より転載

● 想像と⽐べて、要素数はどうでしたか？ ● 想像と⽐べて、要素の多様性はどうでしたか？ はじめに 6 たくさん（3より⼤きい）でした

● 本稿は、「AI体験」の⽬的や定義の整理を通して共通 理解を醸成し、AIを前提とした体験をみんなで実現し ていくことを⽬指しています ● 本稿では、任意のタスクを解くための振る舞いをデータから記述するような、機械学習ベース の⽅式全般をAIと呼びます はじめに 7 AI体験ってどういうこと？

2つのAX 8

● AI Transformation: AI“技術の活⽤による新たな商品‧サービスの提供、新たなビジネ スモデルの開発を通して、社会制度や組織⽂化なども変⾰してい くような取組”* ● AI eXperience: AI技術の活⽤によって得られるUser eXperience (UX) 2つのAX 9 AI Transformation & AI eXperience * 情報通信⽩書令和3年版 ポイント 第1部第2節のDXの説明をAXに合わせ改変

2つのAX 10 AI Transformation & AI eXperience 利⽤者 組織‧ システム AI AI eXperience AI Transformation

2つのAX 11 AI Transformation & AI eXperience 利⽤者 （購⼊者） 組織‧ システム AI AI Transformation Two-sided marketの場合 利⽤者 （販売者） AI Transformation AI eXperience AI eXperience

● AI Transformationは、AI活⽤による組織やシステムの 変⾰。AIによる業務改善やデータ活⽤基盤の推進 ● AI eXperienceは、このAI Transformationを前提とし た、AI活⽤による新しいユーザー体験 ● AI体験にとってAI Transformationは必要条件 2つのAX 12 AI Transformation & AI eXperience

AI体験の分類と実践例 13

● はじめにビジョンありき ● 以降では、この体験のビジョンに従い、AIが解として 適合するTwo-sided markertでの実践例の紹介を通し て、AI体験を分類する ● シンプルかつスムーズに、最適な商品を⼀緒に⾒つけ ましょう AI体験の分類と実践例 14 あなただけの⼼地よい買い物体験

購⼊者と（商品を束ねた）システムの間に発⽣す る、商品の発⾒から購⼊⾏動を通したAI体験。 ⼼地よい買い物体験のために、購⼊者側に負担を 強いることのない、無駄なく円滑な適応的システ ムで実現する。動的な体験。 販売者と購⼊者の間に発⽣する、商品（とその 紹介）を通したAI体験。 ⼼地よい買い物体験のためには、そもそも商品 の数や品質が必要であり、販売者へのAI⽀援で 実現する。静的な体験。 15 AI体験の分類と実践例 システムを通したAI体験 商品を通したAI体験

購⼊者と（商品を束ねた）システムの間に発⽣す る、商品の発⾒から購⼊⾏動を通したAI体験。 ⼼地よい買い物体験のために、購⼊者側に負担を 強いることのない、無駄なく円滑な適応的システ ムで実現する。動的な体験。 販売者と購⼊者の間に発⽣する、商品（とその 紹介）を通したAI体験。 ⼼地よい買い物体験のためには、そもそも商品 の数や品質が必要であり、販売者へのAI⽀援で 実現する。静的な体験。 16 AI体験の分類と実践例 システムを通したAI体験 商品を通したAI体験

17 AI体験の分類と実践例 - 商品を通したAI体験 社内事例のため省略

18 AI体験の分類と実践例 - 商品を通したAI体験 社内事例のため省略

19 AI体験の分類と実践例 - 商品を通したAI体験 宿泊施設紹介の要約‧拡張 Booking.comにおける、宿泊施設のレビューを⽤い た施設の優れた点の要約と、価格傾向や他施設との 価値⽐較による紹介項⽬の拡張* AI Transformation: 従来は、宿泊施設に対する理解を深めるためのプロ セスの多くを利⽤者に委ねていた。宿泊施設はこの 要約‧拡張機能により、⾃施設の優れた点をシンプ ルかつスムーズに伝えることができる （ただし、宿泊施設への明⽰的な操作は課さないと考えられる） AI eXperience: スムーズに宿泊施設の今の特徴を理解できる体験。 * Lucas Bernardi, Themistoklis Mavridis, and Pablo Estevez. 2019. 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD '19). より引用

AI体験の分類と実践例 - 商品を通したAI体験 AIの導⼊が必ずしもAI体験の実現にはならないことを意識しておきましょ う。例として、システム運⽤として販売商品が規約に沿うかの⽬視確認への AI導⼊を考えましょう。ここで、AIによる確認の⾃動化と運⽤者による最終 確認が実現したとします。効率化には繋がるものの、本質的にはこの路線で は運⽤は変わりません（AI TransformationがAIから組織‧システム⽅向へ⽮ 印があることを思い出しましょう）。この場合、そもそも販売登録時に⾃動 で都度確認されれば、運⽤ごと変化し結果として検知までのタイムラグも減 少し、体験の向上に繋がると考えられます。以下のDXにおけるデジタル化の 段階を参考に、取り組みがAI体験の⼗分条件を満たせているかを考えると良 いでしょう。 コラム: 必要条件としてのAI Transformation 20 * 情報通信⽩書令和3年版 ポイント 第1部第2節のDXの定義より引⽤

購⼊者と（商品を束ねた）システムの間に発⽣す る、商品の発⾒から購⼊⾏動を通したAI体験。 ⼼地よい買い物体験のために、購⼊者側に負担を 強いることのない、無駄なく円滑な適応的システ ムで実現する。動的な体験。 販売者と購⼊者の間に発⽣する、商品（とその 紹介）を通したAI体験。 ⼼地よい買い物体験のためには、そもそも商品 の数や品質が必要であり、販売者へのAI⽀援で 実現する。静的な体験。 21 AI体験の分類と実践例 システムを通したAI体験 商品を通したAI体験

AI体験の分類と実践例 - システムを通したAI体験 22 従来は、利⽤者がシステムに合わせる 利⽤者 システム ⽂脈（意図‧状況） 利⽤者は⽬的を達成するため、システムの提供 する利⽤者⼀律のインターフェースに対して、 ⾃⾝の状況と意図を操作⼿順として翻訳しなが ら伝える。 必然的にインタラクションは複雑で⻑期化し、 利⽤者の負担となる。

このために、システムは従来の構造をそのうちに再 現する。これにより、利⽤者との直接のインタラク ションを減らしながら、⽬的の達成を⽬指す。 AI体験の分類と実践例 - システムを通したAI体験 23 AI体験は、システムが利⽤者に合わせる 利⽤者の 振舞の模倣 (≒モデル) システム 推定した⽂脈 ⽂脈（意図‧状況） 利⽤者 利⽤者側に負担を強いること のない、無駄なく円滑な適応 的システムの実現

24 AI体験の分類と実践例 - システムを通したAI体験 社内事例のため省略

* Xue Xia, Pong Eksombatchai, Nikil Pancha, Dhruvil Deven Badani, Po-Wei Wang, Neng Gu, Saurabh Vishwas Joshi, Nazanin Farahpour, Zhiyuan Zhang, and Andrew Zhai. 2023. TransAct: Transformer-based Realtime User Action Model for Recommendation at Pinterest. KDD '23. ** M. Jeffrey Mei, Oliver Bembom, and Andreas Ehmann. 2023. Station and Track Attribute-Aware Music Personalization. RecSys '23. *** Hao Ding, Branislav Kveton, Yifei Ma, Youngsuk Park, Venkataramana Kini, Yupeng Gu, Ravi Divvela, Fei Wang, Anoop Deoras, and Hao Wang. 2023. Trending Now: Modeling Trend Recommendations. RecSys '23. ● Pinterestでのホームフィード推薦。利⽤者の短期的な リアルタイム⾏動と⻑期的な利⽤者の嗜好を合成した推 薦が可能* ● SiriusXM Radio（ポッドキャスト）での⾳楽の逐次推 薦。コンテンツだけでなくアーティストや放送局の情報 なども利⽤することで推薦の品質を向上する** ● Amazonのトレンド予測（≠検出）からの推薦。単純な 加速度だけでなく利⽤者と商品の相関の特徴も組み込 み、新作に対する予測性能を向上する*** 25 AI体験の分類と実践例 - システムを通したAI体験 推薦

26 AI体験の分類と実践例 - システムを通したAI体験 社内事例のため省略

27 AI体験の分類と実践例 - システムを通したAI体験 検索 ● Booking.comでの「今、必要なフィルタセット」の提⽰。 宿泊施設を探す前にフィルタを探す⼿間を省ける体験* ● Fliggy（旅⾏予約サービス）でのクエリ修正。正確に記述 せずともクエリの意図が伝わる体験** ● Amazonでのクエリ推薦。絞り込みや条件の部分変更など から「次の」クエリを教えてくれる体験*** ● Walmartでのクエリ理解。クエリとして⼊⼒するだけで フィルタ設定したかのような結果が得られる体験**** ● Airbnbでの検索結果の並べ替え。「予約しそう」な物件が 上位に来ることで⽐較検討の⼿間を省ける体験***** * Bernardi, L., Estevez, P., Eidis, M., & Osama, E. (2020). Recommending Accommodation Filters with Online Learning. In ORSUM@ RecSys. ** Jian Xie, Yidan Liang, Jingping Liu, Yanghua Xiao, Baohua Wu, and Shenghua Ni. 2023. QUERT: Continual Pre-training of Language Model for Query Understanding in Travel Domain Search. KDD '23. *** Yu Wang, Zhengyang Wang, Hengrui Zhang, Qingyu Yin, Xianfeng Tang, Yinghan Wang, Danqing Zhang, Limeng Cui, Monica Cheng, Bing Yin, Suhang Wang, and Philip S. Yu. 2023. Exploiting Intent Evolution in E-commercial Query Recommendation. KDD '23. **** Zhiyuan Peng, Vachik Dave, Nicole McNabb, Rahul Sharnagat, Alessandro Magnani, Ciya Liao, Yi Fang, and Sravanthi Rajanala. 2023. Entity-aware Multi-task Learning for Query Understanding at Walmart. KDD '23. ***** Chun How Tan, Austin Chan, Malay Haldar, Jie Tang, Xin Liu, Mustafa Abdool, Huiji Gao, Liwei He, and Sanjeev Katariya. 2023. Optimizing Airbnb Search Journey with Multi-task Learning. KDD '23.

28 AI体験の分類と実践例 - システムを通したAI体験 動線‧UI ● Booking.comでのランディングページのブロック切 替。⽬的地が決まっていなければインスピレーション を促すブロック、そうでなければ最近の検索を再開す るブロック。状況に応じた滞りのない案内の体験* ● Booking.comでのアイテムスペースナビゲーションの 提⽰。複数の宿泊施設への興味関⼼に基づくアクセス 経路のセットによってスムーズに⽐較検討する体験** ● Peloton（オンラインフィットネス）での動的ホーム スクリーン。推薦ごと（横）ではなくそれらの並び （縦）をパーソナライズ。ワークアウト中のスクロー ルをなくせる体験*** * Ioannis Kangas, Maud Schwoerer, and Lucas J Bernardi. 2021. Recommender Systems for Personalized User Experience: Lessons learned at Booking.com. RecSys '21. ** Lucas Bernardi, Themistoklis Mavridis, and Pablo Estevez. 2019. 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com. KDD '19. *** Natalia Chen, Oinam Nganba Meetei, Nilothpal Talukder, and Alexey Zankevich. 2023. Leveling Up the Peloton Homescreen: A System and Algorithm for Dynamic Row Ranking. RecSys '23. PelotonのHomescreen画像は Welcome to Your New Peloton Homescreen より引用

29 AI体験の分類と実践例 - システムを通したAI体験 概念‧⽂脈 特定のシーンに限定された振る舞いではなく「意味的な」 対象*を扱う。概念や⽂脈の⾔語化を通して、それらの推 定結果に基づくシステムの振る舞いを柔軟に検討できる。 ● Booking.comでの旅⾏者の「⽇程の柔軟性」の推 定。融通が効くならば他の⽇程を推薦するなど* ● Booking.comでの旅⾏者の「家族旅⾏かどうか」の 推定。予約時に⼦供⽤の空室がない落胆を回避させ るための事前⼊⼒を促すなど* ● Shopee（ECサイト）での購⼊者の「ステージ」の 推定。ステージの各指標（CTR/滞在時間/CVR）に応 じてアプローチを変えるなど** * Lucas Bernardi, Themistoklis Mavridis, and Pablo Estevez. 2019. 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com. KDD '19. ** Wanda Li, Wenhao Zheng, Xuanji Xiao, and Suhang Wang. 2023. STAN: Stage-Adaptive Network for Multi-Task Recommendation by Learning User Lifecycle-Based Representation. RecSys '23.

AI体験の実現 30

● AI体験の実現は、従来の⾃動化を超えた領域の開拓。 将来に対して複利でのビジネスインパクトが期待できる ● Booking.comによれば、機械学習ベースのプロジェクト には直接の価値に加え、他のプロジェクトの基礎になる といった間接的な価値創造も観測されている* ● 利⽤者のAI体験は常に更新されており、上回る体験を提 供することが相対的な価値として認められる （冒頭のBooking.comの例は2021年！！） 31 AI体験の実現 AI体験の価値 * Lucas Bernardi, Themistoklis Mavridis, and Pablo Estevez. 2019. 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com. KDD '19.

● AIとUXの統合 AI/MLモデルの個別の機能の他に、確率的な性質や性能の不確実性も考慮したデザインが必要。 例えばIUI’23では、27⼈のUX実践者がGoogleのTeachable machineの体験を通して「MLを使ったユーザーとのインタラク ションを強化するためのアフォーダンスを構成」したと報告されている* ● 継続的な計測に基づく評価と改善 インパクトの⼤きなところから取り組むべし。 ●  “影響ない範囲でやったら影響ない結果しか出ないので、やる判断にならない” ●  “リスクとってガンガンやっていく” 例えばBooking.comでは、AI/MLモデルのビジネスインパクトは、オフライン評価で必ずしも正確に判断できないため、 性能劣化のヘルスチェックとして利⽤している**。オンラインへの投⼊と改善のフィードバックループとの並⾏が重要。 32 AI体験の実現 AI体験の実現: 体験のビジョンに対してAIが適合するケースの検討 * K. J. Kevin Feng and David W. Mcdonald. 2023. Addressing UX Practitioners’ Challenges in Designing ML Applications: an Interactive Machine Learning Approach. IUI '23. ** Lucas Bernardi, Themistoklis Mavridis, and Pablo Estevez. 2019. 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com. KDD '19.

まとめ 33

* なめらかなシステムと運用維持の未来 ** 再帰化への認知的転回 ● AXにおける位置付けと分類、様々な実践例の紹介を通して「AI体験」感覚 を養いました ● AI eXperienceの展開: この感覚を活⽤し、利⽤者に対してこれまで以上に おもしろくてシンプルでスムーズなAI体験を提供しよう ● AI Transformationの推進: AIによって開拓される⾃動化の領域は広⼤で す。AI前提の仕組みづくりを進めよう ● ペパボ研究所は「なめらかなシステム」という概念*,**を通して、AIのことを年中無休で考えてる組織 です。ぜひ⾊々ご相談ください！ まとめ 34

35 Thank you!