Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AIを前提とした体験の実現に向けて/toward_ai_based_experiences

 AIを前提とした体験の実現に向けて/toward_ai_based_experiences

2024.3.27 AIを前提とした体験の実現に向けて勉強会資料

monochromegane

March 28, 2024
Tweet

More Decks by monochromegane

Other Decks in Research

Transcript

  1. 2つのAX 11 AI Transformation & AI eXperience 利⽤者 (購⼊者) 組織‧

    システム AI AI Transformation Two-sided marketの場合 利⽤者 (販売者) AI Transformation AI eXperience AI eXperience
  2. 19 AI体験の分類と実践例 - 商品を通したAI体験 宿泊施設紹介の要約‧拡張 Booking.comにおける、宿泊施設のレビューを⽤い た施設の優れた点の要約と、価格傾向や他施設との 価値⽐較による紹介項⽬の拡張* AI Transformation:

    従来は、宿泊施設に対する理解を深めるためのプロ セスの多くを利⽤者に委ねていた。宿泊施設はこの 要約‧拡張機能により、⾃施設の優れた点をシンプ ルかつスムーズに伝えることができる (ただし、宿泊施設への明⽰的な操作は課さないと考えられる) AI eXperience: スムーズに宿泊施設の今の特徴を理解できる体験。 * Lucas Bernardi, Themistoklis Mavridis, and Pablo Estevez. 2019. 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD '19). より引用
  3. AI体験の分類と実践例 - 商品を通したAI体験 AIの導⼊が必ずしもAI体験の実現にはならないことを意識しておきましょ う。例として、システム運⽤として販売商品が規約に沿うかの⽬視確認への AI導⼊を考えましょう。ここで、AIによる確認の⾃動化と運⽤者による最終 確認が実現したとします。効率化には繋がるものの、本質的にはこの路線で は運⽤は変わりません(AI TransformationがAIから組織‧システム⽅向へ⽮ 印があることを思い出しましょう)。この場合、そもそも販売登録時に⾃動

    で都度確認されれば、運⽤ごと変化し結果として検知までのタイムラグも減 少し、体験の向上に繋がると考えられます。以下のDXにおけるデジタル化の 段階を参考に、取り組みがAI体験の⼗分条件を満たせているかを考えると良 いでしょう。 コラム: 必要条件としてのAI Transformation 20 * 情報通信⽩書令和3年版 ポイント 第1部第2節のDXの定義より引⽤
  4. * Xue Xia, Pong Eksombatchai, Nikil Pancha, Dhruvil Deven Badani,

    Po-Wei Wang, Neng Gu, Saurabh Vishwas Joshi, Nazanin Farahpour, Zhiyuan Zhang, and Andrew Zhai. 2023. TransAct: Transformer-based Realtime User Action Model for Recommendation at Pinterest. KDD '23. ** M. Jeffrey Mei, Oliver Bembom, and Andreas Ehmann. 2023. Station and Track Attribute-Aware Music Personalization. RecSys '23. *** Hao Ding, Branislav Kveton, Yifei Ma, Youngsuk Park, Venkataramana Kini, Yupeng Gu, Ravi Divvela, Fei Wang, Anoop Deoras, and Hao Wang. 2023. Trending Now: Modeling Trend Recommendations. RecSys '23. • Pinterestでのホームフィード推薦。利⽤者の短期的な リアルタイム⾏動と⻑期的な利⽤者の嗜好を合成した推 薦が可能* • SiriusXM Radio(ポッドキャスト)での⾳楽の逐次推 薦。コンテンツだけでなくアーティストや放送局の情報 なども利⽤することで推薦の品質を向上する** • Amazonのトレンド予測(≠検出)からの推薦。単純な 加速度だけでなく利⽤者と商品の相関の特徴も組み込 み、新作に対する予測性能を向上する*** 25 AI体験の分類と実践例 - システムを通したAI体験 推薦
  5. 27 AI体験の分類と実践例 - システムを通したAI体験 検索 • Booking.comでの「今、必要なフィルタセット」の提⽰。 宿泊施設を探す前にフィルタを探す⼿間を省ける体験* • Fliggy(旅⾏予約サービス)でのクエリ修正。正確に記述

    せずともクエリの意図が伝わる体験** • Amazonでのクエリ推薦。絞り込みや条件の部分変更など から「次の」クエリを教えてくれる体験*** • Walmartでのクエリ理解。クエリとして⼊⼒するだけで フィルタ設定したかのような結果が得られる体験**** • Airbnbでの検索結果の並べ替え。「予約しそう」な物件が 上位に来ることで⽐較検討の⼿間を省ける体験***** * Bernardi, L., Estevez, P., Eidis, M., & Osama, E. (2020). Recommending Accommodation Filters with Online Learning. In ORSUM@ RecSys. ** Jian Xie, Yidan Liang, Jingping Liu, Yanghua Xiao, Baohua Wu, and Shenghua Ni. 2023. QUERT: Continual Pre-training of Language Model for Query Understanding in Travel Domain Search. KDD '23. *** Yu Wang, Zhengyang Wang, Hengrui Zhang, Qingyu Yin, Xianfeng Tang, Yinghan Wang, Danqing Zhang, Limeng Cui, Monica Cheng, Bing Yin, Suhang Wang, and Philip S. Yu. 2023. Exploiting Intent Evolution in E-commercial Query Recommendation. KDD '23. **** Zhiyuan Peng, Vachik Dave, Nicole McNabb, Rahul Sharnagat, Alessandro Magnani, Ciya Liao, Yi Fang, and Sravanthi Rajanala. 2023. Entity-aware Multi-task Learning for Query Understanding at Walmart. KDD '23. ***** Chun How Tan, Austin Chan, Malay Haldar, Jie Tang, Xin Liu, Mustafa Abdool, Huiji Gao, Liwei He, and Sanjeev Katariya. 2023. Optimizing Airbnb Search Journey with Multi-task Learning. KDD '23.
  6. 28 AI体験の分類と実践例 - システムを通したAI体験 動線‧UI • Booking.comでのランディングページのブロック切 替。⽬的地が決まっていなければインスピレーション を促すブロック、そうでなければ最近の検索を再開す るブロック。状況に応じた滞りのない案内の体験*

    • Booking.comでのアイテムスペースナビゲーションの 提⽰。複数の宿泊施設への興味関⼼に基づくアクセス 経路のセットによってスムーズに⽐較検討する体験** • Peloton(オンラインフィットネス)での動的ホーム スクリーン。推薦ごと(横)ではなくそれらの並び (縦)をパーソナライズ。ワークアウト中のスクロー ルをなくせる体験*** * Ioannis Kangas, Maud Schwoerer, and Lucas J Bernardi. 2021. Recommender Systems for Personalized User Experience: Lessons learned at Booking.com. RecSys '21. ** Lucas Bernardi, Themistoklis Mavridis, and Pablo Estevez. 2019. 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com. KDD '19. *** Natalia Chen, Oinam Nganba Meetei, Nilothpal Talukder, and Alexey Zankevich. 2023. Leveling Up the Peloton Homescreen: A System and Algorithm for Dynamic Row Ranking. RecSys '23. PelotonのHomescreen画像は Welcome to Your New Peloton Homescreen より引用
  7. 29 AI体験の分類と実践例 - システムを通したAI体験 概念‧⽂脈 特定のシーンに限定された振る舞いではなく「意味的な」 対象*を扱う。概念や⽂脈の⾔語化を通して、それらの推 定結果に基づくシステムの振る舞いを柔軟に検討できる。 • Booking.comでの旅⾏者の「⽇程の柔軟性」の推

    定。融通が効くならば他の⽇程を推薦するなど* • Booking.comでの旅⾏者の「家族旅⾏かどうか」の 推定。予約時に⼦供⽤の空室がない落胆を回避させ るための事前⼊⼒を促すなど* • Shopee(ECサイト)での購⼊者の「ステージ」の 推定。ステージの各指標(CTR/滞在時間/CVR)に応 じてアプローチを変えるなど** * Lucas Bernardi, Themistoklis Mavridis, and Pablo Estevez. 2019. 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com. KDD '19. ** Wanda Li, Wenhao Zheng, Xuanji Xiao, and Suhang Wang. 2023. STAN: Stage-Adaptive Network for Multi-Task Recommendation by Learning User Lifecycle-Based Representation. RecSys '23.
  8. • AIとUXの統合 AI/MLモデルの個別の機能の他に、確率的な性質や性能の不確実性も考慮したデザインが必要。 例えばIUI’23では、27⼈のUX実践者がGoogleのTeachable machineの体験を通して「MLを使ったユーザーとのインタラク ションを強化するためのアフォーダンスを構成」したと報告されている* • 継続的な計測に基づく評価と改善 インパクトの⼤きなところから取り組むべし。 •

     “影響ない範囲でやったら影響ない結果しか出ないので、やる判断にならない” •  “リスクとってガンガンやっていく” 例えばBooking.comでは、AI/MLモデルのビジネスインパクトは、オフライン評価で必ずしも正確に判断できないため、 性能劣化のヘルスチェックとして利⽤している**。オンラインへの投⼊と改善のフィードバックループとの並⾏が重要。 32 AI体験の実現 AI体験の実現: 体験のビジョンに対してAIが適合するケースの検討 * K. J. Kevin Feng and David W. Mcdonald. 2023. Addressing UX Practitioners’ Challenges in Designing ML Applications: an Interactive Machine Learning Approach. IUI '23. ** Lucas Bernardi, Themistoklis Mavridis, and Pablo Estevez. 2019. 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com. KDD '19.
  9. * なめらかなシステムと運用維持の未来 ** 再帰化への認知的転回 • AXにおける位置付けと分類、様々な実践例の紹介を通して「AI体験」感覚 を養いました • AI eXperienceの展開:

    この感覚を活⽤し、利⽤者に対してこれまで以上に おもしろくてシンプルでスムーズなAI体験を提供しよう • AI Transformationの推進: AIによって開拓される⾃動化の領域は広⼤で す。AI前提の仕組みづくりを進めよう • ペパボ研究所は「なめらかなシステム」という概念*,**を通して、AIのことを年中無休で考えてる組織 です。ぜひ⾊々ご相談ください! まとめ 34