人間と協働して仮説形成する機械学習システムの検討 / Collaborate with humans to form hypotheses Consideration of machine learning systems

2023年4月22日と23日に行われた九州工業大学古川研究室のワークショップにおいて、OBとしてお話しした際のスライドです。

「今現在何を目指して研究しているのか」というお題でご招待いただいたので、私が目指しているシステムの概念的なところをお話しさせていただきました！

以前FIT2023でお話しした内容をベースにしているので、こちらも合わせてご覧ください。
協働的仮説形成システムによるECサイト運営のデータ駆動型意思決定支援/Supporting data-driven decision making on e-commerce operation by cooperative hypothesis formation system

https://speakerdeck.com/ae14watanabe/xie-dong-de-jia-shuo-xing-cheng-sisutemuniyoruecsaitoyun-ying-notetaqu-dong-xing-yi-si-jue-ding-zhi-yuan

Transcript

1. 人間と協働して仮説形成する
   機械学習システムの検討
   2023/4/22 九工大古川研究室ワークショップ 招待トーク
   OB 渡辺 龍二
   

   View Slide

2. • 名前：渡辺 龍二
   • 古川研に来る前：2009-2016年に熊本高専(学士取得)
   • 古川研との関係：2016-2022年に在籍(修士・博士取得)
   • 現在：Webサービスの会社の研究員(3年目)
   • Twitter: @ae14watanabe
   2
   自己紹介
   前置き
   

   View Slide

3. 前置き
   • OBである渡辺が、研究室を卒業して数年経った今現在、
   研究で実現したいことについてお話しします！
   3
   今日のトークの趣旨
   

   View Slide

4. 4
   1. 渡辺はこういうことがやりたい
   2. やりたいことを具体化するシステムのアーキテクチャを考えてみる
   3. システムに該当しそうな具体事例を見てみる
   4. ここ最近の所感
   今日お話しすること
   前置き
   

   View Slide

5. 5
   今回のトーク内容は、こちらの発表に一部コンテンツを加えたものです
   前置き
   協働的仮説形成システムによるECサイト運営のデータ駆動型意思決定支援
   https://speakerdeck.com/ae14watanabe/xie-dong-de-jia-shuo-xing-cheng-sisutemuniyoruecsaitoyun-ying-notetaqu-dong-xing-yi-si-jue-ding-zhi-yuan
   

   View Slide

6. 渡辺はこういうことがやりたい
   6
   

   View Slide

7. 7
   人は皆、それぞれの立場で、日々、意思決定を迫られている
   ユーザにどう
   働きかけるか？
   どんな商品を
   揃えるか？
   例：ECサイト運営者
   意思決定
   意思決定の結果
   (e.g. ある施策の実施)
   1. 渡辺はこういうことがやりたい｜背景
   

   View Slide

8. 8
   • 運営する中で蓄積されるデータから知識を得て、それを元に意思決定の質を向上させることが狙い。
   • 知識を得るためにはツールを活用したデータの分析が必要。
   より良い意思決定の手段としてデータ駆動型意思決定が注目を集める[Akter2016]。
   データベース
   知識の獲得
   ECサイト運営者
   意思決定
   意思決定の結果
   （e.g. ある施策の実施）
   [Akter2016] Big data analytics in e-commerce: a systematic review and agenda for future research
   分析システム
   分析内容の指定
   分析結果の提示
   データ送信
   データの要求
   1. 渡辺はこういうことがやりたい｜背景
   

   View Slide

9. 知識生成モデル[Sacha2014]を元にしたデータから知識を得るまでの過程
   9
   データから知識を得るには、ドメイン知識を参照しながら
   データ探索と仮説検証を繰り返す必要がある。
   [Sacha2014] Knowledge Generation Model for Visual Analytics
   意思決定
   結果
   分析結果の提示
   操作
   気づき
   獲得
   知見
   獲得
   仮説
   立案
   知識
   生成
   データ探索
   ループ
   仮説検証
   ループ
   知識生成
   ループ
   分析対象の伝達
   分析システム　　　　の担当範囲
   データベース
   運営者　　　　の担当範囲
   分析
   分析内容
   決定
   データ送信
   データ要求
   ドメイン知識が必要
   データ分析
   ループ
   1. 渡辺はこういうことがやりたい｜背景
   

   View Slide

10. データ分析
    ループ
    知識生成モデル[Sacha2014]を元にしたデータから知識を得るまでの過程
    10
    すなわち、良い知識を得るためには、仮説検証ループの効率化し
    知見を得る機会を増やすことが有効である。
    意思決定
    結果
    分析結果の提示
    操作
    気づき
    獲得
    知識
    生成
    データ探索
    ループ
    知識生成
    ループ
    分析対象の伝達
    分析システム　　　　の担当範囲
    データベース
    運営者　　　　の担当範囲
    分析
    分析内容
    決定
    データ送信
    データ要求
    知見
    獲得
    仮説
    立案
    仮説検証
    ループ
    効率化により知見を増やし
    知識生成へつなげる
    1. 渡辺はこういうことがやりたい｜背景
    

    View Slide

11. データ分析
    ループ
    知識生成モデル[Sacha2014]を元にしたデータから知識を得るまでの過程
    11
    しかし、データ探索に求められるスキルの習得が
    運営者にとって大きな負担となっている[Behl2019]。
    [Behl2019] A conceptual framework for the adoption of big data analytics by e-commerce startups: a case-based approach
    意思決定
    結果
    知識
    生成
    知識生成
    ループ
    分析システム　　　　の担当範囲
    データベース
    運営者　　　　の担当範囲
    分析
    分析内容
    決定
    データ送信
    データ要求
    分析結果の提示
    データ探索
    ループ
    分析対象の伝達
    気づき
    獲得
    操作
    知見
    獲得
    仮説検証
    ループ
    データ探索スキル
    （仮説を元にしたデータ探索能力）が必要
    仮説
    立案
    1. 渡辺はこういうことがやりたい
    

    View Slide

12. 12
    EC運営者がデータ探索スキルに乏しい場合でも
    データから効率的に仮説検証ループを実行したい。
    意思決定
    結果
    分析結果の提示
    操作
    気づき
    獲得
    知見
    獲得
    仮説
    立案
    知識
    生成
    データ探索
    ループ
    仮説検証
    ループ
    知識生成
    ループ
    分析対象の伝達
    データベース
    分析
    分析内容
    決定
    データ送信
    データ要求
    データ探索スキル
    が必要
    目的:条件下における
    ループの実行と効率化
    ドメイン知識が必要
    運営者　　　　の条件
    • データ探索スキルに乏しい（仮説を元にしたデータ探索を自力で行えない）
    • ドメイン知識は有する
    データ分析
    ループ
    1. 渡辺はこういうことがやりたい
    

    View Slide

13. 13
    目的を達成するために、システムの担当範囲を拡大し、
    システムと人間の協働による仮説立案・検証の実現を目指す。
    意思決定
    結果
    分析結果の提示
    操作
    気づき
    獲得
    知見
    獲得
    仮説
    立案
    知識
    生成
    データ探索
    ループ
    仮説検証
    ループ
    知識生成
    ループ
    分析対象の伝達
    分析システム　　　　の担当範囲
    データベース
    分析
    分析内容
    決定
    データ送信
    データ要求
    データ分析
    ループ
    運営者　　　　の担当範囲
    ・データ探索スキルに乏しい
    ・ドメイン知識は有する
    従来
    1. 渡辺はこういうことがやりたい
    データ探索スキル
    が必要
    ドメイン知識が必要
    

    View Slide

14. 14
    目的を達成するために、システムの担当範囲を拡大し、
    システムと人間の協働による仮説立案・検証の実現を試みる。
    1. 渡辺はこういうことがやりたい
    意思決定
    結果
    分析結果の提示
    操作
    気づき
    獲得
    知見
    獲得
    仮説
    立案
    知識
    生成
    データ探索
    ループ
    仮説検証
    ループ
    知識生成
    ループ
    分析対象の伝達
    データベース
    分析
    分析内容
    決定
    データ送信
    データ要求
    データ分析
    ループ
    実現したいもの
    ・データ探索スキルに乏しい
    ・ドメイン知識は有する
    データ探索スキル
    が必要
    ドメイン知識が必要
    運営者　　　　の担当範囲
    分析システム　　　　の担当範囲
    協働領域
    

    View Slide

15. じゃあやりたいこと（協働的な仮説形成）を
    実現するシステムってどんなもの？
    15
    

    View Slide

16. 16
    一般的なアーキテクチャを描いてみる
    人間と協働して仮説形成ができるシステムってどんなものだろう？
    2. システムってどんなの
    database
    hypothesis
    generator
    inter-
    face
    generator
    readable
    input
    hypothesis
    adaption
    human
    readable
    hypothesis
    condition
    human
    system
    

    View Slide

17. 17
    このアーキテクチャに基づくと、システム構築の際は以下を考えれば良さそう？
    2. システムってどんなの
    ② interfaceの設計
    人間とgeneratorの対話の仕様をどうする？
    ⓪ 根本的な目的・要件の確認
    そもそもこの人はどんな
    意思決定に迫られている？
    意思決定に有用なデータは？
    どんな仮説を求めている？
    ① hypothesis generatorの設計
    そもそもどんなデータを対象にする？
    どんな仮説を生成する？どうdataにadaptionさせる？
    database
    hypothesis
    generator
    inter-
    face
    generator
    readable
    input
    hypothesis
    adaption
    human
    readable
    hypothesis
    condition
    

    View Slide

18. このアーキテクチャに
    具体事例を当てはめてみる
    18
    

    View Slide

19. 19
    具体事例1: TSOM+CCPの場合
    3. 具体事例
    関係データ
    (database)
    TSOM
    (hypothesis generator)
    CCP
    (interface)
    潜在変数
    (generator
    readable
    condition)
    他方ドメインの全クラスタ潜在
    変数についての推定値
    (hypothesis)
    バッチ学習
    (adaption)
    他方のマップを
    着色
    (human
    readable
    hypothesis)
    マップ上をクリック
    (condition)
    human
    system
    詳細は渡辺の研究発表スライド※をご覧ください
    ※協働的仮説形成システムによるECサイト運営のデータ駆動型意思決定支援
    https://speakerdeck.com/ae14watanabe/xie-dong-de-jia-shuo-xing-cheng-sisutemuniyoruecsaitoyun-ying-notetaqu-dong-xing-yi-si-jue-ding-zhi-yuan
    

    View Slide

20. 20
    具体事例2: Retrieval-augumented LM and Chat interfaceの場合
    3. 具体事例
    ドキュメント群
    (database)
    Chat
    画面
    (interface)
    質問テキスト
    回答テキスト
    Retrieval
    (adaption)
    回答テキスト
    (hypothesis)
    質問テキスト
    (condition)
    human
    system
    Retriever
    Language
    Model(LM)
    質問に近い
    ドキュメントを要求
    Retrieval-augmented LM
    (Hypothesis generator)
    送る
    与えられた質問に
    受け取ったドキュメント
    を踏まえて答える
    企業でプライベートなドキュメントを元に社員向けのChatBotを作りたい、みたいな状況を想像してください
    

    View Slide

21. 21
    • Adaptionのやり方にはbatch typeとon-demand typeがありそう。それぞれに良さがある
    • 「仮説形成を人間と協働する」ということを考えるとLLMのようなテキストベースの強みは確実にありそう
    • 自然言語ゆえの表現の柔軟性
    • ネイティブに使いこなせる人がめちゃくちゃ多い（対話の敷居の低さ）
    • だが、特定の意思決定に専門家・プロが使う状況などでは自然言語以外の方が効率が良いこともあるのでは？
    • そもそもなぜ支援したいのか？どういう仮説を得たいのか？からピッタリ合う
    GeneratorとInterfaceを選定・設計・開発することが必要そう（月並みな感想）
    • あとここでは、人間が仮説の条件を与え、generatorが仮説を返す、と考えていたが
    「協働」「対話」らしいのは、お互いに条件と仮説をやりとりし合うことだと思う
    （人間から仮説を引き出すシステムが欲しい！）
    雑感
    4. 雑感
    

    View Slide