人間と協働して仮説形成する 機械学習システムの検討 2023/4/22 九工大古川研究室ワークショップ 招待トーク OB 渡辺 龍二

• 名前：渡辺 龍二 • 古川研に来る前：2009-2016年に熊本高専(学士取得) • 古川研との関係：2016-2022年に在籍(修士・博士取得) • 現在：Webサービスの会社の研究員(3年目) • Twitter: @ae14watanabe 2 自己紹介 前置き

前置き • OBである渡辺が、研究室を卒業して数年経った今現在、 研究で実現したいことについてお話しします！ 3 今日のトークの趣旨

4 1. 渡辺はこういうことがやりたい 2. やりたいことを具体化するシステムのアーキテクチャを考えてみる 3. システムに該当しそうな具体事例を見てみる 4. ここ最近の所感 今日お話しすること 前置き

5 今回のトーク内容は、こちらの発表に一部コンテンツを加えたものです 前置き 協働的仮説形成システムによるECサイト運営のデータ駆動型意思決定支援 https://speakerdeck.com/ae14watanabe/xie-dong-de-jia-shuo-xing-cheng-sisutemuniyoruecsaitoyun-ying-notetaqu-dong-xing-yi-si-jue-ding-zhi-yuan

渡辺はこういうことがやりたい 6

7 人は皆、それぞれの立場で、日々、意思決定を迫られている ユーザにどう 働きかけるか？ どんな商品を 揃えるか？ 例：ECサイト運営者 意思決定 意思決定の結果 (e.g. ある施策の実施) 1. 渡辺はこういうことがやりたい｜背景

8 • 運営する中で蓄積されるデータから知識を得て、それを元に意思決定の質を向上させることが狙い。 • 知識を得るためにはツールを活用したデータの分析が必要。 より良い意思決定の手段としてデータ駆動型意思決定が注目を集める[Akter2016]。 データベース 知識の獲得 ECサイト運営者 意思決定 意思決定の結果 （e.g. ある施策の実施） [Akter2016] Big data analytics in e-commerce: a systematic review and agenda for future research 分析システム 分析内容の指定 分析結果の提示 データ送信 データの要求 1. 渡辺はこういうことがやりたい｜背景

知識生成モデル[Sacha2014]を元にしたデータから知識を得るまでの過程 9 データから知識を得るには、ドメイン知識を参照しながら データ探索と仮説検証を繰り返す必要がある。 [Sacha2014] Knowledge Generation Model for Visual Analytics 意思決定 結果 分析結果の提示 操作 気づき 獲得 知見 獲得 仮説 立案 知識 生成 データ探索 ループ 仮説検証 ループ 知識生成 ループ 分析対象の伝達 分析システム　　　　の担当範囲 データベース 運営者　　　　の担当範囲 分析 分析内容 決定 データ送信 データ要求 ドメイン知識が必要 データ分析 ループ 1. 渡辺はこういうことがやりたい｜背景

データ分析 ループ 知識生成モデル[Sacha2014]を元にしたデータから知識を得るまでの過程 10 すなわち、良い知識を得るためには、仮説検証ループの効率化し 知見を得る機会を増やすことが有効である。 意思決定 結果 分析結果の提示 操作 気づき 獲得 知識 生成 データ探索 ループ 知識生成 ループ 分析対象の伝達 分析システム　　　　の担当範囲 データベース 運営者　　　　の担当範囲 分析 分析内容 決定 データ送信 データ要求 知見 獲得 仮説 立案 仮説検証 ループ 効率化により知見を増やし 知識生成へつなげる 1. 渡辺はこういうことがやりたい｜背景

データ分析 ループ 知識生成モデル[Sacha2014]を元にしたデータから知識を得るまでの過程 11 しかし、データ探索に求められるスキルの習得が 運営者にとって大きな負担となっている[Behl2019]。 [Behl2019] A conceptual framework for the adoption of big data analytics by e-commerce startups: a case-based approach 意思決定 結果 知識 生成 知識生成 ループ 分析システム　　　　の担当範囲 データベース 運営者　　　　の担当範囲 分析 分析内容 決定 データ送信 データ要求 分析結果の提示 データ探索 ループ 分析対象の伝達 気づき 獲得 操作 知見 獲得 仮説検証 ループ データ探索スキル （仮説を元にしたデータ探索能力）が必要 仮説 立案 1. 渡辺はこういうことがやりたい

12 EC運営者がデータ探索スキルに乏しい場合でも データから効率的に仮説検証ループを実行したい。 意思決定 結果 分析結果の提示 操作 気づき 獲得 知見 獲得 仮説 立案 知識 生成 データ探索 ループ 仮説検証 ループ 知識生成 ループ 分析対象の伝達 データベース 分析 分析内容 決定 データ送信 データ要求 データ探索スキル が必要 目的:条件下における ループの実行と効率化 ドメイン知識が必要 運営者　　　　の条件 • データ探索スキルに乏しい（仮説を元にしたデータ探索を自力で行えない） • ドメイン知識は有する データ分析 ループ 1. 渡辺はこういうことがやりたい

13 目的を達成するために、システムの担当範囲を拡大し、 システムと人間の協働による仮説立案・検証の実現を目指す。 意思決定 結果 分析結果の提示 操作 気づき 獲得 知見 獲得 仮説 立案 知識 生成 データ探索 ループ 仮説検証 ループ 知識生成 ループ 分析対象の伝達 分析システム　　　　の担当範囲 データベース 分析 分析内容 決定 データ送信 データ要求 データ分析 ループ 運営者　　　　の担当範囲 ・データ探索スキルに乏しい ・ドメイン知識は有する 従来 1. 渡辺はこういうことがやりたい データ探索スキル が必要 ドメイン知識が必要

14 目的を達成するために、システムの担当範囲を拡大し、 システムと人間の協働による仮説立案・検証の実現を試みる。 1. 渡辺はこういうことがやりたい 意思決定 結果 分析結果の提示 操作 気づき 獲得 知見 獲得 仮説 立案 知識 生成 データ探索 ループ 仮説検証 ループ 知識生成 ループ 分析対象の伝達 データベース 分析 分析内容 決定 データ送信 データ要求 データ分析 ループ 実現したいもの ・データ探索スキルに乏しい ・ドメイン知識は有する データ探索スキル が必要 ドメイン知識が必要 運営者　　　　の担当範囲 分析システム　　　　の担当範囲 協働領域

じゃあやりたいこと（協働的な仮説形成）を 実現するシステムってどんなもの？ 15

16 一般的なアーキテクチャを描いてみる 人間と協働して仮説形成ができるシステムってどんなものだろう？ 2. システムってどんなの database hypothesis generator inter- face generator readable input hypothesis adaption human readable hypothesis condition human system

17 このアーキテクチャに基づくと、システム構築の際は以下を考えれば良さそう？ 2. システムってどんなの ② interfaceの設計 人間とgeneratorの対話の仕様をどうする？ ⓪ 根本的な目的・要件の確認 そもそもこの人はどんな 意思決定に迫られている？ 意思決定に有用なデータは？ どんな仮説を求めている？ ① hypothesis generatorの設計 そもそもどんなデータを対象にする？ どんな仮説を生成する？どうdataにadaptionさせる？ database hypothesis generator inter- face generator readable input hypothesis adaption human readable hypothesis condition

このアーキテクチャに 具体事例を当てはめてみる 18

19 具体事例1: TSOM+CCPの場合 3. 具体事例 関係データ (database) TSOM (hypothesis generator) CCP (interface) 潜在変数 (generator readable condition) 他方ドメインの全クラスタ潜在 変数についての推定値 (hypothesis) バッチ学習 (adaption) 他方のマップを 着色 (human readable hypothesis) マップ上をクリック (condition) human system 詳細は渡辺の研究発表スライド※をご覧ください ※協働的仮説形成システムによるECサイト運営のデータ駆動型意思決定支援 https://speakerdeck.com/ae14watanabe/xie-dong-de-jia-shuo-xing-cheng-sisutemuniyoruecsaitoyun-ying-notetaqu-dong-xing-yi-si-jue-ding-zhi-yuan

20 具体事例2: Retrieval-augumented LM and Chat interfaceの場合 3. 具体事例 ドキュメント群 (database) Chat 画面 (interface) 質問テキスト 回答テキスト Retrieval (adaption) 回答テキスト (hypothesis) 質問テキスト (condition) human system Retriever Language Model(LM) 質問に近い ドキュメントを要求 Retrieval-augmented LM (Hypothesis generator) 送る 与えられた質問に 受け取ったドキュメント を踏まえて答える 企業でプライベートなドキュメントを元に社員向けのChatBotを作りたい、みたいな状況を想像してください

21 • Adaptionのやり方にはbatch typeとon-demand typeがありそう。それぞれに良さがある • 「仮説形成を人間と協働する」ということを考えるとLLMのようなテキストベースの強みは確実にありそう • 自然言語ゆえの表現の柔軟性 • ネイティブに使いこなせる人がめちゃくちゃ多い（対話の敷居の低さ） • だが、特定の意思決定に専門家・プロが使う状況などでは自然言語以外の方が効率が良いこともあるのでは？ • そもそもなぜ支援したいのか？どういう仮説を得たいのか？からピッタリ合う GeneratorとInterfaceを選定・設計・開発することが必要そう（月並みな感想） • あとここでは、人間が仮説の条件を与え、generatorが仮説を返す、と考えていたが 「協働」「対話」らしいのは、お互いに条件と仮説をやりとりし合うことだと思う （人間から仮説を引き出すシステムが欲しい！） 雑感 4. 雑感