EBPMにおける生成AI活用について

GES参加報告会

Transcript

1. GES 2024の生成AIセッションのレビュー 2024-11-08 株式会社サイバーエージェント AI Lab 経済学社会実装チーム 松木一永 EBPMにおける生成AI活用について
2. 2 • 株式会社サイバーエージェント AI Lab 経済学 社会実装チーム　データサイエンティスト （2023〜） • 前職は行動科学・行動経済学を活用して経営課 題解決をサポートするコンサルタント • Ph.D. Psychology (University of Western Ontario) 自己紹介：松木 一永
3. 3 経済学社会実装チーム：各自治体と実証実験を実施し、保育の課題解決に貢献 日本経済新聞2023/8/7 福島民報2023/10/23
4. 4 AIを活用した子育て支援ツールの構築と検証 複数自治体で実証実験実施中 ChilmAI（保育所利用調整システム） ChilmBot（生成AIを活用したチャットボット） 東京大学小島武仁教授らと共同開発した 待機児童最小化のためのアルゴリズムを搭載 佐賀市役所での実証実験 11.16
5. 5 Evidence コミュニティにおける 生成AI活用
6. 6 GES2024のプログラム統計と「生成AI」関連のセッション数 合計 生成AI関連 Plenary 6 0 Parallel Session 145 11 Flash Talk Session 8 1 Debate 1 1 Dialogue 1 0
7. 7 「生成AI」がタイトルにあるセッション Sept 10 11:00-12:00 WS: Systematic Review Meets AI: A Modern Review Technique 13:00-13:40 Flash presentations: Impact of artificial intelligence (AI) Sept 11 11:00-12:30 OS: Impact of artificial intelligence (AI) 1 SS: Recommendations for the responsible use of artificial intelligence (AI) in evidence synthesis WS: Effective Artificial Intelligence for faster and cheaper gold-standard evidence synthesis 16:00 - 17:00 Debate: The Role of AI in Evidence Synthesis Sept 12 11:00 - 12:30 WS: What are the principles for the use of AI/ML in evidence syntheses? SS: AI in action: shaping the future development and use of guidelines SS: Unlocking the Potential of Artificial Intelligence in the Systematic Review process: A special session with Cochrane's Methods Executive 14:00 - 15:30 OS: Impact of artificial intelligence (AI) 2 Sept 13 09:00 - 10:30 OS: Impact of artificial intelligence (AI) 3 WS: Leveraging off-the-shelf AI to facilitate title/abstract screening, full-text review, and data extraction WS: Using AI tools to support storyboarding as a means of synthesis for qualitative evidence
8. 8 WS: Systematic Review Meets AI: A Modern Review Technique 目的：生成 AIをシステマティック・レビューに取り入れることで以下を達成： 1. 論文原稿の学術的な質と整合性を向上 させるため、序論（ Introduction)の フレームワークを批判的に評価し、査読者のチェックリストに基づいて内容を 確認し、関連する文献を特定して取り入れ、言い換えや類似性チェックを通 じて学術的な執筆基準を確保する。 2. 論文原稿の内容および 参考文献 の信頼性と真実性を確保 するために、最 新で信頼できる情報源が含まれているかを確認し、撤回された論文をチェッ クし、発行日を検証し、 AI生成コンテンツの有無を評価する Valentin III C. Dones, PhD 聖トマス大学 保健学博士 専門：理学療法
9. 9 9つのAI系ツールを使ったグループワーク 要約した情報の正確性の評価 参考文献の網羅性や信頼性の評価 論文に適した推敲や言い換え 対象となった論文原稿： https://drive.google.com/file/d/1R3v8U9ONTd09P60tv61yKU4DvtDzzunw/view ChatGPT
10. 10 ワークショップの結論 • AI はシステマティック・レビューにおいて効率を高め るが、繊細な判断には人間の介入が必要 • AI がもつバイアスといった倫理的懸念 があり、整 合性を保つ上では人間の監視が必要 • 厳格かつ信頼性の高いピアレビューを担保するには 透明性の高い AIの利用と明確なガイドライン を設 けることが必要
11. 11 Debate: エビデンス合成におけるAIの役割 テーマ： エビデンス合成において、 AIは人間を代替できるか？ 賛成: Amir Qaseem, Artur Nowak, Jun Xia 反対: Ina Kopp, Hemant Rathi, Valentin III C Dones
12. 12 賛成派意見 • 人間vs. AIのエラー率やパターンの違い ◦ AIは間違えたとしてもパターンを予測できる。 • 時間的なコスト ◦ システマティックレビューを出すのに、平均で 2.5年から6.5年かかる • トピックによっては、人手が足りずにレビューがアップデートされていないことが多い ◦ 知識をアップデートできていない＝倫理問題
13. 13 反対派意見 「少なくとも、まだ代替は無理」
14. 14 WS: Using AI tools to support storyboarding as a means of synthesis for qualitative evidence 背景：HIV陽性の思春期児と抗レトロウイルス治療薬（ ART）の服用 • 継続的な服薬が不可欠 • 社会的・構造的な状況や患者の考えや体験を理解 する必要がある ◦ 薬の色、におい、形、服用方法などの感覚的 側面について等 • RCTなど量的研究だけでなく、質的研究が必要 • 課題：数多くの質的研究をどのようにシステマチッ クにまとめるか？
15. 15 提案手法：Storyboarding（絵コンテ）で表現する 「薬の副作用がで、顔に傷ができる。とても孤独だ。カ ウンターの上のナイフか殺鼠剤を奪って終わりにした い。ここでの生活は楽ではないし、偏見がある。だから 何度も薬を変えたり、違う種類の薬をもらったりしなけ ればならなかった。疲れて吐き気を催す薬もあれば、髪 が抜ける薬もある。箱の中に閉じ込められたような気 分。誰にも相談できない。自分の体験を誰かに話すの が怖い。クリニックに行くときは薬を隠さなければならな いし、傷跡を隠すために化粧もする …」 https://www.mdpi.com/1660-4601/19/18/11317
16. 16 ストーリーの骨子やコンテンツをChatGPTと論文を使って生成 https://chatgpt.com/share/6724410a-ad58-800f-ab7d-a4bdf65ed38c 認知的不協和理論 期待-確認理論（ECT） プラセボ効果 ... 薬の色や大きさに対する人々の認識を理解するための理論的 枠組みを教えて この論文では、抗レトロウイルス治療 (ART) の継続について、 HIV陽性の青少年が薬の色、形、におい、味といった感覚的な 要素がどのように認識や服用行動に影響を与えるかを探って います。 この論文要約して 「物質的マーカー」とは、世界におけるプロセスや意味を示した り、形作ったり、影響を与えたりする物理的または物質的な要 素を指します。 「物質的マーカー」とは、世界におけるプロセス、意味、または 相互作用に影響を与えたり、形作ったりする意義を持つ物理 的または有形の要素を指します。これらのマーカーは、情報を 伝えたり、社会的・文化的な価値を象徴したり… １．薬（錠剤 - 色、大きさ、形） 権威と治癒のイメージ ：大きく、白く、丸い錠剤は、臨床環境 や正確さ、権威を連想させるかもしれません。白さは純粋さ や信頼を象徴し、大きさは強さや真剣さを表すことがありま す。 気軽さと服用しやすさのイメージ ：小さく、明るい色の錠剤 は、手軽さや使いやすさ、さらには子供っぽさを感じさせ、薬 が脅威に感じられにくくなる可能性があります。　... これらの物質的マーカーからどのようなイメージを引き出すこと ができる？ これらのイメージをどうやって繋げられる？ 感情的反応を結びつける 快適さ vs. 不快感：快適さのイメージ（小さく飲みやすい、明 るい色の錠剤）と不快感のイメージ（大きく苦い、または不快 なにおいのする薬）を結びつけることで、薬のデザインが服 薬の継続や服用時の感情的な体験にどのような影響を与え るかを探ることができます。これにより、使いやすさと治療の 効果や深刻さに対する認識の間の緊張関係が浮き彫りにな るかもしれません。
17. 17 感想 • 生成AIの活用において、ユーザーはそのアウトプットを評価できる能力が必要。少なくとも医療やア カデミックな領域においては、 AI任せはまだ先の話。 • GES2024での生成AI活用の多くはシステマティックレビューとエビデンス合成に関連 ◦ EBPMデータベースなどのキュレーションサイトでも生成 AIをもっと活用していくべき ◦ 「生成AIで〇〇した」と言いつつ、実際にどうやったのか、どんなプロンプトを使ったのかなど の詳細がないプレゼンが多くて若干物足りなさを感じた。 • Storyboardingのようなアート・クリエイティブ寄りの手法にも、生成 AIが活用できるのは面白い。 ◦ EBPMにおいても質的エビデンスが重要な場面はあり、活用できそう。