Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ヘルスケア領域における AI 活用と その安全性担保のための取り組み (Leveraging ...

ヘルスケア領域における AI 活用と その安全性担保のための取り組み (Leveraging AI in Healthcare and Our Efforts to Ensure Its Safety) - Google I/O Extended Tokyo 2026, July 11, 2026

Slides from "Leveraging AI in Healthcare and Our Efforts to Ensure Its Safety" (Google I/O Extended Tokyo 2026, July 11, 2026).
This talk covers how Ubie applies AI across its healthcare products and why safety assurance — anchored in evaluation — is the prerequisite for doing so. Because misinformation in healthcare can directly harm patients, safety has to be designed in on the premise of domain-expert review, not bolted on afterward.
The core argument is that evaluation is what makes safety tractable. Conventional software tests can't handle probabilistic LLM output, and judging medical quality needs a physician's judgment that doesn't scale by hand. Ubie therefore encodes physicians' judgment into a golden dataset and runs LLM-as-a-Judge automatically in CI on every change — passing builds ship, failures return to engineers with rationale — closing the loop between clinicians, engineers, and users. The talk also touches on two longer-term efforts: localizing (not just translating) overseas medical datasets for Japan, and leading a healthcare AI-safety evaluation guide under AISI.
The takeaway: in deep domains like medicine, an Human-in-the-Loop evaluation cycle is what lets AI be deployed safely.

2026 年 7 月 11 日に開催された「Google I/O Extended Tokyo 2026」での登壇資料です。
ヘルスケア領域で Ubie がどのように AI を活用し、その前提となる「安全性担保」が、なぜ評価を軸に成り立つのかを紹介します。この領域では誤情報が患者の健康被害に直結するため、安全性は後付けにできず、ドメインエキスパートのレビューを前提として設計する必要があります。
Ubie では AI の安全性を担保するための具体的な取り組みとして、評価を最も重要視しています。従来のソフトウェアテストは LLM の確率的な出力に適用できず、医療の良し悪しの判定には医師の判断が要りますが、人手ではスケールしません。そこで Ubie では、医師の判断をゴールデンデータセットとして資産化し、変更のたびに CI 上で LLM-as-a-Judge による自動評価を実行します。合格したビルドはリリースし、不合格は判定理由とともにエンジニアへ返すことで、医師・エンジニア・ユーザーのループを閉じます。あわせて中長期の取り組みとして、海外の医学データセットを日本向けにローカライズ (単純翻訳ではなく) すること、AISI でのヘルスケア AI セーフティ評価観点ガイドの策定を主導していることにも触れます。
結論として、医療のような深いドメインでは、専門家を組み込んだ Human-in-the-Loop 評価サイクルこそが AI を安全に社会実装させる要である、という内容です。

Avatar for Akira Tameoka

Akira Tameoka

July 12, 2026

More Decks by Akira Tameoka

Other Decks in Technology

Transcript

  1. Google I/O Extended 26 Proprietary & Confidential 爲岡 啓 (ためおか

    あきら) • Software Engineer @ Ubie • 主に生成 AI に関する機能開発と評価を担当 • https://x.com/zettaittenani 自己紹介
  2. Google I/O Extended 26 Proprietary & Confidential 1. ヘルスケア領域における AI

    活用について 2. Ubie のプロダクトに対する AI 活用と安全性担保 3. 中長期的な取り組み 今日お話しすること
  3. Google I/O Extended 25 Proprietary & Confidential 生成 AI の需要

    ヘルスケア領域における AI 活用 相談の壁をなくす • 健康の不安は誰にでも、 日常的に生じる • 一方、受診・相談には 時間、費用、心理的な壁 • いつでも、ためらわずに聞 ける AI がハードルを下げる • 週 2.3 億人が健康相談して おり (*1)、需要は既に顕在 化している 専門家の時間確保 • ヘルスケアにおいて、専門 家の時間は重要な資源 • その多くが書類作成・記録 等の事務作業に費やされて いる • AI エージェントが代替し、 患者と向き合う時間を取り 戻す • カルテレビュー時間を 61% 削減した事例も (*2) 安全性担保が不可 欠 • 誤情報がユーザの健康被 害に直結する領域 例: 間違った薬の提示 • 需要が大きく、推進が進む ほど誤りの影響も拡大 • ドメインエキスパートのレ ビューを前提とした設計が 必要 前提 (*1) Introducing ChatGPT Health - OpenAI (*2) Elation Health delivers faster clinical insights with Claude - Anthropic
  4. Google I/O Extended 26 Proprietary & Confidential Ubie のプロダクト 医療機関向け

    生成 AI を活用し、病院内の様々な業務の 効率化を支援 導入施設 130 施設超 文章生成 要約 画像認識 音声認識 生活者向け ヘルスケアエージェントや医療に関する Q&A サービスの提供 月間利用者 1,300 万人 情報 アクセシビリティ 好事例 2023 選出 総務省 Google Cloud, Gemini をプロダクト横断で利用しています
  5. Google I/O Extended 26 Proprietary & Confidential AI の評価の重要性 計測

    安全性が担保されていない状況を 認識・計測したい • ハルシネーションが発生する状況を把握 し、対策する • 対策の結果、実際にハルシネーションが 減ったのか確認する テストの限界 従来のソフトウェア テストは適用できない • 従来のテストは、入力に対して決まった 出力を検証する手法 • AI の確率的な出力には適用できず、評 価が必要になる ヘルスケア領域の問題 良し悪しの判定には、医療の 専門家である医師の判断が必要 • AI の出力が適切かどうかを判断する • ただし、すべての評価を人手で実施する とスケールしない 医師の判断を評価基準に落とし込み、変更のたびに自動で評価が行われる仕組みが必要
  6. Google I/O Extended 26 Proprietary & Confidential 中長期的な取り組み 1. 日本語の医学データセットの構築

    課題 日本語ベースの医療対話・安全性 の評価基準が未整備 • 医療対話・安全性に関するベンチマーク は十分確立されていない • 各社独自の評価に依存し、客観的な安全 性を担保しづらい アプローチ 医学知識は世界共通で、 海外の資産を利用できる • 疾患・症状・治療の原理は、国を問わず 通用する • OpenAI HealthBench 等、医師の知見 が詰まった資産が既にある 制約 ただし、実践知は 国ごとに異なる • 承認薬や診療ガイドラインは国ごとに異 なる • 翻訳のままでは、日本では誤った基準の まま採点してしまう (*) 例: 国外の評価基準では 「COPD の説明では GOLD ガイドラインを参照」 → 日本の標準は COPD 診療ガイドライン 海外のデータセットを単に翻訳するのではなく、日本の医療分野で利用できるようローカライズする (*) (Hisada et al.) (2025). Filling in the Clinical Gaps in Benchmark: Case for HealthBench for the Japanese medical system. [arXiv]
  7. Google I/O Extended 26 Proprietary & Confidential • AISI 所属のヘルスケアサブワーキンググループが作成

    ◦ Ubie はワーキングリーダーとして策定を主導 • AI ライフサイクル 5 フェーズそれぞれにおける評価法と、 10 の評価観点、想定リスクを体系化 • 国際的な「Trustworthy AI」の議論・規制動向と歩調を合わせて継続 更新予定 • Markdown 版の実践ガイドも公開 ◦ AI エージェントのハーネスとして活用できる形式 中長期的な取り組み 2. ヘルスケア領域における AIセーフティ評価観点ガイド (*) (*) ヘルスケア領域における AIセーフティ評価観点ガイドを策定しました - AISI
  8. Google I/O Extended 26 Proprietary & Confidential • ヘルスケア領域の AI

    活用において、安全性担保は不可欠 • 安全性担保のために、評価が特に重要 ◦ 医療などドメインの深い分野においては、エキスパートを 含む Human in the Loop が機能する • Ubie は今後も安全性の高いヘルスケアエージェントを運用し つつ、現場で得られた知見をもとに、AI の安全な社会実装に 貢献していく まとめ