Slides from "Leveraging AI in Healthcare and Our Efforts to Ensure Its Safety" (Google I/O Extended Tokyo 2026, July 11, 2026).
This talk covers how Ubie applies AI across its healthcare products and why safety assurance — anchored in evaluation — is the prerequisite for doing so. Because misinformation in healthcare can directly harm patients, safety has to be designed in on the premise of domain-expert review, not bolted on afterward.
The core argument is that evaluation is what makes safety tractable. Conventional software tests can't handle probabilistic LLM output, and judging medical quality needs a physician's judgment that doesn't scale by hand. Ubie therefore encodes physicians' judgment into a golden dataset and runs LLM-as-a-Judge automatically in CI on every change — passing builds ship, failures return to engineers with rationale — closing the loop between clinicians, engineers, and users. The talk also touches on two longer-term efforts: localizing (not just translating) overseas medical datasets for Japan, and leading a healthcare AI-safety evaluation guide under AISI.
The takeaway: in deep domains like medicine, an Human-in-the-Loop evaluation cycle is what lets AI be deployed safely.
2026 年 7 月 11 日に開催された「Google I/O Extended Tokyo 2026」での登壇資料です。
ヘルスケア領域で Ubie がどのように AI を活用し、その前提となる「安全性担保」が、なぜ評価を軸に成り立つのかを紹介します。この領域では誤情報が患者の健康被害に直結するため、安全性は後付けにできず、ドメインエキスパートのレビューを前提として設計する必要があります。
Ubie では AI の安全性を担保するための具体的な取り組みとして、評価を最も重要視しています。従来のソフトウェアテストは LLM の確率的な出力に適用できず、医療の良し悪しの判定には医師の判断が要りますが、人手ではスケールしません。そこで Ubie では、医師の判断をゴールデンデータセットとして資産化し、変更のたびに CI 上で LLM-as-a-Judge による自動評価を実行します。合格したビルドはリリースし、不合格は判定理由とともにエンジニアへ返すことで、医師・エンジニア・ユーザーのループを閉じます。あわせて中長期の取り組みとして、海外の医学データセットを日本向けにローカライズ (単純翻訳ではなく) すること、AISI でのヘルスケア AI セーフティ評価観点ガイドの策定を主導していることにも触れます。
結論として、医療のような深いドメインでは、専門家を組み込んだ Human-in-the-Loop 評価サイクルこそが AI を安全に社会実装させる要である、という内容です。