20260318_Human-AI Decision Making

Transcript

1. Open Sesame? Open Salami! Personalizing Vocabulary Assessment-Intervention for Children via Pervasive Profiling and Bespoke Storybook Generation 2026/03/18 @Human👤-AI🤖 Decision Making ジャーナルクラブ 奈良先端大 伊藤和浩 Jungeun Lee, Suwon Yoon, Kyoosik Lee, Eunae Jeong, Jae-Eun Cho, Wonjeong Park, Dongsun Yim, Inseok Hwang
2. l 名前：伊藤和浩（いとう・かずひろ） l 出身：東京都武蔵野市 l 所属：NAIST ソーシャル・コンピューティング研究室（荒牧研） l 経歴： l 学部：早稲田大学文化構想学部（2011-2015） l 求人広告の広告代理店（2015-2021） l 修士：奈良先端科学技術大学院大学（2021-2023） l 博士：奈良先端科学技術大学院大学（2023-2026） l 興味分野：人（々）独自の言語使用が心理や振る舞いに与える影響 自己紹介 2
3. イントロダクション 3 l 小学校に入る前までの語彙能力は， その後の長期的な読み書き能力や 学術成績に影響 l 子どもの語彙学習は，内面的な認知 よりも，周囲で使用される言語に 触れることに依存 Open Sesame? Open Salami!
4. イントロダクション 4 標準的な語彙リストを使用． リストの語彙を知っているか どうか，語彙自体やイラスト の提示によりテスト． 語彙テストの結果を参照し， 親にも必要な語彙について ヒアリングをしつつ選定． 語彙について子供に教えるの に，絵本はベストなツール． ターゲット語を含む絵本の選 定や，絵本のアレンジを実施
5. イントロダクション 5 標準的な語彙リストを使用． リストの語彙を知っているか どうか，語彙自体やイラスト の提示によりテスト． 語彙テストの結果を参照し， 親にも必要な語彙について ヒアリングをしつつ選定． 語彙について子供に教えるの に，絵本はベストなツール． ターゲット語を含む絵本の選 定や，絵本のアレンジを実施 既存の手法は，さまざまな改善の余地
6. イントロダクション 6 標準的な語彙リストを使用． リストの語彙を知っているか どうか，語彙自体やイラスト の提示によりテスト． 語彙テストの結果を参照し， 親にも必要な語彙について ヒアリングをしつつ選定． 語彙について子供に教えるの に，絵本はベストなツール． ターゲット語を含む絵本の選 定や，絵本のアレンジを実施 子どもの生活環境は一人ひとり違う ・“teddy bear”は標準的な語彙リスト に含まれるが，teddy bearを持ってい ない子どもは当然知らない語彙 ・近年のデジタル環境は，言語環境を より多様に
7. イントロダクション 7 標準的な語彙リストを使用． リストの語彙を知っているか どうか，語彙自体やイラスト の提示によりテスト． 語彙テストの結果を参照し， 親にも必要な語彙について ヒアリングをしつつ選定． 語彙について子供に教えるの に，絵本はベストなツール． ターゲット語を含む絵本の選 定や，絵本のアレンジを実施 語彙リストが時代遅れに 標準的な語彙リストの一つに ”a phone booth” などが含まれる一方，コロナ以 降は頻出する”administer”は含まれない
8. イントロダクション 8 標準的な語彙リストを使用． リストの語彙を知っているか どうか，語彙自体やイラスト の提示によりテスト． 語彙テストの結果を参照し， 親にも必要な語彙について ヒアリングをしつつ選定． 語彙について子供に教えるの に，絵本はベストなツール． ターゲット語を含む絵本の選 定や，絵本のアレンジを実施 絵本の用意は大変… ・ターゲット語を含む絵本が見 つからない場合もしばしば ・その場合，ターゲット語を組 み込んだ形にお話をアレンジ ・ただし絵は変えられない
9. イントロダクション – 提案手法 9 子どもが触れ る語彙を記録 ターゲット語彙を，①の記録などから半自動選定 語彙学習用の絵本生成！ 実際の親子に使っても らって，効果検証
10. イントロダクション – 結果 10 l 子どもの言語環境は多様（上の図） l 親が発話→子は発話せず，の語彙がそれぞ れの親子に共通する割合 l 「1」の語彙，つまり1親子しか当てはまら ない語彙が40％程度を占める l 提案手法は語彙習得に有効（下の図） l Target WordsとControl Wordsの差は， 生成絵本に含まれるか否か l TargetがControlを25％上回る
11. 11 論文を選んだモチベーション l 子どもの語彙学習のために言語聴覚士の方が通常行う 「どの語彙を学習するべきか？」「どのように学習するのが有効か？」 の判断をAIが支援するという観点で，AIを用いた意思決定支援のための 実用的なフレームワーク l 普段の生活の中での意思決定支援からは少し離れる内容なものの， 研究では踏み込みづらそうな領域を扱っていることや，人間の学習一般への 応用可能性から選定しました
12. 13 研究プロセス
13. 14 Phase 1: SLP（言語聴覚士）4人へのヒアリング l 子ども（特に3-5歳）の語彙の発達は重要 l 既存の言語能力の評価方法の限界：時代遅れ，子どもが問題を暗記 l 教えるべきターゲット語の選定方法の限界：日常の会話を知らないため，学習が必要 な語彙の選定の基準が不明瞭 l 語について子どもに教える方法の限界：教材の欠如，オリジナル教材の作成の手間 l 絵本を使った語彙の介入：適切な絵本の不在，アレンジ時に絵は変えられない
14. 15 Phase 1: ヒアリングをふまえたシステム要件 l それぞれの子どもに合わせた語彙能力の評価方法 l 子どもの言語環境をふまえたターゲット語の選定方法 l ターゲット語に合わせて生み出せるインタラクション方法 l 家庭でも，家族だけで継続的に実施しやすい語彙学習の方法 l 特定の語や子どもに適応した読み聞かせツール
15. 16 Phase2: OSOS (Open Sesame? Open Salami!) の開発 子どもが触れ る語彙を記録 ターゲット語彙 を半自動選定 読み聞かせ用の 絵本を生成
16. 17 OSOS 概要 – 語彙の収集（Profiler） l ウェアラブル端末を開発 l 好きなタイミングで中止・再開できる l 許可されたもののみサーバにアップロード
17. 18 OSOS 概要 – ターゲット語の選定（Extractor）
18. 19 OSOS 概要 – ターゲット語の選定（Extractor） ・子どもの発話とその他の発話を分離 ・機能語やストップワード除去など前処理 各語について，下記の特徴量を集計 ・Frequency: 出現頻度 ・Commonality: 何種類のソース（日， 場所，話者など）に現れたか ・Perceptual Saliency: どれだけ明瞭に 発話されたか →それぞれ値が高いほど学習のチャンス が多かったはず
19. 20 OSOS 概要 – ターゲット語の選定（Extractor） E3 で学習した係数により， 子ども以外の発話に 含まれる全語に priority scoreを付与 各語の学習の優先度（priority score）を E 2 で求めた特徴量の線形和で定義： 「子どもが発話していない」かつ「子ども 以外が発話している」語（つまり，聞いて いるが獲得していない語）の値が高くなる ように係数を最適化
20. 21 OSOS 概要 – ターゲット語の選定（Extractor） priority scoreの上位k個を抽出 加えて，下記のフィルタリング ・親に確認し，実は子どもが使った ことがある語を除去 ・不適切語を除去 子どもが使った語は（習得済みとして）除去
21. 22 OSOS 概要 – 絵本生成（Generator）
22. 23 OSOS 概要 – 絵本生成（Generator） 既存の本のストーリーから 3文のみのabstractを生成 人手で行う工程．下記の内容を確認 ・ターゲット語が含まれているか ・物語文法のフレームワークに従っているか もし不足がある場合，ツールにより修正 G1 のabstractに沿って Extractorによるターゲット語を組み込み， たたき台となるストーリーを生成
23. 24 OSOS 概要 – 絵本生成（Generator） 完成したストーリーを， 絵本用に複数ページに 区切らせる（GPT-4）
24. 25 OSOS 概要 – 絵本生成（Generator） 各ページに対応するイラストを生成 下記の手順で実行 1. ストーリーから登場人物を生成 2. 登場人物の見た目の特徴を生成 3. 各ページのイラストについての ベースとなるプロンプトを生成 4. 2と3のプロンプトを結合し， Stable Diffusion によりイラスト 生成 ぞの後，人手で不適切なイラストの除 去，作風の調整，ページ間のキャラ一 貫性などの改善
25. 26 OSOS 概要 – 絵本生成（Generator） ページごとのテキストとイラストをまと め，e-book PDFにコンパイル． 人手でチェックし，翻訳のぎこちなさな ど細かな問題を修正可能 絵本のテキストを韓国語など英語以外に したい場合，DeepLでテキストを自動翻訳
26. 27 OSOS 概要 – 絵本生成（Generator） ターゲット語 garden, kick, far
27. 28 Phase3: 親子に使ってもらう実験 - 概要 l 実験参加者数：10家族（各子ども1名＋親1名） l 実験期間：4週間 l 前半2週間（Stage 1）：言語環境の収集期間（Profiler） l 子どもとの日常生活の中で週10時間程度を目安に録音 l 家族が持っている絵本を，タブレットで1日20分程度読み聞かせ（新奇性を減らすため） l 後半2週間（Stage 2）：生成絵本の読み聞かせ期間 l 20種類の生成絵本のうち，各本を1回以上読む l 週6回以上の読み聞かせセッション（1回あたり20分程度，1回につき2冊以上） l 録音以外に収集したデータ l Stage 1・Stage2終了時：親へのアンケート（抽出語について「実は既知語」チェック） l 実験終了後：親への実験についてのアンケート，半構造化インタビュー（1.5h）
28. 29 結果（1/5）- 基本統計量 l Stage 1: 音声収集 l 家族あたり平均28.7h録音，うち子どもの発話26.8％ l ユニーク語数は2276語（子ども発話705語，その他発話1973語） l OSOS出力の優先語を平均567語提示し，親により「実は既知語」として 平均369語が除外された l Stage 2: 読み聞かせ l 家庭あたり平均15.3分，1冊あたり平均9.2分 l 2人の子どもを除くと，読み聞かせ中の子どもの発話は4.7％（質問など） l 外れ値の2人はそれぞれ83.2％，19.8％（自分で読んだり，親と一緒に読んだり）
29. 30 結果（2/5）- 語彙の子どもごとの多様性 l 少数の頻出語 vs 多数の希少語（a） l 縦軸は「その家族数に現れた語」が「合計でど れだけの頻度出現したか」を示す l 9家族全てに出現する語は8.6%の語が占める l 機能語や幼児特有の語が多い（do, momなど） l 未習得語の多くは家庭依存（b） l 「1」の語彙，つまり1親子しか当てはまらない 語彙が40％程度を占める l 子どもの言語環境は互いに大きく異なる
30. 31 結果（3/5）- 子どもの語彙習得 l 提案手法は語彙習得に有効（上の図） l Target WordsとControl Wordsの差は， 生成絵本に含まれるか否かのみ l TargetがControlを25％上回る（p < 0.01） l 品詞ごとの語彙習得（下の図） l 形容詞/副詞がやや高いが，有意差なし l 既存研究だと名詞が習得しやすいとされてき たが，その傾向は確認されず l 絵本での介入は品詞差を縮める？
31. 32 結果（3/5）- 子どもの語彙習得 l 語と共起するキャラクターの役割による語彙習得 のしやすさ：特になし（上図） l 絵本中の使用場面が会話内か否かによる 語彙習得のしやすさ：特になし（中図） l 具体語か抽象語かによる語彙習得のしやすさ： 具体語の方が習得しやすい（下図） →既存研究と一致
32. 33 結果（4/5）- 実験後の親アンケート l ターゲット語を親に知らせた上で質問紙調査 l 「子どもはこれらの語によく触れている？」「こ れらの語は子どもの言語レベルに合っている？」 「子どもはこれらの語をすぐに必要としてい る？」には一貫して高い値（3.85-3.97） l 一方「これらの語は既存の絵本によく出てく る？」にはほぼ中立の値（3.01） l 子どもの絵本への興味と習得率は正の相関 l 本の好みは人それぞれ（主人公の年齢などな ど）のため，好みの検証は今後有用
33. 34 結果（5/5）- 実験後の親インタビュー l 絵本での語彙教示の有用さ l 既存の絵本では頻度が低いadjustment, evaluationのような語も，文脈に沿って子ども がスムーズに理解 l timingのような語は単独では説明しずらいが，物語中なら理解しやすい l 語彙習得の実感：実際に最近ターゲット語を話し始めたことを思い出すケースも l AI生成絵本の課題 l 始まりが「Once upon a time…」や「There was a girl…」になりがち l 説明しすぎる傾向にあり不自然なことも．因果関係の表現を重視する物語文法に従わせ る設計などが原因と解釈できる l キャラクターの一貫性がやや欠けていたり，最小限の要素しかないイラスト l 日常生活から，語彙だけではなく，出来事の文脈も広くストーリーに含める要望
34. 35 考察 l 著作権の問題 l 全文を使わず3文だけのabstractを使用することで，懸念を軽減 l 使用者が所有する絵本や，パブリックドメイン作品に絞ると安全 l OSOSフレームワークの対象者のスコープ l SLPの監督下で語彙の習得が遅れている子どもへの介入も視野に l 30-million-word gapの緩和：家庭の社会経済的地位によって子どもが聞く語数が 大きく異なる（1時間あたり 2,153語 vs 616語） l 家の音声を録音することへのプライバシー懸念 l 生の音声や文字起こしは家庭内のデバイス側で処理，クラウドには抽出されたター ゲット語のみを送信する設計で軽減
35. 36 Future work l 自動化の度合い：完全自動化は今回目指していないが（SLPも適度な 人の介入を好む），どこまで自動化をするのが適切かという度合いの検討 l 言語環境の収集範囲拡大：幼稚園や公共空間，またYouTube Kidsのようなオンラ イン上での言語接触もスコープにするとより豊かに l 生成画像の細かな制御：西洋文化バイアスの軽減や，子どもの好みに合わせた興 味を高める要素を入れるなどのパーソナライズ，動画化も l 絵本のインターフェイスの改善：ターゲット語に対応する対象を，イラストから 自動で見つけて強調（イラストの指差しが学習効果を高める既存研究より）
36. 37 感想 l 自分のよく読む分野の論文と比べて長めだが，例が豊富で飽きずに読めた l 予備調査としての専門家へのインタビューや，システム開発の過程での試行錯誤など， 過程の記述が多く新鮮だった l SLPの方や，実験参加者の親子と膨大なコミュニケーションを行ったことが 察され，チームで取り組む研究の強さを感じる l 一方で，考え方はかなり広く応用可能な気がする l 特定の目的・環境のための第二言語習得支援 l 絵本の代わりに動画生成を行うことで，コミュニケーション系の企業研修 l ソーシャルメディアなどの情報環境をふまえた，認知の歪みの相対化