大学職員のための プロンプトガイドの開発 -人材開発における生成AI 利用者と 生成AI の関わりに焦点を当てて- 2024年11月10日 MJIR2024 - 第13回MJIR（大学情報・機関調査研究集会） 九州大学IR室 学術推進専門員 森木 銀河

背景 1

2 大学の様々な業務に生成AIが活用されている ▍活用例 ◼ 就職支援における 面接の質問のリストアップ ◼ 大学運営業務における文書作成 ◼ 財務部門での予算集計業務の改善 ◼ 遺失物の管理業務の改善 中京大学 × Graffer AI Studio https://www.chukyo- u.ac.jp/news/20240620ChukyoUniversity_Graffer%20AI%20Stu dio_1.pdf 大学IRにおける活用事例 ▍活用例 ◼ アンケート結果の分析 ◼ テキストデータの変換 ◼ プログラミングの手助け(関ら,2023) ◼ データの理解・分析軸の検討 ◼ ドキュメント作成の支援 関雅幸，野田育宏，大森雅人，酒井智行，村上勝彦，高松邦彦, "IR における ChatGPT の実証実験の基礎研究," 大学情報・機関調査研究集会 論文集, vol. 12, pp. 156-157, 2023. 森木銀河,”大学における生成AI利用の試み”,大学情報・機関調査研究集会,2023

3 大学IRにおける生成AI活用と専門能力開発 Jones, D. and Ross, L. E., "The of Use of Generative Artificial Intelligence in Institutional Research/Effectiveness", Brief. Association for Institutional Research, 2024. ▍Association for Institutional Research (AIR)サーベイの結果 • IR/IE 組織におけるAIの成熟度とLLM活用状況には相関が見られる • 「現在の業務の効率と効果の向上」「新しい技術の探索、 新しいデータソースの分析」等を目的とした生成AI活用が進んでいる • 成熟度が低い組織はAIの使用には重要な専門能力開発が必要だと考える傾向が強い Q.「生成AIの利用には、大幅な専門能力開発が必要になる」？ AIの成熟度が高い組織 AIの成熟度が低い組織 大学IRに携わる組織においても AI利用者の人材開発が求められている

4 AI利用者の人材開発の現状と課題 ▍AI利用者の「専門能力開発」をFD/SDが担うケースが散見される • 【九州大学】シリーズ「⽣成AIを大学の教育・学習・業務にどのように組み込むか？」 • 【北海道大学】シリーズ「生成AIと教育研究活動」 • 【愛媛大学】FD「生成AI利用の本質的理解ー大学の授業のためにー」、 SD「大学業務における生成AI活用 初級編 」…etc. AI利用者の属性、AI利用者が扱う生成AIサービスの類型を考慮したFD/SDは少ない AI利用者 例：大学職員(Copilot利用) 生成AIを誰が、どのように活用するのか？ どのような生成AIを活用するのか？ 生成AIサービス 例：Copilot ？ ？ AI利用者が生成AIを学ぶ機会やコンテンツが少ない ？

5 今日の発表内容 AI利用者のリテラシー醸成のために「大学職員のためのプロンプトガイド」を開発 AI利用者が生成AIを学ぶ機会やコンテンツが少ない AI利用者の属性、AI利用者が扱う生成AIサービスの類型を考慮したFD/SDは少ない 教職員向けの人材開発において「誰が、どのように、どのような生成AIを業務に活 用するか」を想定するフレームワークについて考察

「大学職員のためのプロンプトガイド」の開発 6

大学職員のためのプロンプトガイド(P4Us)を開発 7 P4Us = Prompt Guide for University Staff https://promptforus.com/ 「AI利用者」として必要不可欠な リテラシーや知識、 大学職員向けプロンプトを公開しています https://github.com/gmoriki/Prompt4Us

8 開発背景：「AI利用者側のリテラシーの醸成」(人材開発)を支援する AI提供者とAI利用者との間にある知識・経験のギャップ AI利用者 AI提供者 AI開発者 AI システムを開発する事業 者（AIを研究開発する事業 者を含む） AI システムをアプリケーション、製 品、既存のシステム、ビジネスプロ セス等に組み込んだサービスとして AI利用者（AI Business User）、場 合によっては業務外利用者に提供す る事業者 事業活動において、AIシス テム又はAIサービスを利用 する事業者 例：OpenAI社(GPT-4開発) 例：Microsoft社(Copilot提供) 例：大学職員(Copilot利用) どの生成AIを使えばいいの？ 生成AIに何を入力すればいいの？ 嘘つくからダメだねありゃｗ AIすごいらしい知らんけど 生成AIは世界を変える！すごい！ 業務を圧倒的に効率化する！した！ プロンプトを書けばいいのに... AI事業者ガイドライン（第1.0版）(2024), https://www.meti.go.jp/press/2024/04/20240419004/20240419004.html ナレッジ不足

9 開発背景：「AI利用者側のリテラシーの醸成」(人材開発)を支援する AI利用者 AI提供者 AI開発者 例：OpenAI社(GPT-4開発) 例：Microsoft社(Copilot提供) 例：大学職員(Copilot利用) 生成AIサービス需要の向上 ユーザー体験の向上 AIガバナンスの円滑な遂行 AI提供者とAI利用者との間にある知識・経験のギャップ = AIリテラシーのギャップ 所属している大学に依らず リテラシーを身に付けられる機会を得る

10 開発方法と経緯 ▍2023年11月作成・公開 • Googleスプレッドシートを使用。各 シートにプロンプトや事例を紹介 • 大学教職員の業務等で活用できる可 能性があると判断したプロンプト、 過去の講演や研修のために作成した プロンプトを掲載 • しかし表形式のUIが悪いとのフィー ドバックを受ける ▍2024年1月にGitHub Pagesへ移行 • WebページのコンポーネントはHugoテ ンプレートをベースに改良・公開 • Git管理

11 Google Analyticsによる解析(2024年1月～2024年11月現在) アクティブユーザー数 2024年

12 Google Analyticsによる解析(2024年1月～2024年11月現在)

「誰が、どのように、どのような生成AIを 業務に活用するか」を想定するフレームワーク 13

14 「誰が、どのように、どのような生成AIを業務に活用するか」 AI提供者とAI利用者との間にある知識・経験のギャップ = AIリテラシーのギャップ AI利用者 AI提供者 AI開発者 例：OpenAI社(GPT-4開発) 例：Microsoft社(Copilot提供) 例：大学職員(Copilot利用) 生成AIサービス需要の向上 ユーザー体験の向上 AIガバナンスの円滑な遂行 ...etc.を目指している AI利用者はどのような生成AIを 活用するのか？ 生成AIを誰が、どのように活用するのか？ WHO・HOW WHAT

15 生成AIを誰が、どのように活用するのか WHO HOW 経済産業省,独立行政法人情報処理推進機構（IPA）, "デジタルスキル標準 ver.1.2", 2024 DXリテラシー標準、DX推進スキル標 準をもとに対象者とアクションを定義

16 高度な DX推進者 DX推進者 全教職員 AIの基本的な知識を理解する →全員が使ってみる 業務のために、AIツールを特定、 評価、選択、適用する →活用する 業務のために、AIを 運用・再構成・提供するスキル →提供・開発する 生成AIを誰が、どのように活用するのか WHO HOW 経済産業省,独立行政法人情報処理推進機構（IPA）, "デジタルスキル標準 ver.1.2", 2024

17 参考：AI competency framework for teachers Create (創造) Deepen (深化) Acquire (習得) AIの基本的な知識を理解する →全員が使ってみる 業務のために、AIツールを特定、 評価、選択、適用する →活用する 業務のために、AIを 運用・再構成・提供するスキル →提供・開発する Fengchun&Mutlu,“AI competency framework for teachers”,UNESCO,2024,https://unesdoc.unesco.org/ark:/48223/pf0000391104を一部改変 “AI competency framework for teachers”をもとに...

18 どのような生成AIを活用するのか TOYA Connected AI統括部,企業で生成AIを導入するための施策と生成AI全社研修の全体設計を公開します,https://note.com/tc_ai/n/nac453895a994 をもとに筆者が作成 LLM：Large Language Model(大規模言語モデル) CI：Code Interpreter の略称。ChatGPT 等との対話を通じてPython 環境を選択・利用可能な機能である 出力の自由度 入力の自由度 類型 主な用途 No. 高い 高い LLM 壁打ち・顧客対応 ① 低い 高い CI データ分析レポート ② 高い 低い LLM/CI フォーマット代入 ③ 低い 低い ルール ベース Excel関数、勤怠管理 ④ TOYA Connected AI統括部における適用業務の指針 用語 WHAT 適用業務の指針にもとづき、 CIをよりスケール可能な定義をつくる

19 どのような生成AIを活用するのか TOYA Connected AI統括部,企業で生成AIを導入するための施策と生成AI全社研修の全体設計を公開します,https://note.com/tc_ai/n/nac453895a994 をもとに筆者が改変 LLM：Large Language Model(大規模言語モデル) LLM+：LLMを他のアプリケーションの機能と統合したサービス LLM+の例：AIエージェント、Code Interpreter、JSON Mode 出力の自由度 入力の自由度 類型 主な用途 No. 高い 高い LLM 相談、問い合わせ対応 ① 低い 高い LLM+ 議事録等のレポート生成 ② 高い 低い LLM+ 特定フォーマットの生成 ③ 低い 低い ルール ベース ルールベースの処理 ④ 入出力の自由度にもとづく生成AI = LLMの利用類型 用語 WHAT

20 LLM利用類型の例 https://www.qes.co.jp/media/microsoft/teams/a375 何でも相談おじいさん ①LLM https://promptforus.com/docs/products/moderation-ai/ 生成AIはチャットが全てではない いかにユーザー(私たち)の課題を 解決できるか？いかにユーザー(私 たち)のサービス体験が向上する か？が大切 議事録の生成(Copilot for M365) ②LLM+ スライドの生成(Copilot for M365) ③LLM+

21 生成AI利用者と生成AIの類型との関わり 生成AIの 類型 入力 自由度 出力 自由度 使ってみる 活用する 提供する、 開発する LLM 高 高 ChatGPTなどの チャットボット で様々な質問を 試す 生成AIを活用し たブレインス トーミングや文 章作成支援、翻 訳などに活用す る 大学独自のデー タを用いたRAG システムの活用、 API連携によるシ ステム開発を行 う LLM+ 低 高 翻訳ツール、要 約ツール、文章 校正ツールなど を試用する 議事録の作成、 データ分析等、 特定業務に特化 した生成AIツー ルを導入し、業 務効率化を図る 特定業務に特化 した生成AIツー ルを開発・改良 し、API連携によ る機能拡張を行 う LLM+ 高 低 定型的なレポー ト作成ツール、 プレゼン資料作 成支援ツールな どを試用する 定型的な業務レ ポート作成、プ レゼン資料作成 などに活用する 特定のフォー マットに沿った コンテンツ生成 ツールを開発す る 研修における「AI利用者」を階層化する一助になる

おわりに 22

23 課題と今後の展望 ▍大学IR活動への示唆 • 生成AIはデータの理解やデータの変換、分析軸の検討、ドキュメント化等、 汎用的に活用できる可能性がある ⇒ 昨年の生成AIハンズオン講演、記録あります • IR においても、生成AI を活用できるAI 利用者の育成が必要だと考えられる • 研修実施時の工夫、実施後の評価に留まらず、研修前のAI利用者設計を ▍課題 • 「大学職員のためのプロンプトガイド」が提供するコンテンツの精査が不足している こと、個人以外の寄与が少ないこと • 生成AI 利用者 (Who)、使用する生成AI サービス(What)、生成AI を使用する方法 (How)といった人材面に言及した一方で、組織が示す方針や戦略(Why)や、研修評価 といった人材開発フロー全体には言及できていない

ご清聴いただきありがとうございました 24 「大学職員のためのプロンプトガイド」を開発 * AI利用者とAI提供者との間にある知識・経験のギャップを埋める * 大学組織の壁を超えた生成AI活用の促進 * GitHub Pages ＋ Hugo構成 「生成AI利用者と生成AIの類型との関わり」に 焦点を当てた人材開発(FD/SD等)の提案 * 人材開発の対象者であるAI利用者をきめ細かに定める * デジタルリテラシー標準等の既存の枠組みを援用 * 今後のOJT/Off-JTへの活用を提案

付録

26 生成AIとは何か 文章、画像、プログラム等を生成できるAIモデルにもとづくAIの総称 (AIモデル…入力データ又は情報にもとづいて推論（inference）又は予測を生成する数学的構造) 画像・音楽・動画を 生成するAI、 入力可能なAIもある AIモデル 入力 生成物 入力された文章をもとに、文章を生成するAIの場合 日本の 首都は？ 東京都です AI事業者ガイドライン（第1.0版）(2024), https://www.meti.go.jp/press/2024/04/20240419004/20240419004.html

27 補足：AIモデルの作り方 入力 生成物 日本の 首都は？ 東京都です AI事業者ガイドライン（第1.0版）(2024), https://www.meti.go.jp/press/2024/04/20240419004/20240419004.html AIモデル (チューニング前) 事前にAI開発者がインターネット上の文書等を 大量に学習・調整させている 学習用 データセット ＋ハイパーパラメータ AIモデル (チューニング済み) 学習 調整 (アライ メント) ※ GPT-3を訓練してInstruct GPTを作る過程を簡略化して説明しています 文章、画像、プログラム等を生成できるAIモデルにもとづくAIの総称 (AIモデル…入力データ又は情報にもとづいて推論（inference）又は予測を生成する数学的構造) ChatGPT の内部で 使用中

28 LLMの限界とRAG(Retrival-Augmented Generation)の必要性 LLM 入力 生成物 日本の 首都は？ 東京都です 「通常のLLM単体による推論」の課題 • LLMが事実に基づかない出力をしてしまう • LLMの出力の根拠を調べるのが困難 • LLMが学習する情報の制御が困難 • より新しい情報や異分野のデータへの適応が困難 • 知識を扱うために大規模なモデルが必要 入力 A大学の 職員数は？ 検索器 データストア インデックス 文書1 文書n … 検索された文書 LLM 236人です 通常のLLM単体による推論 基本的な構成のRAGによる推論 生成物 山田育矢,『大規模言語モデル入門Ⅱ 〜生成型LLMの実装と評価』,技術評論者,p.125-127,2024

29 学内に生成AIを導入・構築する必要性 LLM 入力 生成物 日本の 首都は？ 東京都です 「通常の学外サービスの利用」の課題 • 入力したデータがモデルの学習等に利用される 可能性がある(@利用規約・プライバシーポリシー) • 生成物がモデルの学習等に利用される可能性がある (@利用規約・プライバシーポリシー) →LLMが学習する情報の制御が困難 通常の学外サービスの利用 学外サービス データが保護されたサービスの利用 e.g. Microsoft Copilot https://learn.microsoft.com/ja-jp/copilot/privacy-and-protections LLM 入力 生成物 日本の 首都は？ 東京都です データが保護された サービス 入力と生成物は 基盤モデルの学習に利用されない Web検索のクエリには ユーザーとテナントの識別子が 含まれない