プロジェクト型学習とそれを支える生成AI利用プログラミング/pbl-and-ai-assisted-programming

データサイエンスコースの模擬授業として、2つのプロジェクト型学習（PBL）とそれを支える生成AI利用プログラミング教育を紹介する。PBLの1つ目は、MediaPipeのポーズランドマーク検出を利用したダンスステップチュータ；2つ目は、RAG機能を備えた就活支援対話ロボットである。生成AI利用プログラミングは、Colab AIやGitHub Copilotを活用する方法を演習形式で学び、誰でもプログラミングできる時代に活躍できる人材を育成する。

Transcript

1. データサイエンスコース模擬授業： プロジェクト型学習とそれを支える 生成AI利用プログラミング 宮崎産業経営大学 経営学部 岡 夏樹 2024/4/30 1
2. オープンキャンパス 生成AI利用プログラミング プロジェクト 型学習(PBL) ダンスステップチュータ 就活支援対話ロボ 2
3. オープンキャンパス 生成AI利用プログラミング プロジェクト 型学習(PBL) ダンスステップチュータ 就活支援対話ロボ 3
4. デザイン思考によるプロジェクト型学習 1. エスノグラフィーによる現場での観察（ありのままを見る） 2. 振り返り、カード化してマッピング、気づき 3. 隠れた問題やニーズの発見 4. 解決策の考案、ブレインストーミング（生成AIも利用） 5. プロトタイピング 4
5. デザイン思考によるプロジェクト型学習 1. エスノグラフィーによる現場での観察（ありのままを見る） 2. 振り返り、カード化してマッピング、気づき 3. 隠れた問題やニーズの発見 4. 解決策の考案、ブレインストーミング（生成AIも利用） 5. プロトタイピング 5
6. ダンスステップチュータ 6
7. デザイン思考によるプロジェクト型学習 1. エスノグラフィーによる現場での観察（ありのままを見る） 2. 振り返り、カード化してマッピング、気づき 3. 隠れた問題やニーズの発見 4. 解決策の考案、ブレインストーミング（生成AIも利用） 5. プロトタイピング ダンス部 の練習 個人練習 自分で 練習 7
8. MediaPipe Studio Pose Landmark Detection 使用するオープンソース・ ライブラリ 8
9. ポーズランド マーク検出 ポーズランド マーク検出 比較 有用な フィード バックの 生成 https://www.youtube.com/watch?v=97adPgS5tjI お手本動画の例 9
10. 著作権上の注意 YouTube動画をダウンロードする構成や、ランドマークを重畳 した画像がシステム内に保存される構成にすることは避ける。 10
11. 就職支援対話ロボット 11
12. 使用予定ロボット https://www.youtube.com/watch?v=yOKuEbuDOZg 12
13. https://rt-net.jp/humanoid/archives/5214 ソフトウェア構成例 13 ChatGPT
14. https://rt-net.jp/humanoid/archives/5214 就活データ ベース 検索 結果 RAG（Retrieval-Augmented Generation：検索拡張生成） → 求人情報などに基づく受け答えを可能に RAGの追加 14 ChatGPT
15. オープンキャンパス 生成AI利用プログラミング プロジェクト 型学習(PBL) ダンスステップチュータ 就活支援対話ロボ 15
16. 生成AI利用プログラミング • 生成AI ⇒ 誰でもプログラムが書ける時代に！ • 生成AI利用プログラミング教材を作成中 • 入門編 • 初級編 • 中級編 16
17. 生成AI利用プログラミング 入門編 1. Colab AIの使い方 2. プログラミング演習その１ 3. プログラミング演習その２ 17
19. 19 問１：年齢を尋ねて、18歳以上かそうでないかに 応じてメッセージを出力するPythonプログラムを if文を使って書いて下さい。
20. 20 問２：問１で作成したプログラムについて、下記の点を確認し て下さい。 • 全角数字で年齢を入力したら、どうなりますか？ • `15歳` のように入力したら、どうなりますか？ • `24です` のように入力したら、どうなりますか？ • `-3` のように負の数を入力したら、どうなりますか？ • `10018` のような大きな数を入力したら、どうなります か？ • `3.6` のように小数を入力したら、どうなりますか？ 実用システムを開発するときは、このような、ありとあらゆる 入力に対して適切に応答する必要があります。考えられるすべ てのケースに対して適切に応答できるよう、プログラムを改良 して下さい。
21. • 生成AIは、問２のようなプログラムを書く力を備えている • しかし問１のように依頼しただけではそれは引き出せない • 生成AIはとてもたくさんのことを知っているが、それを聞き 出すには対話者の力量が必要 • やりとりを重ねてより的確な答を引き出せるかどうかは、あ なたの知識や経験や想像力にかかっている • 「生成AIが使えるから勉強する必要はなくなった」というこ とは決してない • （生成AI時代に必要な）勉強を続けましょう！ 21
22. 生成AI利用プログラミング 初級～中級編 1. ピンポンゲームNPC作成 解説 動画 22 2. ジェスチャー入力ピンポンゲーム 解説 動画
28. 生成AI利用プログラミング 中級編 • プロンプトの例 お手本のビデオストリームから、ダンサーの各関節位置を取得す るライブラリMediaPipeがあります。お手本のビデオに合わせて 踊る練習をしているユーザをビデオカメラで撮影し、MediaPipe を用いて関節位置をリアルタイムに取得できます。両者の関節位 置を比較してユーザにフィードバックするシステムを作ります。 Pythonでプログラムを書きます。作るべき関数を設計して下さい。 複雑なプログラムをいきなり依頼しても、AIはうまく作れません。ま ず、どのような部品に分けるかを設計させ、次に、各部品を作っても らう、というやり方がポイント 28
29. ポーズランド マーク検出 ポーズランド マーク検出 比較 有用な フィード バックの 生成 https://www.youtube.com/watch?v=97adPgS5tjI お手本動画の例 29
30. まず部品の1つ（暫定仕様）を作ってみる prompt 1回目： 添付した動画ファイルに、ポーズランドマーク認識の結果を重畳した動画を作成 して、それをファイルに書き出すプログラムをPythonで作って下さい。 MediaPipeのポーズランドマーク認識ライブラリを使用して下さい。 （生成プログラムを実行すると、ランドマークが重畳された動画ができたが、音 声が抜けていた） prompt 2回目： 動画に音声を残すことはできますか？ （これで完成） 30
31. オープンキャンパス 生成AI利用プログラミング プロジェクト 型学習(PBL) ダンスステップチュータ 就活支援対話ロボ 31
32. 問い合わせなど 32