Tweet
Tweet

Slide 1

Slide 1 text

データサイエンスコース模擬授業： プロジェクト型学習とそれを支える 生成AI利用プログラミング 宮崎産業経営大学 経営学部 岡 夏樹 2024/4/30 1

Slide 2

Slide 2 text

オープンキャンパス 生成AI利用プログラミング プロジェクト 型学習(PBL) ダンスステップチュータ 就活支援対話ロボ 2

Slide 3

Slide 3 text

オープンキャンパス 生成AI利用プログラミング プロジェクト 型学習(PBL) ダンスステップチュータ 就活支援対話ロボ 3

Slide 4

Slide 4 text

デザイン思考によるプロジェクト型学習 1. エスノグラフィーによる現場での観察（ありのままを見る） 2. 振り返り、カード化してマッピング、気づき 3. 隠れた問題やニーズの発見 4. 解決策の考案、ブレインストーミング（生成AIも利用） 5. プロトタイピング 4

Slide 5

Slide 5 text

デザイン思考によるプロジェクト型学習 1. エスノグラフィーによる現場での観察（ありのままを見る） 2. 振り返り、カード化してマッピング、気づき 3. 隠れた問題やニーズの発見 4. 解決策の考案、ブレインストーミング（生成AIも利用） 5. プロトタイピング 5

Slide 6

Slide 6 text

ダンスステップチュータ 6

Slide 7

Slide 7 text

デザイン思考によるプロジェクト型学習 1. エスノグラフィーによる現場での観察（ありのままを見る） 2. 振り返り、カード化してマッピング、気づき 3. 隠れた問題やニーズの発見 4. 解決策の考案、ブレインストーミング（生成AIも利用） 5. プロトタイピング ダンス部 の練習 個人練習 自分で 練習 7

Slide 8

Slide 8 text

MediaPipe Studio Pose Landmark Detection 使用するオープンソース・ ライブラリ 8

Slide 9

Slide 9 text

ポーズランド マーク検出 ポーズランド マーク検出 比較 有用な フィード バックの 生成 https://www.youtube.com/watch?v=97adPgS5tjI お手本動画の例 9

Slide 10

Slide 10 text

著作権上の注意 YouTube動画をダウンロードする構成や、ランドマークを重畳 した画像がシステム内に保存される構成にすることは避ける。 10

Slide 11

Slide 11 text

就職支援対話ロボット 11

Slide 12

Slide 12 text

使用予定ロボット https://www.youtube.com/watch?v=yOKuEbuDOZg 12

Slide 13

Slide 13 text

https://rt-net.jp/humanoid/archives/5214 ソフトウェア構成例 13 ChatGPT

Slide 14

Slide 14 text

https://rt-net.jp/humanoid/archives/5214 就活データ ベース 検索 結果 RAG（Retrieval-Augmented Generation：検索拡張生成） → 求人情報などに基づく受け答えを可能に RAGの追加 14 ChatGPT

Slide 15

Slide 15 text

オープンキャンパス 生成AI利用プログラミング プロジェクト 型学習(PBL) ダンスステップチュータ 就活支援対話ロボ 15

Slide 16

Slide 16 text

生成AI利用プログラミング • 生成AI ⇒ 誰でもプログラムが書ける時代に！ • 生成AI利用プログラミング教材を作成中 • 入門編 • 初級編 • 中級編 16

Slide 17

Slide 17 text

生成AI利用プログラミング 入門編 1. Colab AIの使い方 2. プログラミング演習その１ 3. プログラミング演習その２ 17

Slide 18

Slide 18 text

18

Slide 19

Slide 19 text

19 問１：年齢を尋ねて、18歳以上かそうでないかに 応じてメッセージを出力するPythonプログラムを if文を使って書いて下さい。

Slide 20

Slide 20 text

20 問２：問１で作成したプログラムについて、下記の点を確認し て下さい。 • 全角数字で年齢を入力したら、どうなりますか？ • `15歳` のように入力したら、どうなりますか？ • `24です` のように入力したら、どうなりますか？ • `-3` のように負の数を入力したら、どうなりますか？ • `10018` のような大きな数を入力したら、どうなります か？ • `3.6` のように小数を入力したら、どうなりますか？ 実用システムを開発するときは、このような、ありとあらゆる 入力に対して適切に応答する必要があります。考えられるすべ てのケースに対して適切に応答できるよう、プログラムを改良 して下さい。

Slide 21

Slide 21 text

• 生成AIは、問２のようなプログラムを書く力を備えている • しかし問１のように依頼しただけではそれは引き出せない • 生成AIはとてもたくさんのことを知っているが、それを聞き 出すには対話者の力量が必要 • やりとりを重ねてより的確な答を引き出せるかどうかは、あ なたの知識や経験や想像力にかかっている • 「生成AIが使えるから勉強する必要はなくなった」というこ とは決してない • （生成AI時代に必要な）勉強を続けましょう！ 21

Slide 22

Slide 22 text

生成AI利用プログラミング 初級～中級編 1. ピンポンゲームNPC作成 解説 動画 22 2. ジェスチャー入力ピンポンゲーム 解説 動画

Slide 23

Slide 23 text

23

Slide 24

Slide 24 text

24

Slide 25

Slide 25 text

25

Slide 26

Slide 26 text

26

Slide 27

Slide 27 text

27

Slide 28

Slide 28 text

生成AI利用プログラミング 中級編 • プロンプトの例 お手本のビデオストリームから、ダンサーの各関節位置を取得す るライブラリMediaPipeがあります。お手本のビデオに合わせて 踊る練習をしているユーザをビデオカメラで撮影し、MediaPipe を用いて関節位置をリアルタイムに取得できます。両者の関節位 置を比較してユーザにフィードバックするシステムを作ります。 Pythonでプログラムを書きます。作るべき関数を設計して下さい。 複雑なプログラムをいきなり依頼しても、AIはうまく作れません。ま ず、どのような部品に分けるかを設計させ、次に、各部品を作っても らう、というやり方がポイント 28

Slide 29

Slide 29 text

ポーズランド マーク検出 ポーズランド マーク検出 比較 有用な フィード バックの 生成 https://www.youtube.com/watch?v=97adPgS5tjI お手本動画の例 29

Slide 30

Slide 30 text

まず部品の1つ（暫定仕様）を作ってみる prompt 1回目： 添付した動画ファイルに、ポーズランドマーク認識の結果を重畳した動画を作成 して、それをファイルに書き出すプログラムをPythonで作って下さい。 MediaPipeのポーズランドマーク認識ライブラリを使用して下さい。 （生成プログラムを実行すると、ランドマークが重畳された動画ができたが、音 声が抜けていた） prompt 2回目： 動画に音声を残すことはできますか？ （これで完成） 30

Slide 31

Slide 31 text

オープンキャンパス 生成AI利用プログラミング プロジェクト 型学習(PBL) ダンスステップチュータ 就活支援対話ロボ 31

Slide 32

Slide 32 text

問い合わせなど 32