Slide 1

Slide 1 text

1 ©2023 特定非営利活動法人みんなのコード 
 画像認識AIを活用した枝豆選別機の授業実践
 ○千石 一朗1,古内 利明2,板垣 翔大3,安藤 明伸4 1NPO法人みんなのコード  2宮教大附属中 3宮教大 4広島工大

Slide 2

Slide 2 text

2 ©2023 特定非営利活動法人みんなのコード 
 発表の流れ
 1. はじめに(授業実践の背景)
 2. 枝豆選別機の概要
 ○ ハードウェア
 ○ ソフトウェア
 3. 授業実践
 4. 結論と今後の課題


Slide 3

Slide 3 text

3 ©2023 特定非営利活動法人みんなのコード 
 はじめに


Slide 4

Slide 4 text

4 ©2023 特定非営利活動法人みんなのコード 
 D(3)計測と制御のプログラミングによる問題の解決
 H29年 学習指導要領
 H20年 学習指導要領
 (3) 計測・制御のプログラミングによる問題の解 決
 (ア) 計測・制御システムの仕組み,安全・適切 な制作,動作の確認,デバッグ等
 (イ) 問題の発見と課題の設定,計測・制御シ ステムの構想と情報処理の手順の具体 化,制作の過程や結果の評価,改善及 び修正
 (3)プログラムによる計測・制御
 (ア)コンピュータを利用した計測・制御の基 本的な仕組み
 (イ) 情報処理の手順と,簡単なプログラム の作成


Slide 5

Slide 5 text

5 ©2023 特定非営利活動法人みんなのコード 
 画像認識AIの活用事例
 ● 運転支援システムや自動運転
 日本電気株式会社 https://jpn.nec.com/techrep/journal/g19/n01/190118.html 株式会社モルフォ https://www.morphoinc.com/news/denso-morpho-cooperate-adas-ai ● コンビニなどでの画像認識POS


Slide 6

Slide 6 text

6 ©2023 特定非営利活動法人みんなのコード 
 D(4)社会の発展と情報の技術
 (ア)生活や社会,環境との関わりを踏まえて,技術の概念を理解すること。 (イ)技術を評価し,適切な選択と管理・運用の在り方や,新たな発想に基づく改良と応用に ついて考えること。
 【解説】人工知能の活用について,人間の労働環 境や安全性,経済性の視点から,その利用方法 を検討するなど〜(省略)〜提言をまとめさせたり する活動が考えられる

Slide 7

Slide 7 text

7 ©2023 特定非営利活動法人みんなのコード 
 D(3)計測と制御のプログラミングによる問題の解決
 1. 周囲の物理量を取得
 イラストAC https://www.ac-illust.com/ 入力 出力 株式会社ソラコム https://users.soracom.io/ja-jp/resources/icon-set/ 2. コンピュータが判断
 3. アクチュエータが作動
 フリーアイコン素材 icon-pit https://icon-pit.com/pictogram

Slide 8

Slide 8 text

8 ©2023 特定非営利活動法人みんなのコード 
 D(3)計測と制御のプログラミングによる問題の解決
 Loose Drawing https://loosedrawing.com/ 入力 出力 1. カメラで画像取得
 2. 画像認識AIが形状を判断
 3. コンピュータが判断
 4. アクチュエータが作動
 イラストAC https://www.ac-illust.com/

Slide 9

Slide 9 text

9 ©2023 特定非営利活動法人みんなのコード 
 枝豆選別機の概要


Slide 10

Slide 10 text

10 ©2023 特定非営利活動法人みんなのコード 
 ハードウェア


Slide 11

Slide 11 text

11 ©2023 特定非営利活動法人みんなのコード 
 枝豆選別機の概要
 ● Windows PC
 ● アーテックロボ2.0
 ● Webカメラ(USB接続)
 ● ベルトコンベア
 
 ※選別機は完成した状態で
 班ごとに配布


Slide 12

Slide 12 text

12 ©2023 特定非営利活動法人みんなのコード 
 アーテックロボ2.0
 ● 赤外線センサ×1
 ● サーボモータ×2
 ● DCモータ×1
 P1
 赤外線センサ
 To PC
 アーテックロボ2.0
 https://www.artec-kk.co.jp/artecrobo2/ja/


Slide 13

Slide 13 text

13 ©2023 特定非営利活動法人みんなのコード 
 Webカメラ
 ● ロジクール C270n をUSB接続
 ● ベルトコンベアの直上から枝豆を撮影
 ロジクール https://www.logicool.co.jp/ja-jp/products/webcams/hd-webcam-c270n.960-001265.html カメラからの映像


Slide 14

Slide 14 text

14 ©2023 特定非営利活動法人みんなのコード 
 基本的な動作原理
 1. 赤外線センサで通過を検知
 2. Webカメラで形状を判断
 3. 2粒の枝豆を弾く
 4. 3粒の枝豆を弾く
 ※2〜3粒の枝豆以外はベルトコンベアの 端 から落ちる


Slide 15

Slide 15 text

15 ©2023 特定非営利活動法人みんなのコード 
 ベルトコンベア (指導者が製作)
 ● 3DCAD(Shaper3D)で設計
 ● アーテックブロックと組み合わせて軸を作成
 ● フィラメントの消費量、出力時間に課題あり
 株式会社アーテック https://www.artec-kk.co.jp/artecrobo/ja/product/product_07.php

Slide 16

Slide 16 text

16 ©2023 特定非営利活動法人みんなのコード 
 ベルトコンベア (指導者が製作)
 ● 3Dプリントの部品を縮小
 ● 水道パイプの部品を流用
 ● ゴムシート(0.5mm厚)
 


Slide 17

Slide 17 text

17 ©2023 特定非営利活動法人みんなのコード 
 ベルトコンベア (指導者が製作)
 ● ゴムシートでベルトを作成
 ● 端をテープで固定
 


Slide 18

Slide 18 text

18 ©2023 特定非営利活動法人みんなのコード 
 アーム
 ● アーテックロボのサーボモータ
 ● アーテックブロックで腕を作成
 ● サーボモータの角度を制御
 ● 対象物をアームで弾き飛ばすしくみ


Slide 19

Slide 19 text

19 ©2023 特定非営利活動法人みんなのコード 
 ソフトウェア


Slide 20

Slide 20 text

20 ©2023 特定非営利活動法人みんなのコード 
 プログラミング環境(studuino:bit)
 ● 様々なOSに対応
 ● 今回はブラウザ版
 ● Scratchと同じ操作
 
 ※基本となるプログラムは こ ちらから提示


Slide 21

Slide 21 text

21 ©2023 特定非営利活動法人みんなのコード 
 画像認識AI(ML2Scratch)
 ● TensorFlow.jsを使った機械学習をScratchから簡単に 利用できる
 ● Scratchの拡張機能として用意されている
 ● Webカメラからの画像を識別させる
 ● 学習履歴をJSON形式のファイルで保存できる


Slide 22

Slide 22 text

22 ©2023 特定非営利活動法人みんなのコード 
 授業実践


Slide 23

Slide 23 text

23 ©2023 特定非営利活動法人みんなのコード 
 単元の目標
 (1) アクティビティ図を用いてシステムを構成する技能を身に付ける。また、画像認識プ ログラムを作成・実行することで、プログラムをデバッグする技能を身に付ける。
 (2) 画像認識させるための計測・制御システムを考え、解決策を構想し、制作図に表現 し、試作を通じて具現化することで、課題を解決する力を養う。
 (3) 栽培装置を制作する体験やAIを用いた自動選別機を導入した農家の話を聞くこと で、AIの意義や可能性を考える。


Slide 24

Slide 24 text

24 ©2023 特定非営利活動法人みんなのコード 
 指導計画(全6回)
 時数 学習活動 1 自動化の必要性を考える。また何を人間がやるべきかを考える。 2 機械学習を体験させる。 3 実際の社会からの 要求から,問題点を見いだし,課題を設定する。 また,条件を踏まえて課題の解決策を構想する。 4 構想した計測・制御システムを基に,実際に動作させながら適切なものへと制作する。 自動で枝豆を選別する学習モデルを作成する(機械学習をさせる)。 5 制作したプログラムの動作確認及びデバッグを行い,枝豆選別装置を制作する。 6 身近な不便さから,問題点を見いだし,課題を設定するまた,条件を踏まえて課題の解決策を 構想する。

Slide 25

Slide 25 text

25 ©2023 特定非営利活動法人みんなのコード 
 農家の方のインタビュー
 ● 自動化の必要性を考える
 
 https://youtu.be/FSZLF8YQc_E?si=iP5Wa_GtMaJngy0y

Slide 26

Slide 26 text

26 ©2023 特定非営利活動法人みんなのコード 
 機械学習の体験
 ● Teachable Machine
 https://teachablemachine.withgoogle.com/

Slide 27

Slide 27 text

27 ©2023 特定非営利活動法人みんなのコード 
 プログラミング①
 1の赤外線 センサ 1の赤外線 センサ

Slide 28

Slide 28 text

28 ©2023 特定非営利活動法人みんなのコード 
 プログラミング②
 2の判定 (ML2Scratch) 2の判定 (ML2Scratch)

Slide 29

Slide 29 text

29 ©2023 特定非営利活動法人みんなのコード 
 プログラミング③
 2粒を弾く サーボモータ 2粒を弾く サーボモータ 3粒を弾く サーボモータ 3粒を弾く サーボモータ

Slide 30

Slide 30 text

30 ©2023 特定非営利活動法人みんなのコード 
 画像認識AIの学習
 ● カメラの直下に枝豆を置く
 ● PCで撮影
 ● ML2Scratchで学習
 ● 分担して行っている
 ● 向きを変えるなど工夫している


Slide 31

Slide 31 text

31 ©2023 特定非営利活動法人みんなのコード 
 アームの形状変更
 ● アームの長さや向きを変更する
 ● ブロックを追加する生徒もあり


Slide 32

Slide 32 text

32 ©2023 特定非営利活動法人みんなのコード 
 結論と今後の課題


Slide 33

Slide 33 text

33 ©2023 特定非営利活動法人みんなのコード 
 結論について
 ● 画像認識AIを用いた分別作業を自動化するシステムを作れた
 ○ 分別したいものを学習させれば他に流用可能
 ● 社会でのAIの活用を模擬的に体験して学ぶことができた
 ● 正確さ、効率については検証できなかった
 ○ 正しく・効率よく識別させるために必要なもの、条件等の比較
 
 


Slide 34

Slide 34 text

34 ©2023 特定非営利活動法人みんなのコード 
 今後の課題
 ● 宮教大附属小ではTeachable Machineを用いた画像認識AIの学習を行ってい る。今後は...
 ○小学校で画像認識AIの基礎的な理解
 ○中学校で画像認識AIを用いた課題の解決
   といった学習を行うと、より深い理解が図れるのではないか。


Slide 35

Slide 35 text

35 ©2023 特定非営利活動法人みんなのコード 
 今後の課題
 ● センサを用いた計測について
 ○ 衝突を回避するための自動ブレーキのシステム
 ○ 赤外線センサなどで障害物との距離を計測
 
 イラストAC https://www.ac-illust.com/

Slide 36

Slide 36 text

36 ©2023 特定非営利活動法人みんなのコード 
 今後の課題
 ● 画像認識AIを用いた計測・制御について
 ○ 画像を認識してハンドルやブレーキを制御している
 
 東芝 https://www.toshiba-clip.com/detail/p=152 日産自動車 https://www.nissan-global.com/JP/INNOVATION/TECHNOLOGY/ARCHIVE/PPNL/ 標識を認識して減速 


Slide 37

Slide 37 text

37 ©2023 特定非営利活動法人みんなのコード 
 今後の課題
 ● 画像認識AIを用いた計測・制御について
 ○ 姿勢と目の様子から居眠り検知
 
 Automagi株式会社 https://prtimes.jp/main/html/rd/p/000000030.000012535.html

Slide 38

Slide 38 text

38 ©2023 特定非営利活動法人みんなのコード 
 FIN