子ども向けプログラミング体験教室でのHololens2利用事例 / IoTLT#97

https://iotlt.connpass.com/event/276206/
#iotlt

Transcript

1. #iotlt
   ⼦
   ど
   も向け
   プ
   ロ
   グ
   ラミン
   グ
   体験教室
   で
   の
   Hololens2利⽤事例
   山川広人　（@gishi_yama）
   1
   

   View Slide

2. #iotlt
   公立千歳科学技術大学　情報システム工学科 専任講師
   

   R&D： Experimental Development of ICT Services, Learning Technology,
   

   Computer in Education, Programming & Programmer's Education
   Hiroto YAMAKAWA
   2
   千歳市バスロケーションシステムの開発(2016-2022) 適応型学習支援システムの開発、活用 レポート内の話しことば診断システムの開発
   大学・小学校・地域でのプログラミング教育の実践（最近は学生と設計にこだわったりモブワークで挑戦するのが楽しい）
   

   View Slide

3. #iotlt
   800キロ先の現地会場からしか
   
   
   得られない栄養がある 👍
   今⽇も このためだけに 北海道から来ました
   3
   を担当させていただいています
   

   

   最近開催できてなくて申し訳ないです... 🙇
   
   
   現地の栄養をいただいてリスタートします！
   https://www.benricho.org/map_DistanceArea-measure より
   

   View Slide

4. #iotlt
   研究の⼀⾯で、⼦どもたちのプログラミング教育に関わっています
   4
   小学校向けなどに、Micro:bitやロボットトイ、スマートスピーカーをプログラミングする
   出前授業をやっています
   

   View Slide

5. #iotlt
   はじめに：Hololensって⾯⽩い（MS Mesh Appを使ってみるだけでも可能性を感じる）
   5
   一台だけよりも、
   

   複数台で複合現実の中でコラボや
   

   コミュニケーションするとなお面白い
   

   View Slide

6. #iotlt
   ⼤学でも、どんなことができるか⾊々学⽣とやってみている
   6
   https://github.com/u8-zawa/HoloLens2Iot
   

   View Slide

7. #iotlt
   ⼤学でも、どんなことができるか⾊々学⽣とやってみている
   7
   ※学生が卒論で開発中のものです
   豊崎駿佑 ら(2023). MRを用いたネットワーク学習教材の開発, 教育システム情報学会2022年度学生研究発表会（北海道地区）. A04
   

   https://www.jsise.org/wp-content/uploads/2023/01/2022_hokkaido_a04.pdf
   

   View Slide

8. #iotlt
   複合現実自体の体験や、複合現実の特性を使った教材や教育支援ツールを作る、はもちろん...
   
   
   

   

   

   発展的な内容として 子ども達が作り手として複合現実に関わるプログラミングをする 体験的な学びの
   

   方向性も考えたい
   
   
   初等教育で学ぶ範囲の知識や考え方・ツールに限ったプログラミング x 複合現実（Hololens） は可能か？
   

   かつ「作った」だけではなく、それが問題解決や社会に役立つにつながる様な可能性もみせたい...
   特に⼦ども達向けの教育活⽤を考えると...
   8
   画像引用, https://blog.hololab.co.jp/entry/2020/07/21/164944,
   

   　　　　　　　https://vrscout.com/news/schoolchildren-microsoft-hololens-education/
   

   https://www.feel-physics.jp/
   

   View Slide

9. #iotlt
   初等教育で学ぶ段階のプログラミング x Hololensの案
   9
   CodeBlocks
   

   （小中学生であってもプログラミングしやすい
   

   　知識・考え方・ツール）で３Dモデルが作れる
   .glb
   export
   upload
   

   （OneDrive経由,
   

   直接Hololensへ取り込みなど）
   Microsoft
   

   Mesh App Preview
   

   などで配置・コラボレーション
   

   View Slide

10. #iotlt
    体験手順（90分）
    
    
    1. サンプル（雪だるま）の3Dモデルを
    TinkercadのCodeblocksで作成（30分）
    

    ⇒3Dモデルのプログラム方法の体験・学習
    
    
    2. 3DモデルをHololens2に取り込み、
    

    現実世界にかさねあわせて配置（15分）
    

    ⇒複合現実の体験
    

    重力や現実世界との当たり判定などは今回は無し
    

    今後、アリにできるともっと発展できて面白そう
    
    
    3. 子どもオリジナルの3Dモデルの作成・配置
    

    （45分）
    

    ⇒コラボレーションや
    

    　コミュニケーションなどへの発展
    

    他者の3Dモデルとのコラボ
    

    　作品として大人に見てもらうなど
    ⼦ども達への体験会として試⾏ (2023/3/18 ⼩学校⾼学年2⼈、低学年1⼈）
    10
    ※ 学齢が低い場合はCodeblocksでの作成にこだわらず、
    

    　 　通常の3Dデザインで作成し、複合現実の体験を重視
    

    ※ 13歳未満の場合には、エンターテインメントXR協会の
    

    　　　「VRコンテンツのご利用年齢に関するガイドライン」を遵守、
    

    保護者に了解（署名）も得る
    

    　　　https://exra.or.jp/pdf/guidelines.pdf
    

    View Slide

11. #iotlt
    Tinkercad, Codeblocksでの雪だるまプログラム例
    11
    14ステップぐらいの
    

    プログラム
    
    
    サポート役の大学生が
    

    小学校4,5年生レベルで、
    

    横について、
    

    20-30分程度で完成
    
    
    球・円柱・円錐の配置、
    

    移動・回転、カラーなど
    

    基本的な動作は網羅
    
    
    作った後に改良したり、
    

    オリジナルな
    

    3Dモデルに挑戦
    

    View Slide

12. #iotlt
    コラボレーションの例（兄が作った花畑、妹が作った滑り台）
    12
    

    View Slide

13. #iotlt
    1. Mesh Appに2月下旬ごろからログイン・接続できない...
    

    　Preview版はサポート終了との情報(2023/3/20)
    
    
    　急遽、3D Viewer での体験内容へ変更
    

    　※他者とのコラボレーションの方法をちょっと変えた
    

    　　複数台のHololensによる同時のコラボレーション
    

    　　ではなく、1台のHololensを交代交代で使う形へ...
    トラブル
    13
    画像引用：　https://learn.microsoft.com/en-us/answers/questions/1183220/mesh-app-not-working
    当初予定（Mesh App Preview)
    

    同時に3Dモデルを配置・操作・閲覧
    試行時（3D Viewer)
    

    Hololensを交代交代に配置・操作・閲覧
    

    View Slide

14. #iotlt
    2. 3Dビューアーで子どもが作成した3Dモデルが読み込めない...
    
    
    　通常の3Dデザインで作成されたglbファイルで発生
    

    　その後、Codeblocksのものでも発生を確認
    
    
    　⇒ Triangles count が10,000を超えていた
    
    
    　⇒ .glbファイルのTriangles countを調べて
    

    　　 10,000を超えていれば3Dモデルを少し削るなどする
    

    　　
    
    
    トラブル
    14
    画像引用：　https://learn.microsoft.com/en-us/windows/mixed-reality/
    

    distribute/creating-3d-models-for-use-in-the-windows-mixed-reality-home
    

    https://gltf-viewer.donmccurdy.com/
    

    View Slide

15. #iotlt
    初等教育で学ぶ範囲の知識や考え方・ツールに限った形で3Dモデルをプログラミングし、
    

    それを利用して複合現実（Hololens2）を体験できるシナリオを試作・試行した
    
    
    試行の被験者となってくれた児童は3人、ちゃんとした評価や改善、発展はこれからだが...
    

    　⇒どの児童もプログラミングや複合現実をとても楽しんでくれた
    
    
    　⇒小学校高学年の児童であれば、自分の作りたい3Dモデルのプログラミングも苦労しない
    

    　　（ただし、今回の被験者はもともとプログラミングに興味があって得意であるとは思う）
    
    
    　⇒今日は紹介しきれなかったが、
    

    　　現実世界の何かと3Dモデルを重ね合わせられる体験が特に楽しそう
    
    
    　⇒Hololensで複数人のコラボレーションもできたが、
    

    　　アプリや3Dモデルの読み込み方に課題アリ...（専用のアプリを作った方が良いかも？）
    おわりに
    15
    

    View Slide