小鴨城(Duckietown) 一個基於 Raspberry Pi 和 ROS 的開源無人小車專案介紹

by 台灣樹莓派

Slide 1

Slide 1 text

小鴨城 (Duckietown) 一個基於 Raspberry Pi 和 ROS 的開源無人小車專案介紹台灣樹莓派 2018/06/02 @PyCon2018

Slide 2

Slide 2 text

姓名標示 — 非商業性 — 相同方式分享 CC (Creative Commons) 姓名標示 — 你必須給予適當表彰、提供指向本授權條款的連結，以及指出（本作品的原始版本）是否已被變更。你可以任何合理方式為前述表彰，但不得以任何方式暗示授權人為你或你的使用方式背書。非商業性 — 你不得將本素材進行商業目的之使用。相同方式分享 — 若你重混、轉換本素材，或依本素材建立新素材，你必須依本素材的授權條款來散布你的貢獻物。

Slide 3

Slide 3 text

3 ● Raspberry Pi 官方經銷商 ● 專注 Raspberry Pi 應用與推廣 , 舉辦社群活動關於我們

Slide 4

Slide 4 text

4 ● 什麼是 Duckietown? ● 所需硬體和環境 ● 使用電腦視覺作為自駕車的輸入 ● 用機率計算車道相對估計與控制 ● 學習資源 ● DEMO 本次主題

Slide 5

Slide 5 text

5 什麼是 Duckietown?

Slide 6

Slide 6 text

Duckietown Project - From MIT http://duckietown.org/

Slide 7

Slide 7 text

一個開源的電腦視覺自駕車學習專案 http://duckietown.mit.edu/materials.html

Slide 8

Slide 8 text

● 2016 麻省理工大學 > Duckietown class ● 2016 國立交通大學 > Autonomous Vehicle ● 2017 蘇黎世聯邦理工學院 > Autonomous Mobility on Demand History http://bit.ly/2L8P53a

Slide 9

Slide 9 text

誰在用 Duckietown 專案？ http://duckietown.nctu.edu.tw/rc_tutorial.html

Slide 10

Slide 10 text

● 感測器校正 , 設定與感知 ● 計算機視覺 ● 物體辨識 ● 非線性估計 ● 全域定位 ● 分散式協調我們可從專案中學到

Slide 11

Slide 11 text

● 架設 Duckiebot 平台和 Duckietown 環境 ● 機器人體系 (ROS) 建立 ● 功能模組的實現與擴充 ● 單系統機器人車道跟隨 (lane following) ● 單系統機器人定位 (localization), 規劃 (planning) 和導航 (navigation) ● 多系統機器人交換訊息和協調 ● 系統層級的資源管理並實際操作

Slide 12

Slide 12 text

12 所需硬體和環境

Slide 13

Slide 13 text

小鴨車 + 小鴨城 http://duckietown.nctu.edu.tw/materials/paull-2017-icra-duckietown.pdf Duckietown Duckiebot

Slide 14

Slide 14 text

Duckiebot 所需零件雙層小車 Duckie! 杜邦線螺絲包 USB 轉 TTL 魚眼相機 2.4GHz 搖桿 Pi 3B 馬達驅動板電源線專用鋰電池 32G SD 卡

Slide 15

Slide 15 text

Duckietown 環境建立 http://goo.gl/KTMpuu

Slide 16

Slide 16 text

道路定義與信號定義 http://duckietown.nctu.edu.tw/materials/paull-2017-icra-duckietown.pdf

Slide 17

Slide 17 text

Duckiebot 系統堆疊

Slide 18

Slide 18 text

● 信用卡大小般的電腦 Raspberry Pi 是什麼 ? http://www.flickr.com/photos/fotero/7697063016/

Slide 19

Slide 19 text

Raspberry Pi3 硬體規格與特色 http://goo.gl/pXRxJd 內建 WiFi 和 BT 可接相機模組 GPIO 控制腳位

Slide 20

Slide 20 text

20 支援超過 40 種 OS http://en.wikipedia.org/wiki/Raspberry_Pi

Slide 21

Slide 21 text

一個機器人需要多少感測器？ http://site.robotclub.com.my/main/3150/index.asp?pageid=71406

Slide 22

Slide 22 text

測距、加 ( 角 ) 速度、電子羅盤、陀螺儀等 http://site.robotclub.com.my/main/3150/index.asp?pageid=71406

Slide 23

Slide 23 text

● 專為機器人軟體開發所設計的系統架構 ● ROS= 訊息管道 + 組態工具 + 機器人功能 + 生態系統 ● Python, C++, Lisp ROS https://answers.ros.org/question/12230/what-is-ros-exactly-middleware-framework-operating-system/

Slide 24

Slide 24 text

● 提供基礎資料型別和各類矩陣運算函式 ● 多種科學計算模組 , 例如線性代數 , 微積分 , 濾波等 ● 可引用豐富的電腦視覺函式庫 ● 互動式的編輯環境 ● 深度學習套件 Python

Slide 25

Slide 25 text

● 跨平台的電腦視覺函式庫 , 主要由 C/C++ 撰寫 OpenCV http://www.embedded-vision.com/technology/computer-vision-algorithms

Slide 26

Slide 26 text

組裝完成的 Duckiebot 要上路啦 http://goo.gl/KTMpuu

Slide 27

Slide 27 text

DuckieBot 看到什麼？

Slide 28

Slide 28 text

http://goo.gl/KTMpuu

Slide 29

Slide 29 text

車道跟隨流程 (Lane Following Pipeline) http://duckietown.nctu.edu.tw/materials/paull-2017-icra-duckietown.pdf

Slide 30

Slide 30 text

亮度補償 (Illumination Compensation) http://duckietown.nctu.edu.tw/materials/paull-2017-icra-duckietown.pdf

Slide 31

Slide 31 text

直線偵測 (Line Detection) http://duckietown.nctu.edu.tw/materials/paull-2017-icra-duckietown.pdf

Slide 32

Slide 32 text

圖像到路的映射轉換 (Ground Projection) http://duckietown.nctu.edu.tw/materials/paull-2017-icra-duckietown.pdf

Slide 33

Slide 33 text

車道相對估計 (Lane-Relative Estimation) http://duckietown.nctu.edu.tw/materials/paull-2017-icra-duckietown.pdf

Slide 34

Slide 34 text

車道控制 (Lane Controller) http://duckietown.nctu.edu.tw/materials/paull-2017-icra-duckietown.pdf

Slide 35

Slide 35 text

35 更多進階功能

Slide 36

Slide 36 text

導航 (Navigation) http://duckietown.nctu.edu.tw/materials/paull-2017-icra-duckietown.pdf

Slide 37

Slide 37 text

地圖與信號 (Map and Signs) http://duckietown.nctu.edu.tw/materials/paull-2017-icra-duckietown.pdf AprilTag

Slide 38

Slide 38 text

有限狀態機 (Finite State Machine ) http://duckietown.nctu.edu.tw/materials/paull-2017-icra-duckietown.pdf

Slide 39

Slide 39 text

多機器人協同 ( Multi-robot Behaviors) http://duckietown.nctu.edu.tw/materials/paull-2017-icra-duckietown.pdf

Slide 40

Slide 40 text

40 學習資源

Slide 41

Slide 41 text

● 使用 Pi 2 + ROS indigo + Virtualbox MIT 2.166 Duckietown https://duckietown.mit.edu/materials.html

Slide 42

Slide 42 text

● 使用 Pi 3 + Ubuntu Mate + ROS Kinetic Duckiebook http://book.duckietown.org/master/duckiebook/index.html

Slide 43

Slide 43 text

Duckietown 交大分支 https://duckietown-nctu.github.io/

Slide 44

Slide 44 text

交大軟體創意專題 http://ocw.nctu.edu.tw/course_detail-c.php?bgid=8&gid=0&nid=557&pid=887

Slide 45

Slide 45 text

● Fork from MIT duckietown ● Pi 2/ Pi 3 + Ubuntu Mate + ROS Kinetic ● 使用 L298N 馬達驅動板 Duckietown Bunny https://www.duckietown-bunny.com/

Slide 46

Slide 46 text

Duckietown Logs Database http://ipfs.duckietown.org:8080/ipfs/QmVMp86nmsuBH3mPvuej6xPfhuuHdwVQtQ3S6aHJMHumFa/

Slide 47

Slide 47 text

延伸專案 : Puyuma Linux real-time extensions https://github.com/Puyuma/puyuma-core/blob/master/README.md

Slide 48

Slide 48 text

● Jeffrey Liu ● Jessica Wu ● YuehChuan "Johnson" Chang ● Nick Wang 感謝