Phương pháp sử dụng AR để nắm bắt từ công nghệ và ý nghĩa(dotFes2018 VIETNAM Da Nang)

This is a presentation sheet on dotFes2018VIETNAM Da Nang.
https://www.dotfes.jp/2018vietnam/schedule_detail.html#detail_s3

Những Frame work có thể thực hiện AR một cách đơn giản như ARKit của iOS, ARCore của Android tăng lên,các ví dụ sử dụng kỹ thuật AR cũng đã tăng lên.
Trong phiên này, sẽ xem xét cách sử dụng AR bằng cách hiểu AR từ cả hai khía cạnh của công nghệ và ý nghĩa.

Links
・る https://r-u.co.jp/
・@024t910 https://twitter.com/024t910

・ARKit Examples https://arkit.r-u.co.jp/
・[Example 1]Suikawari https://arkit.r-u.co.jp/entertainment.html
・[Example 2]Runner https://arkit.r-u.co.jp/sport.html
・[Example 3]AR Cleaner https://arkit.r-u.co.jp/utility.html

・[Example 1 "Body-Measuring"] https://arkit.r-u.co.jp/measuring.html
・[Example 2 "Control Robot"] https://arkit.r-u.co.jp/robotics.html
・[Example 3 "Avatar-System"] https://r-u.co.jp/?page=anicon
・[Example 4 "Hologram"] https://www.youtube.com/watch?v=F6dbYRRzjio

・AR Quick Look Gallery https://developer.apple.com/jp/arkit/gallery/

Transcript

1. Nắm bắt ý nghĩa và kỹ thuật Phương pháp sử dụng AR Công ty cổ phần Ru Takuto Onishi 2018.09.09 @ dotFes 2018 VIETNAM DaNang
2. Tự giới thiệu bản thân
3. Công ty cổ phần Ru Takuto Onishi
 (Đại diện phụ trách công ty cổ phần Ru). Contents Planner / Technical Director. Application, Web, Digital Installation,
 Product Prototyping etc… Twitter @024t910
4. WORKS Xin quý khách vui lòng truy cập vào URL bên dưới để biết thêm thông tin chi tiết: 
 https://r-u.co.jp/
5. 4VZ
   OHIⓄ
   Wề
   "3
6. Vậy AR là gì? Augmented Reality - Hiện thực được phóng đại -
7. Lịch sử của AR 1965 1993 1994 1999 2007 2008 2009 2011 Ultimate Display
 (Ivan Sutherland) KARMA
 (Columbia Univ.) NaviCam
 ( J. Rekimoto and K. Nagao) FLARToolKit
 (@saqoosh) iPhone
 (Apple) Sekai Camera
 (Tonchidot) Vuforia
 (PTC) 2017 ARKit
 (Apple) ARCore
 (Google) 2014 Tango
 (Google) 2016 Hololens
 (Microsoft) 2018 Magic Leap One
 (Magic Leap) AR Quick Look WebXR
 (Mozilla) Kinect
 (Microsoft) iPhone X ARToolKit
 (Kato, H., Billinghurst, M.) NyARToolKit NyARToolKit
 (@nyatla) Information Overlay Marker Based AR AR for WEB AR Library SmartPhone Geolocation (GPS + commpass) Mobile AR
 Library IR Tracking AR Infrastructure Native AR Library Pokemon GO
 (Niantic)
8. Những hình thức tương tự VR MR XR Virtual Reality Mixed Reality Extended Reality
9. VR MR XR Virtual Reality Mixed Reality Extended Reality Ở
   UIờJ
   㶟JểN
   OÁZ AR đang là công cụ được Output thông tin sử dụng hiện tại bằng kỹ thuật kỹ thuật số.
10. Thiết kế trải nghiệm AR
11. :ếV
    Uố
    RVBO
    USọOH
    OIấU
    LIJ
    TVZ
    OHIⓄ
    Wề
    Lế
    IPạDI
    "3 kỹ thuật position tracking hướng dẫn quan hệ vị trí với hiện thực và user người dung. Kỹ thuật xuất CG lên màn hình AR
12. Nhờ sự tiến bộ của tốc độ và kỹ thuật nên giới hạn vị trí của user người dùng đã được xóa bỏ. 1965 1993 1994 1999 2007 2008 2009 2011 Ultimate Display
 (Ivan Sutherland) KARMA
 (Columbia Univ.) NaviCam
 ( J. Rekimoto and K. Nagao) FLARToolKit
 (@saqoosh) iPhone
 (Apple) ηΧΠΧϝϥ
 (Tonchidot) Vuforia
 (PTC) 2017 ARKit
 (Apple) ARCore
 (Google) 2014 Tango
 (Google) 2016 Hololens
 (Microsoft) 2018 Magic Leap One
 (Magic Leap) AR Quick Look WebXR
 (Mozilla) Kinect
 (Microsoft) iPhone X ARToolKit
 (Kato, H., Billinghurst, M.) NyARToolKit NyARToolKit
 (@nyatla) Information Overlay Marker Based AR AR for WEB AR Library Geolocation (GPS + commpass) Mobile AR
 Library IR Tracking AR Infrastructure Native AR Library Pokemon GO
 (Niantic) SmartPhone
13. Sự biến đổi quan hệ vị trí Cố định display (hiển thị):
 User (người dùng) và marker (vật ghi hình) hoạt động cùng nhau. Cố định vật ghi hình: User (người dùng) và display (hiển thị) hoạt động cùng nhau Không có marker (vật ghi hình):
 User (người dùng) và marker (vật ghi hình) hoạt động tự do cùng nhau. Không có marker (vật ghi hình):
 user (người dùng) và marker (vật ghi hình) hoạt động tự do riêng biệt.
14. Thiết kế thể nghiệm hoạt động thân thể ? sự kiện hướng đến display (hiển thị) phóng đại những sự việc
 đang diễn ra trong thực tế Từ “sự kiện hướng đến display (hiển thị)” 
 thì việc lưu tâm đến đặc tính của position tracking (hiệu chỉnh vị trí)
 trong “phóng đại những sự việc đang diễn ra trong thực tế” là cực kỳ quan trọng. 
 AR Effect
15. Our Examples https://arkit.r-u.co.jp/
16. Example 1 https://arkit.r-u.co.jp/entertainment.html
17. Example 2 https://arkit.r-u.co.jp/sport.html
18. Example 3 https://arkit.r-u.co.jp/utility.html
19. .ấV
    DIốU
    DủB
    UIJếU
    Lế
    UIể
    OHIJệN Sự việc căn cứ trên hành động của người dùng trên thực tế. 
 
 
 Kéo dài thực tại của bản thân. ? Kéo dài thực tại của bản thân. 
 User Action 
 AR Effect Trả lại phản ứng ngược (reaction) với hình ảnh bản thân user (người dùng) ở quá khứ.
20. Mấu chốt của thiết kế trải nghiệm ? 
 User Action 
 AR Effect Không phải là xuất ra cái gì mà mang đến trải nghiệm như thế nào mới quan trọng! 
 AR Effect
21. Để sản sinh ra cảm giác tốt thì hãy để ngón tay bạn trên máy ảnh! Example 1
22. Để cảm nhận thực tế tốc độ bước chạy thì người dùng vừa chạy vừa sử dụng nội dung! Example 2
23. Example 3 Để biết được vị trí hiện đã dọn dẹp thì hãy hiệu chỉnh vị trí đã dọn dẹp trong thực tế.
24. Tương lai của AR
25. Đặc trưng của kỹ thuật AR hiện tại Nhận thức vị trí đối tượng sàn nhà tường Camera
26. Ngoài những nhận thức nói trên
 thì tự bản thân mình phải tự làm! Thiết bị có thể sử dụng ở đó là thiết bị nhận thức đối tượng và thiết bị cảm ứng vật lý.
27. Công nghệ làm phát triển hơn kỹ thuật AR ʜ ʜ OpenCV dlib YOLO CoreML MLKIt OpenPose ʜ VR Tracker Sensor Module ʜ FaceTracking
 GPS
 Compass Acceleration
 Gyro
 Microphone ʜ Nhận thức hình ảnh Khám phá hình ảnh Thiết bị cảm ứng vật lý 4NBS1IPOF 0O
    %FWJDF
    4FOTPS LiDAR
28. Example 1 “Body Measuring” ARKit OpenCV + 3DWorld Scale / Screen Pixel Scale
 = Target Scale Per Pixel FieldOfView Angle
 for iOS Camera Distance from Target Floor https://arkit.r-u.co.jp/measuring.html
29. Example 2 “Control Robot” ARKit konashi + + Roomba Send Tracking Data Control Motor Through a Serial Port https://arkit.r-u.co.jp/robotics.html
30. Example 3 “Avatar System” ARKit FaceTracking Motion Sensor Controller + + "OJ$PO ˜
    
    8POEFSMFBHVF
    *OD 
 6OJUZ$IBO ˜
    6OJUZ
    5FDIOPMPHJFT
    +BQBO6$- https://r-u.co.jp/?page=anicon
31. Example 4 “Hologram” VIVE Tracker Micro Projector + "TTPDJBUF
    $PNQPOZ
    
    ,PLZP
    *OD https://www.youtube.com/watch?v=F6dbYRRzjio
32. )ơO
    OữB
    UươOH
    MBJ
    DủB
    "3
    Display Handheld-Display
 (Smart Phone) Wearable
 (Glasses / Goggles) Retinal
 Projection Thiết bị ngăn bức xạ mặt trời Kính mắt display Hiển thị display
33. Giá cả interaction giảm xuống Không cần những hành vi như giương tay nắm bắt hay xóa bỏ thì chúng ta vẫn có thể nhận được thông tin.
34. Biến đổi của vật chứa thông tin AR Việc nhận thức hướng về đâu trở thành nhân tố hiệu chỉnh vị trí quan trọng. Vật chứa hình ảnh của máy ảnh cố định.
 Vật chứa những hướng máy ảnh.
 Vật chứa những thứ hướng về thị tuyến.
35. .ộU
    UIế
    HJớJ
    MÁN
    HJB
    U㶙OH
    USảJ
    OHIJệN
    WÁ
    UIÔOH
    UJO
    DIỉ
    CằOH
    DÂDI
    OIÌO
36. "QQFOEJY
37. ARCore thực tế là đối ứng với IOS. Nếu chỉ với chức năng chia sẻ thì chúng tôi khuyên dùng sử dụng ARCore+Unity. ARKit ARCore or ?
38. ARKit ARCore Object Detection 
 FaceTracking Support Android Plane Detection(Horizontal & Vertical) Position Tracking Share World Tracking DataɾMulti User
 (ARWorldMap / Cloud Anchors) Image Tracking (Image Marker AR) Lighting Estimation
39. "3
    2VJDL
    -PPL
    (BMMFSZ https://developer.apple.com/jp/arkit/gallery/
40. Reference source • Page6.
 ɾFile:Augmented-reality.jpg - Wikimedia Commons https://commons.wikimedia.org/wiki/File:Augmented-reality.jpg
 Description:Монгол: Augmented Reality Технологийг IKEA брэнд үйл ажиллагаандаа ашиглаж байна
 Date:20 March 2016 Source:Own work Author:OyundariZorigtbaatar • Page7.
 ɾ֦ுݱ࣮ײٕज़ͷকདྷల๬(2012 ྐྵຊ७Ұ)
 ɾThe Sword of Damocles - Head Mount Display(1964, Ivan Sutherland)
 ɾKARMA(1993, Columbia University Computer Graphics and User Interfaces Lab Steven Feiner, Blair MacIntyre, Dorée Seligmann)
 https://graphics.cs.columbia.edu/projects/karma/karma.html
 ɾ"The World through the Computer:Computer Augmented Interaction with Real World Environments”,Proceedings of UIST’95(1995 J. Rekimoto and K. Nagaoʣ
 ɾʮ߈֪ػಈୂʯʮి೴ίΠϧʯͷੈքΛ࣮ݱʂ - ARToolKitΛ࢖֦ͬͨுݱ࣮ײϓϩάϥϛϯάʢ2007 ޻ֶφϏ ڮຊ ௚) http://kougaku-navi.net/ARToolKit/
 ɾ͍·ɺΈ͓͖͍ͯͨ΢ΣϒαΠτ ୈ2ճ(2009 gihyo.jp - Lançamento ) http://gihyo.jp/design/serial/01/website-pickup/0002
 ɾiPhone (Original)(2015 iMore) https://www.imore.com/iphone-2g
 ɾηΧΠΧϝϥऴྃͷ͓஌Βͤ……։ൃݩɾ಴ஐυοτʮ໨ࢦͨ͠ࢥ૝͸ఘΊ͍ͯͳ͍(2013 TechCrunch Japan) https://jp.techcrunch.com/2013/12/17/the_end_of_sekai/
 ɾXbox & Kinect - Stories https://news.microsoft.com/presskits/xbox/
 ɾGoogle expands Project Tango tablet sales to more countries(2015 ZDNet) https://www.zdnet.com/article/google-expands-project-tango-tablet-sales-to-more-countries/
 ɾMicrosoft Hololens https://www.microsoft.com/en-us/hololens
 ɾMagic Leap One: Creator Edition https://www.magicleap.com/magic-leap-one
 ɾWebXR Viewer on iOS App Store(Mozilla) https://itunes.apple.com/us/app/webxr-viewer/id1295998056?mt=8
 ɾAR Quick Look brings augmented reality to Safari in iOS 12 (2018 apple insider ) https://appleinsider.com/articles/18/07/13/ar-quick-look-brings-augmented-reality-to-safari-in-ios-12
 ɾʰPokémon GOʱͷ༡ͼํ(2017 Niantic) https://www.pokemongo.jp/howto/play/
 ɾiPhone X - Appleʢ೔ຊʣhttps://www.apple.com/jp/iphone-x/
41. Reference source • Page8.
 ɾͦ͜ʹ੢ӝ͸͋Δͷ͔͍ʢ2017 ෌Ӭܟͱ૿ా༤ଠͱେ੢୓ਓʣhttps://www.youtube.com/watch?v=d5w8pYwOBoU
 ɾMicrosoft Hololens https://www.microsoft.com/en-us/hololens
 ɾMinority Report made today's technology possible, says production designer Alex McDowell (2015 dezeen) https://www.dezeen.com/2015/11/06/minority-report-sci-fi-movie- steven-spielberg-future-of-technology-predictions-possible-production-designer-alex-mcdowell/ • Page11
 ɾFile:Augmented-reality.jpg - Wikimedia Commons https://commons.wikimedia.org/wiki/File:Augmented-reality.jpg
 Description:Монгол: Augmented Reality Технологийг IKEA брэнд үйл ажиллагаандаа ашиглаж байна
 Date:20 March 2016 Source:Own work Author:OyundariZorigtbaatar
 ɾAppleɺARKit 2Λൃද - Apple (೔ຊ) https://www.apple.com/jp/newsroom/2018/06/apple-unveils-arkit-2/ • Page25.
 ɾScanning and Detecting 3D Objects | Apple Developer Documentation https://developer.apple.com/documentation/arkit/scanning_and_detecting_3d_objects?language=objc
 ɾARKit By Example — Part 2: Plane Detection + Visualization https://blog.markdaws.net/arkit-by-example-part-2-plane-detection-visualization-10f05876d53
 ɾPart 1: ARKit Wall and Plane Detection for iOS 11.3 | Collective Idea https://collectiveidea.com/blog/archives/2018/04/30/part-1-arkit-wall-and-plane-detection-for-ios-11.3
42. Reference source • Page26.
 ɾVIVE Tracker https://www.vive.com/jp/vive-tracker/
 ɾCMU-Perceptual-Computing-Lab/openpose: OpenPose: Real-time multi-person keypoint detection library for body, face, and hands estimation https://github.com/CMU-Perceptual-Computing-Lab/ openpose
 ɾYOLO: Real-Time Object Detection https://pjreddie.com/darknet/yolo/
 ɾML Kit | Google Developers https://developers.google.com/ml-kit/
 ɾdlib C++ Library http://dlib.net/
 ɾOpenCV library https://opencv.org/
 ɾ௒Ի೾ڑ཭ηϯαʔɹ̝̘ʵ̨̧̌̐: ηϯαҰൠ ळ݄ిࢠ௨঎-ిࢠ෦඼ɾωοτ௨ൢɹhttp://akizukidenshi.com/catalog/g/gM-11009/
 ɾXbox & Kinect - Stories https://news.microsoft.com/presskits/xbox/
 ɾiPhone X - Appleʢ೔ຊʣhttps://www.apple.com/jp/iphone-x/
 ɾଌҬηϯα σʔλग़ྗλΠϓ/UST-10/20LX ঎඼ৄࡉ | ๺ཅిػגࣜձࣾhttps://www.hokuyo-aut.co.jp/search/single.php?serial=16 • Page29
 ɾ800γϦʔζʛϩϘοτ૟আػ ϧϯό | ΞΠϩϘοτެࣜαΠτ https://www.irobot-jp.com/product/800series/index.html
 ɾkonashi - A physical computing toolkit for iPhone, iPod touch and iPad http://konashi.ux-xu.com/ • Page30.
 ɾWonderleague corp. http://www.wonderleague.co.jp/ • Pge31.
 ɾVIVE Tracker https://www.vive.com/jp/vive-tracker/
 ɾPicoPro – Celluon Inc. https://www.celluon.com/picopro-3/