AndroidでARの夢を再び 〜ARCoreの導入から応用まで

AndroidにAR体験をもたらすARCoreはGoogle I/O 2018で1.2がリリースされて対応端末の数と機能が増えました。このセッションでは新機能の解説と、ARCoreを使ってどのように現実を拡張することができるのか、JavaでSceneformを使った場合とUnityを使った場合のそれぞれで実際にコードを見ながら、サンプルを越えたその一歩先に進むための話として構成しました。

Transcript

1. "OESPJEͰ"3ͷເΛ࠶ͼ
   ʙ"3$PSFͷಋೖ͔ΒԠ༻·Ͱ 
   גࣜձࣾΧϒΫ
   ߴڮݑҰ
2. @ken1_taka ktaka גࣜձࣾΧϒΫ
   
   ιϑτ΢ΣΞΤϯδχΞ ߴڮݑҰ w ܞଳ޲͚%άϥϑΟΫεΤϯδϯ΍ɺੲ͋ͬ ͨ๭"3ΞϓϦͷ։ൃʹܞΘΔ
   w ݱࡏ͸ΧϒΫͰ%άϥϑΟΫεͷϨϯμϦϯ ά͓ΑͼղੳΤϯδϯͷ࣮૷Λ୲౰
   w ݸਓత׆ಈͱͯ͠"373ͷ࣮ݧΛ͢Δ๣Β຋ ༁ຊΛग़ͨ͠Γɺٕज़ܥࡶࢽ΁ͷղઆهࣄΛد ߘ͢ΔͳͲ͍ͯ͠Δ
3. 73"3ຊͷ຋༁ Daydreamの章を追加 TangoとARKitの章を追加
4. ࠓ೔ͷ಺༰ w "3$PSFʹ͍͓ͭͯ͞Β͍
   w جຊػೳ
   w "3$PSF
   ͷ৽ػೳ
   w ։ൃํ๏
   w +BWB
   4DFOFGPSN
   w 6OJUZ
5. "3$PSFʹ͍͓ͭͯ͞Β͍
6. "3$PSFͱ͸ w "OESPJEͰ"3ΞϓϦΛ࣮ݱ͢ΔͨΊͷ(PPHMF७ਖ਼ϥΠϒϥϦ
   w "OESPJE
   εέʔϧͰ޿͘ීٴΛ໨ࢦ͢
7. "3$PSFͷجຊػೳ
8. 
   .PUJPO
   USBDLJOH
   ʢϞʔγϣϯτϥοΩϯάʣ IUUQTEFWFMPQFSTHPPHMFDPNBSEJTDPWFSDPODFQUT
   
   $$
   #:
   
9. ϞʔγϣϯτϥοΩϯά w "3$PSF΍"3,JUΛ࢖͑ΔΑ͏ ʹͳͬͯҰ൪خ͍͠ͷ͸ʜ͜ Μͳ෩ʹճΓࠐΊΔ͜ͱ
10. 
    &OWJSPONFOUBM
    VOEFSTUBOEJOHʢ؀ڥೝࣝʣ IUUQTEFWFMPQFSTHPPHMFDPNBSEJTDPWFSDPODFQUT
    
    $$
    #:
    
11. ฏ໘ͷݕग़ w ਫฏͱਨ௚ͷฏ໘Λೝࣝ
    w ͔Βਨ௚໘΋Մೳʹ
12. 0SJFOUFE
    1PJOUT
    ʢํ޲Λ͍࣋ͬͯΔ఺ʣ w ฏ໘ͱͯ͠ݕग़Ͱ͖Δͷ͸ਫ ฏ͓Αͼਨ௚ͷ໘
    w ͨͩ͠ɺಛ௃఺ͱͯ͠ݕग़͠ ͨ఺ͷํ޲Λऔಘ͢Δ͜ͱ͸ Ͱ͖Δ
    w ಛ௃఺͕ີू͍ͯ͠ΔΑ͏ͳ ৔ॴͩͱݕग़͠΍͍͢ʣ
13. 
    -JHIU
    FTUJNBUJPOʢޫݯਪఆʣ IUUQTEFWFMPQFSTHPPHMFDPNBSEJTDPWFSDPODFQUT
    
    $$
    #:
    
14. ޫݯਪఆ w पғͷ໌Δ͞ͷมԽ͔Βޫ ͷڧ͞Λਪఆ
    w ޫͷ౰ͨΔํ޲͸औಘͰ͖ ͳ͍
15. ޫݯਪఆ w पғͷ໌Δ͞ͷมԽ͔Βޫ ͷڧ͞Λਪఆ
    w ޫͷ౰ͨΔํ޲͸औಘͰ͖ ͳ͍
16. "3$PSF
    
    Ͱ௥Ճ͞Εͨػೳ
17. $MPVE
    "ODIPST w ෳ਺୺຤Ͱಉ͡"3ۭؒΛڞ༗
    w ͭͷ୺຤͔ΒΫϥ΢υΛ௨͡ ͯଞͷ୺຤ʹڞ༗
    w "ODIPSΦϒδΣΫτ
    w पลͷಛ௃఺
    w "OESPJE͚ͩͰͳ͘J04ͱ΋ڞ ༗
    w J04༻ͷ4%,΋͋Δ
18. +VTU
    B
    -JOF w (PPHMF੡ͷ"3ۭؒʹམॻ͖ Ͱ͖ΔΞϓϦ
    w "OESPJE൛ͱJ04൛͕͋Δ
    w /FBSCZͰϖΞϦϯάͯ͠୆ Ͱ"3ۭؒΛڞ༗
    w ιʔε͸ެ։͞Ε͍ͯΔ IUUQTHJUIVCDPNHPPHMFDSFBUJWFMBCKVTUBMJOFBOESPJE
19. +VTU
    B
    -JOF w (PPHMF੡ͷ"3ۭؒʹམॻ͖ Ͱ͖ΔΞϓϦ
    w "OESPJE൛ͱJ04൛͕͋Δ
    w /FBSCZͰϖΞϦϯάͯ͠୆ Ͱ"3ۭؒΛڞ༗
    w ιʔε͸ެ։͞Ε͍ͯΔ IUUQTHJUIVCDPNHPPHMFDSFBUJWFMBCKVTUBMJOFBOESPJE
20. $MPVE
    "ODIPSTͷେࣄͳ͜ͱ w ໘౗Λݟͯ͘ΕΔͷ͸Ґஔͱ޲͖ͷΈ
    w ͦΕΛݩʹ։ൃऀ͕ػೳΛ࣮૷͢Δඞཁ͋Γ
    w ڞ༗͢Δ"ODIPSͷ৘ใ͸'JSFCBTF΍/FBSCZ౳Λ࢖ͬ ͯ౉͢
21. "VHNFOUFE
    *NBHFT w ࢦఆͨ͠ը૾Λೝࣝͯ͠ɺҐ ஔͱ࢟੎ΛτϥοΩϯά͢Δ
22. ରԠ୺຤ w Ͱ͍ͩͿ૿͑·ͨ͠
    w 9QFSJB
    9;
    w (BMBYZ
    "
    "
    "
    /PUF
    4
    4
    4
    w -(
    (
    )VBXFJ
    1౳ IUUQTEFWFMPQFSTHPPHMFDPNBSEJTDPWFSTVQQPSUFEEFWJDFT
23. ։ൃํ๏ +BWB
    $ /%,
    6OJUZ
    6OSFBM
    &OHJOF
    8FCͷԿΕͰ΋Մೳ
24. +BWBͰͷ։ൃ
    4DFOFGPSNʹ͍ͭͯ
25. 4DFOFGPSNͱ͸ w %ϞσϧͷΠϯϙʔτπʔϧɺ"3γʔϯ΁ͷ૊ΈࠐΈ ͕؆୯ʹͰ͖ΔϥΠϒϥϦ
    w "OESPJE
    4UVEJPͰ+BWBͰ։ൃͰ͖·͢
26. https://developers.google.com/ar/develop/java/sceneform/ l"OESPJE։ൃऀʹ%άϥϑΟΫεͱ0QFO(-Λ ֶͿ͜ͱͳ͠ʹ"3$PSFΛۦ࢖͢ΔྗΛ༩͑Δz
27. ࠷΋جຊతͳखॱ
28. "OESPJE
    4UVEJPʹ
    ϓϥάΠϯΛΠϯετʔϧ͢Δ w 1SFGFSFODFTˠ1MVHJOT
    <#SPXTF
    SFQPTJUPSJFT>Λԡ͠ ͯ
    w (PPHMF
    4DFOFGPSN
    5PPMT
    #FUB ΛΠϯετʔϧ
29. 1PMZ͔Β%ϞσϧΛ
    μ΢ϯϩʔυ͢Δ w IUUQTQPMZHPPHMFDPN
    ͔ Β%ϞσϧΛμ΢ϯϩʔυ
    w ओʹ"3ͱ73Ͱͷ׆༻Λ໨త ͱͨ͠%Ϟσϧڞ༗αΠτ
    w $$#:Ͱ࢖༻Ͱ͖Δ΋ͷ͕ଟ ͍
30. %ϞσϧΛϓϩδΣΫτʹ
    Πϯϙʔτ w μ΢ϯϩʔυͨ͠
    w YYYQOH
    w YYYNUM
    w YYYPCK
    w Λ4BNQMFEBUBʹίϐʔ
31. %ϞσϧΛϓϩδΣΫτʹ
    Πϯϙʔτ̎ w YYYPCKΛӈΫϦοΫ ˠ/FXˠ4DFOFGPSN
    "TTFU
    ͷॱʹબ୒
    w 'JOJTIΛԡ͢
32. %ϞσϧΛϓϩδΣΫτʹ
    Πϯϙʔτ w YYYTGB
    YYYTGC
    ͱ͍͏ϑΝΠ ϧ͕࡞੒͞ΕΔ
    w %ϞσϧͷϓϨϏϡʔ͕දࣔ ͞ΕΔ
    w TGCͷํ͸BTTFUTͷԼʹஔ͔Ε Δ
33. ίʔυ্ʹϩʔυ͢Δ
    ϑΝΠϧΛهड़͢Δ w BTTFUTͷԼͷTGCϑΝΠϧΛ ࢦఆ͢Δ
34. Ϗϧυ࣮ͯ͠ߦ w ฏ໘Λλοϓͯ͠%ϞσϧΛ ഑ஔ͢ΔͨΊʹඞཁͳػೳ͕ ͜Ε͚ͩͰҰ௨Γ׬੒ʂ
35. 4DFOFGPSNͷߏ੒ཁૉ w "S'SBHNFOU
    w 3FOEFSBCMF
    w .PEFM3FOEFSBCMF
    w 7JFX3FOEFSBCMF
36. "S'SBHNFOU w ୺຤Λಈ͔͢͜ͱΛଅ͢6*
 w ೝࣝฏ໘Λࣔ͢6*
 w ฏ໘Λλοϓͨ͠ࡍͷMJTUOFS
 w ฏ໘ʹӨΛམͱ͢

37. .PEFM3FOEFSBCMF w %ϞσϧΛѻ͏
38. 7JFX3FOEFSBCMF "OESPJE։ൃऀʹ͸͓ͳ͡ΈͷMBZPVUͷYNMΛ"3্ۭؒʹු͔Ϳ7JFX ͱͯ͠࡞੒Ͱ͖Δʂ
39. 7JFX3FOEFSBCMF࡞੒खॱ
    
    
    
    7JFX3FOEFSBCMFCVJMEFS TFU7JFX UIJT
    3MBZPVUTPMBS@DPOUSPMT CVJME  CBDLHSPVOE
    ʢؙ֯ɺ൒ಁ໌ͷ੨ʣ MBZPVU
    YNM "1*
40. ΋ͬͱݱ࣮Λ֦ு͍ͨ͠ʜ
    ͦΜͳ࣌ʹཔΓʹͳΔͷ͸
    6OJUZ
41. ྫɿ"3ۭؒͰϖοτΛࣂ͏ w ඞཁͳཁૉ
    w Ξχϝʔγϣϯ͢Δ%Ωϟ ϥ
    w ෺ཧΤϯδϯ
    w ஄ΉϘʔϧ
    w ϘʔϧΛ௓Ͷฦ͢চ໘
    w ஫໨ͯ͠΄͍͠΋ͷʹ޲͚Δ
42. Ξχϝʔγϣϯ͢Δ%Ωϟϥ w "TTFU
    4UPSF͔ΒΠϯϙʔτͯ͠"OEZͱஔ͖׵͑Ͱ0,
43. ෺ཧΤϯδϯͷ׆༻ w ෺ཧ๏ଇʹԊͬͨৼΔ෣͍Λ ͢ΔϘʔϧ
    w ϘʔϧΛ௓Ͷฦ͢ฏ໘
44. ෺ཧ๏ଇʹԊͬͨৼΔ෣͍Λ͢ ΔϘʔϧ w 4QIFSF
    $PMMJEFS
    w #PVODZ
    w 3JHJECPEZ
    w .BTT
    w 6TF
    (SBWJUZ
45. ϘʔϧΛ௓Ͷฦ͢ฏ໘ w .FTI
    3FOEFSFS
    w .BUFSJBMʹ4%,ʹ͋Δ 1MBOF(SJEΛઃఆ
46. ϘʔϧΛ౤͛Δίʔυ
     ΦϒδΣΫτΛλοϓͨ࣌͠
47. ϘʔϧΛ౤͛Δίʔυ
     ΦϒδΣΫτΛυϥοάʢϑϦοΫʣ։࢝
48. ϘʔϧΛ౤͛Δίʔυ
     ΦϒδΣΫτΛυϥοά͍ͯ͠Δؒ
49. ϘʔϧΛ౤͛Δίʔυ
     ΦϒδΣΫτͷυϥοάऴྃʢࢦΛ཭ͨ͠ʣ
50. %ΦϒδΣΫτͱΧϝϥ
    ͷҐஔؔ܎ ᶃ
    ೣͷݱࡏҐஔ
    ᶄ
    ΧϝϥͷݱࡏҐஔ
    ᶅ
    ೣͷσϑΥϧτํ޲ͷϕΫτ ϧʢ9
    :
    ;Ͱද͢ͱ
    
    
    ʣ
    ᶆ
    ೣ͔ΒΧϝϥ΁ͷํ޲ͷϕΫ τϧ
    ᶇ
    Χϝϥͷํʹ޲͔ͤΔͨΊͷ ճస
51. ΦϒδΣΫτΛΧϝϥͷํ޲ʹ ޲͚Δࡍͷճస Vector3 GetLookVector () { Vector3 lookVector = Camera.main.transform.position - hitTransform.transform.position; lookVector.y = 0.0f; // Y軸の差分は無視する lookVector.Normalize (); return lookVector; } hitTransform.transform.rotation = Quaternion.LookRotation (GetLookVector());
52. ྫ̎
    %ϓϦϯτ෩ΤϑΣΫτ ࢦఆͨ͠:࠲ඪͷ9;ฏ໘ͰΫϦοϐϯά͢ΔγΣʔμʔͷهड़ͱɺͦͷ:࠲ඪͷ஋ ΛϑϨʔϜ͝ͱʹҠಈͤ͞ΔεΫϦϓτͷ૊Έ߹ΘͤͰ࣮ݱ
53. ௥Ճ͢ΔγΣʔμʔͷϓϩύςΟ w @$POTUSVDU:
    w ΫϦοϐϯά͢Δ:࠲ඪͷ஋
    w @$POTUSVDU(BQ
    w ੵ૚͍ͯ͘͠ࡍʹ৭Λม͑Δڥ քͷߴ͞
    w @$POTUSVDU$PMPS
    w ੵ૚͍ͯ͘͠ࡍͷڥքͷ৭ ৄࡉ͸
    IUUQTXXXLBCVLVDPKQEFWFMPQFSTBSE@QSJOU
54. γΣʔμʔͷίʔυ if(IN.worldPos.y > _ConstructY + _ConstructGap) { discard; } ඳը͞Εͳ͍Α͏ΫϦοϐϯά͢ΔॲཧͰ͢ɻ
    ϐΫηϧͷϫʔϧυҐஔͷ:࠲ඪͷ஋͕ʮΫϦοϐϯά͢Δ:࠲ඪ
    
    ڥ քͷߴ͞ʯΑΓେ͖͍ʢΫϦοϐϯά͢ΔҐஔΑΓߴ͍Ґஔʹ͋Δʣ৔ ߹ɺEJTDBSEͯ͠ඳը͠ͳ͍Α͏ʹ͠·͢ɻ
55. γΣʔμʔͷίʔυ if(IN.worldPos.y < _ConstructY) { fixed4 c = tex2D(_MainTex, IN.uv_MainTex); o.Albedo = c.rgb; o.Alpha = c.a; } else { o.Albedo = _ConstructColor.rgb; o.Alpha = _ConstructColor.a; } ϐΫηϧͷϫʔϧυҐஔͷ:࠲ඪͷ஋͕ΫϦοϐϯά͢Δ:࠲ඪΑΓখ͍͞৔ ߹ɺ௨ৗඳըͷର৅ͱͯ͠ςΫενϟ͔Βͷ৭Λ൓ө͠·͢ɻ:࠲ඪͷ஋Ҏ্ ͷ৔߹ɺڥք෦෼ͷඳըର৅ͱͯ͠ڥքͷ৭Λ൓ө͠·͢ɻ
56. ࠷ޙʹʜ
    ೔ຊޠͰ࣭໰ɺ૬ஊͰ͖ΔϑΥʔϥϜ IUUQCJUMZWSBS@KB
    ͥͻ͝ొ࿥͍ͩ͘͞ʂ
    ೔ຊޠͰؾܰʹ࣭໰ɺ૬ ஊͰ͖ΔΑ͏ʹཱͯͯΈ ·ͨ͠
    (PPHMFΞΧ΢ϯτ͕͋Ε ͹ԿํͰ΋ࢀՃՄೳͰ͢