Novidades no ARKit 2

Trago as principais novidades do ARKit 2, focando em quais são estas novidades e suas potenciais aplicações.

Transcript

1. Bom Dia! ☀ "# Victor S. Melo
2. Olá! ✌
3. Novidades no ARKit 2 Victor S. Melo [Cocoaheads Conference:2018]
4. O que efetivamente é AR?
5. O que efetivamente é AR? Aumentar a realidade
6. O que efetivamente é AR? Aumentar a realidade Projetar elementos virtuais no mundo real
7. ARKit
8. ARKit “Integrar câmera do iOS com recursos de movimento para criar experiências AR”
9. Tecnologia de Conteúdo
10. SceneKit (3D) Tecnologia de Conteúdo
11. SceneKit (3D) Tecnologia de Conteúdo SpriteKit
 (2D)
12. SceneKit (3D) Metal Tecnologia de Conteúdo SpriteKit
 (2D)
13. https://www.youtube.com/watch?v=JzdvN64aRL4
14. https://www.youtube.com/watch?v=JzdvN64aRL4
15. ARKit 2 WWDC 2018
16. Novidades Saving and loading maps Multiuser experiences Quick Look Real object detection Environment texturing Image Tracking
17. Quick Look
18. Quick Look Maneira nativa de compartilhar conteúdo em AR
19. Quick Look Maneira nativa de compartilhar conteúdo em AR • Já integrado em apps nativos: • Safari • Messages • Mail • News • Notes
20. Quick Look DEMO https://www.purecycles.com/
21. Formato Padrão (.usdz) Como gerar:
22. Formato Padrão (.usdz) Como gerar: • Criar modelo 3D (.dae, .obj, etc.) • Converter pra .usdz com o Xcode Command Line Tools
23. Integrando no seu app • Import QuickLook • Conformar ViewController com: • QLPreviewControllerDelegate • QLPreviewControllerDataSource Etapas
24. Saving and loading maps
27. ARWorldMap Representa o ambiente com AR já aplicada
28. ARWorldMap Representa o ambiente com AR já aplicada • ARWorldMap contém um conjunto de âncoras (ARAnchor)
29. ARWorldMap Representa o ambiente com AR já aplicada • ARWorldMap contém um conjunto de âncoras (ARAnchor) • ARWorldMap contém elementos virtuais
30. ARWorldMap Representa o ambiente com AR já aplicada • ARWorldMap contém um conjunto de âncoras (ARAnchor) • ARWorldMap contém elementos virtuais • ARWorldMap é serializável
31. Adquirir Bons Mapas Essencial para relocalização
32. Adquirir Bons Mapas Essencial para relocalização • Múltiplos pontos de vista
33. Adquirir Bons Mapas Essencial para relocalização • Múltiplos pontos de vista • Ambiente estático, com boa textura
34. Adquirir Bons Mapas Essencial para relocalização • Múltiplos pontos de vista • Ambiente estático, com boa textura • Alta densidade de feature points
35. World Mapping Status Informa densidade de feature points
36. World Mapping Status
37. World Mapping Status
38. Usando WorldMappingStatus Adaptar UI de acordo
39. Usando WorldMappingStatus Adaptar UI de acordo
40. Multiuser experiences
41. Multiuser Experiences https://developer.apple.com/documentation/arkit/creating_a_multiuser_ar_experience
42. Multiuser Experiences Exemplo 1 (simples)
43. Multiuser Experiences • Criar e executar AR Session Exemplo 1 (simples)
44. Multiuser Experiences • Criar e executar AR Session • Conectar com outros dispositivos (MultipeerConectivity) Exemplo 1 (simples)
45. Multiuser Experiences • Criar e executar AR Session • Conectar com outros dispositivos (MultipeerConectivity) • Capturar e enviar AR World Map Exemplo 1 (simples)
46. Multiuser Experiences • Criar e executar AR Session • Conectar com outros dispositivos (MultipeerConectivity) • Capturar e enviar AR World Map • Receber e relocalizar AR World Map Exemplo 1 (simples)
49. Multiuser Experiences Exemplo 2 (Swift Shot)
50. Multiuser Experiences • Conecta com outros dispositivos (MultipeerConectivity) Exemplo 2 (Swift Shot)
51. Multiuser Experiences • Conecta com outros dispositivos (MultipeerConectivity) • Usa uma fila de ações (ex: tocar na tela próximo ao estilingue) Exemplo 2 (Swift Shot)
52. Multiuser Experiences • Conecta com outros dispositivos (MultipeerConectivity) • Usa uma fila de ações (ex: tocar na tela próximo ao estilingue) • Cada ação gera um evento que é enviado aos outros jogadores Exemplo 2 (Swift Shot)
53. multiplayer AR game built by Happy Giant studio using the Jido SDK, Unity, and ARKit
54. multiplayer AR game built by Happy Giant studio using the Jido SDK, Unity, and ARKit
55. Environment Texturing
56. Renderizações Realísticas Deve ter:
57. Renderizações Realísticas • Bom posicionamento e orientação Deve ter:
58. Renderizações Realísticas • Bom posicionamento e orientação • Boa escala Deve ter:
59. Renderizações Realísticas • Bom posicionamento e orientação • Boa escala • Boa iluminação Deve ter:
60. Renderizações Realísticas • Bom posicionamento e orientação • Boa escala • Boa iluminação • Tem sombra Deve ter:
61. Renderizações Realísticas • Bom posicionamento e orientação • Boa escala • Boa iluminação • Tem sombra • Reflete o ambiente Deve ter:
62. Environment Texturing Cria a reflexão do ambiente
63. Environment Texturing • Coleta texturas da cena Cria a reflexão do ambiente
64. Environment Texturing • Coleta texturas da cena • Cria um mapeamento em cubo Cria a reflexão do ambiente
65. Environment Texturing • Coleta texturas da cena • Cria um mapeamento em cubo • Aplica mapeamento nos objetos Cria a reflexão do ambiente
66. Mapeamento em Cubo
67. Mapeamento em Cubo
68. Environment Texturing
69. Environment Texturing
70. Implementando
71. Implementando configuration.environmentTexturing = .automatic
72. Environment Texturing DEMO
75. Object Detection
76. Object Detection
77. Object Detection • Detecta objeto estático 3D
78. Object Detection • Detecta objeto estático 3D • Objeto precisa ser previamente escaneado
79. Object Detection • Detecta objeto estático 3D • Objeto precisa ser previamente escaneado • Objeto deve ter boa textura, ser rígido e não reflexivo
80. Object Detection • Detecta objeto estático 3D • Objeto precisa ser previamente escaneado • Objeto deve ter boa textura, ser rígido e não reflexivo • Objeto deve manter posição e orientação
81. Object Detection • Detecta objeto estático 3D • Objeto precisa ser previamente escaneado • Objeto deve ter boa textura, ser rígido e não reflexivo • Objeto deve manter posição e orientação • Integrado na detecção do ambiente
82. ARObjectAnchor
83. Escaneando Objetos
84. Escaneando Objetos •Acumular informações da cena
85. Escaneando Objetos •Acumular informações da cena •Ajustar caixa amarela para o objeto
86. Escaneando Objetos •Acumular informações da cena •Ajustar caixa amarela para o objeto •Objeto é usado como um asset
87. Escaneando Objetos •Acumular informações da cena •Ajustar caixa amarela para o objeto •Objeto é usado como um asset •Há app disponível para escanear e detectar objetos 3D
88. Object Detection DEMO
89. https://www.youtube.com/watch?v=XlHhDvUnMK0
90. https://www.youtube.com/watch?v=XlHhDvUnMK0
91. Image Tracking
92. Image Tracking
93. Image Tracking • Imagens não precisam ser estáticas
94. Image Tracking • Imagens não precisam ser estáticas • Posição e orientação determinada para cada frame
95. Image Tracking • Imagens não precisam ser estáticas • Posição e orientação determinada para cada frame • Faz tracking de múltiplas imagens
96. Usar boas imagens
97. Image Tracking DEMO
100. https://www.youtube.com/watch?v=ZhHExAxyVow
101. https://www.youtube.com/watch?v=ZhHExAxyVow
102. ARKit 2 - Summary • Quick Look • Saving and loading maps • Multiuser experiences • Environment texturing • Real object detection • Image tracking
103. Opinião
104. Opinião • AR veio pra ficar
105. Opinião • AR veio pra ficar • Falta algo pra substituir o smartphone
106. https://developer.apple.com/videos/play/wwdc2018/602/ https://github.com/vctrsmelo/WhatsNewInARKit2 References https://github.com/VictorsLab/Pokemon-Card-AR
107. www.linkedin.com/in/vsmelo https://github.com/vctrsmelo
108. Obrigado e bom evento! www.linkedin.com/in/vsmelo https://github.com/vctrsmelo