Utilizando Go e Gonum para Data Science

Nesta talk apresentada durante a GopherCon Brasil 2019 em Florianópolis eu abordei os processos envolvidas nas atividades de um cientista de dados e quais as principais ferramentas que a linguagem Go pode oferecer para otimizar a realização dessas atividades. A apresentação contou com dois live codes que tiveram os resultados impressos nos slides.

Transcript

1. UTILIZANDO GO E GONUM PARA DATA SCIENCE RAFAEL CALIXTO
2. About me M B A E M B I G D A T A ( C I Ê N C I A D E D A D O S ) P E L O I G T I M A T E M Á T I C A A P L I C A D A N A U F S C D A T A E N G I N E E R & D A T A S C I E N T I S T N A W I S E & T R U S T
3. also... R A F A E L C A L I X T O E N T U S I A S T A D E B I G D A T A , D A T A S C I E N C E E C R Y P T O C U R R E N C Y P Y T H O N I S T A D E C O R A Ç Ã O V O U N O S H O W D O H E L L O W E E N & S C O R P I O N S H O J E ! ! !
4. Design C H A L L E N G E https://www.pinterest.com/pin/57983913933396019/
5. https://minerandodados.com.br/o-que-e-data-science/ Processos envolvidos na análise de dados
6. Data Engineer Conectividade com banco de dados: database/sql Criação de APIs e Web Crawlers: net/http Facilidade em criar processamentos concorrentes ou paralelos Otimização do processamento e estabilidade Facilidade para criação de Pilhas com Channels
7. Data Science NLP (Natural Language Procesing) Regexp html ("golang.org/x/net/html") NLP -> nlp, go-nlp, Prose Exemplo da biblioteca golang.org/x/net/html -------->>
8. Data Science Vantagens: Facilidade para aplicar regular expressions com a biblioteca regexp Facilidade para tokenização de html com a biblioteca html Desvantagens: Para análise de Sentimento ainda não há uma biblioteca consolidada
9. Data Science DataFrames Gota Dataframe-go QFrame Problemas: Verbosidade Poucas ferramentas estatísticas Projetos com pouco suporte e poucos commiters Nenhum dos projetos é consolidado como o Pandas
10. Data Science Go é uma linguagem para produção!
11. Data Science Gonum Gonum é considerado o equivalente ao Numpy para Go. Ele contém bibliotecas para matrizes, estatística, otimização e outros. Outras bibliotecas: GoStats Stats Sparse
12. Data Science Gonum possui funções simples de serem executadas. https://www.gonum.org/post/intro-to-stats-with-gonum/
13. Data Science Gonum também possui uma vasta biblioteca para plotar gráficos, se aproximando do Matplotlib do Python.
14. Data Science Outras bibliotecas gráficas relevantes: Charts --poucas atualizações Glot --parado
15. Data Science Go não possui ferramentas de Stotytelling: Porém, a biblioteca http permite criar processos semelhantes.
16. Data Science Time to live code!
17. Data Science Considerações finais
18. https://www.gonum.org/ https://github.com/gonum/gonum https://awesome-go.com/ https://godoc.org/github.com/gonum/stat https://golang.org/pkg/ https://github.com/go-gota/gota https://medium.com/@rocketlaunchr.cloud/dataframes-for-go-b1f26f523ab9 Fontes
19. github.com/rafaelcalixto Twitter - @rafaelcalixtopy https://www.linkedin.com/in/rafael-calixto-9a11936b/ rafaelufrj@yahoo.com.br Telegram - @rafaelcalixto C O N T A T O S