Slide 1

Slide 1 text

Aprendizados de um projeto Elixir/OTP

Slide 2

Slide 2 text

→ amandasposito.com → speakerdeck.com/amandasposito → linkedin.com/in/amandasposito

Slide 3

Slide 3 text

careers.plataformatec.com.br

Slide 4

Slide 4 text

Disclaimer

Slide 5

Slide 5 text

Como foi começar em um projeto Elixir, vindo de outra linguagem?

Slide 6

Slide 6 text

No content

Slide 7

Slide 7 text

No content

Slide 8

Slide 8 text

No content

Slide 9

Slide 9 text

Como utilizar o ferramental da linguagem a seu favor?

Slide 10

Slide 10 text

No content

Slide 11

Slide 11 text

Lidar com banco de dados se tornou muito mais comum

Slide 12

Slide 12 text

Preloads

Slide 13

Slide 13 text

No content

Slide 14

Slide 14 text

SELECT * FROM Courses; SELECT * FROM Users WHERE course_id = ? SELECT * FROM Users WHERE course_id = ? SELECT * FROM Users WHERE course_id = ?

Slide 15

Slide 15 text

No content

Slide 16

Slide 16 text

Repo.all from c in Course, preload: [:users]

Slide 17

Slide 17 text

Ecto tem muitas features interessantes que podem te ajudar no dia-a-dia

Slide 18

Slide 18 text

→ Changesets

Slide 19

Slide 19 text

→ Changesets → Schemas

Slide 20

Slide 20 text

→ Changesets → Schemas → Ecto.Multi

Slide 21

Slide 21 text

→ Changesets → Schemas → Ecto.Multi → etc.

Slide 22

Slide 22 text

Lidando com tabelas gigantescas

Slide 23

Slide 23 text

Qualquer coisa que fossemos alterar no banco era difícil

Slide 24

Slide 24 text

No content

Slide 25

Slide 25 text

No content

Slide 26

Slide 26 text

use Mix.Task

Slide 27

Slide 27 text

defmodule Mix.Tasks.Echo do use Mix.Task @impl Mix.Task def run(_args) do Mix.shell.info "Hello World" end end

Slide 28

Slide 28 text

Saber analisar a performance é muito importante

Slide 29

Slide 29 text

Explain Analyze

Slide 30

Slide 30 text

EXPLAIN ANALYZE SELECT "courses"."id", "courses"."data" FROM "courses" INNER JOIN "users" ON ("courses"."user_id" = "users"."id") WHERE "users".account_id = 4500000;

Slide 31

Slide 31 text

Gather (cost=847239.21..2458486.98 rows=2 width=16) (actual time=35048.574..45161.127 rows=2 loops=1) Workers Planned: 2 Workers Launched: 2 -> Hash Join (cost=846239.21..2457486.78 rows=1 width=16) (actual time=32820.132..45130.374 rows=1 loops=3) Hash Cond: (courses.user_id = users.id) -> Parallel Seq Scan on courses (cost=0.00..1040678.17 rows=45193617 width=16) (actual time=0.044..29710.148 rows=33333333 loops=3) -> Hash (cost=846239.20..846239.20 rows=1 width=8) (actual time=8318.392..8318.392 rows=1 loops=3) Buckets: 1024 Batches: 1 Memory Usage: 9kB -> Seq Scan on users (cost=0.00..846239.20 rows=1 width=8) (actual time=819.773..8318.380 rows=1 loops=3) Filter: (account_id = 4500000) Rows Removed by Filter: 49999999 Planning time: 0.421 ms Execution time: 45169.333 ms

Slide 32

Slide 32 text

No content

Slide 33

Slide 33 text

No content

Slide 34

Slide 34 text

http://blog.plataformatec.com.br/2019/02/migrations-in-databases-with-large-amount-of-data/

Slide 35

Slide 35 text

Tabelas ETS

Slide 36

Slide 36 text

"These provide the ability to store very large quantities of data in an Erlang runtime system, and to have constant access time to the data." — Erlang Documentation

Slide 37

Slide 37 text

def hello do opts = [ :set, :named_table, :public, read_concurrency: true ] table_name = :elixir_brasil :ets.new(table_name, opts) for n <- 1..100 do :ets.insert(table_name, {n, "Key #{n}"}) end end

Slide 38

Slide 38 text

No content

Slide 39

Slide 39 text

Nesse momento não tinhamos muita visão da quantidade de dados

Slide 40

Slide 40 text

Velocidade x Quantidade de itens

Slide 41

Slide 41 text

A estimativa estava em 76GB de consumo de memória por máquina

Slide 42

Slide 42 text

No content

Slide 43

Slide 43 text

Tabelas ETS não possuem muitas opções de otimização como o Redis

Slide 44

Slide 44 text

No content

Slide 45

Slide 45 text

São como se fossem um Hash direto na memória

Slide 46

Slide 46 text

Consomem a memória disponível da aplicação

Slide 47

Slide 47 text

No content

Slide 48

Slide 48 text

https://moz.com/devblog/moz-analytics-db-free

Slide 49

Slide 49 text

No content

Slide 50

Slide 50 text

Testes

Slide 51

Slide 51 text

Doctest != Test

Slide 52

Slide 52 text

No content

Slide 53

Slide 53 text

Sua aplicação está se comunicando com o mundo exterior, e agora?

Slide 54

Slide 54 text

No content

Slide 55

Slide 55 text

No content

Slide 56

Slide 56 text

No content

Slide 57

Slide 57 text

No content

Slide 58

Slide 58 text

Como fazer para stubar/mockar uma requisição?

Slide 59

Slide 59 text

Bypass

Slide 60

Slide 60 text

No content

Slide 61

Slide 61 text

setup do bypass = Bypass.open {:ok, bypass: bypass} end

Slide 62

Slide 62 text

test "fetch/1 returns and formats tweets", %{bypass: bypass} do response = Jason.encode!([%{"text" => "Elixir Brasil 2019"}]) Bypass.expect(bypass, fn conn -> assert "/1.1/search/tweets.json" == conn.request_path assert "GET" == conn.method Plug.Conn.resp(conn, 200, response) end) tweets = TwitterClient.fetch("http://localhost:#{bypass.port}") assert tweets == [%{"text" => "Elixir Brasil 2019"}] end

Slide 63

Slide 63 text

test "fetch/1 returns and formats tweets", %{bypass: bypass} do response = Jason.encode!([%{"text" => "Elixir Brasil 2019"}]) Bypass.expect(bypass, fn conn -> assert "/1.1/search/tweets.json" == conn.request_path assert "GET" == conn.method Plug.Conn.resp(conn, 200, response) end) tweets = TwitterClient.fetch("http://localhost:#{bypass.port}") assert tweets == [%{"text" => "Elixir Brasil 2019"}] end

Slide 64

Slide 64 text

def fetch(url \\ "https://api.twitter.com") do {:ok, response} = HTTPoison.get("#{url}/1.1/search/tweets.json") Jason.decode!(response.body) end

Slide 65

Slide 65 text

Quando usar bypass?

Slide 66

Slide 66 text

Código que precisa realizar requests HTTP

Slide 67

Slide 67 text

No content

Slide 68

Slide 68 text

Mox

Slide 69

Slide 69 text

No content

Slide 70

Slide 70 text

No content

Slide 71

Slide 71 text

test "messages/0 lists all messages from the timeline" do TwitterMock |> expect(:fetch, fn -> [%{"text" => "Olá mundo"}] end) assert Timeline.messages() == {:ok, 1} end https://github.com/amandasposito/mox_example

Slide 72

Slide 72 text

http://blog.plataformatec.com.br/2015/10/mocks-and-explicit-contracts/

Slide 73

Slide 73 text

GenServer

Slide 74

Slide 74 text

Como testar processos?

Slide 75

Slide 75 text

Testar Callback de GenServer não é uma boa prática

Slide 76

Slide 76 text

No content

Slide 77

Slide 77 text

GenServer.cast

Slide 78

Slide 78 text

GenServer.call

Slide 79

Slide 79 text

https://devonestes.herokuapp.com/unit-tests-in-elixir-part-2

Slide 80

Slide 80 text

Quais os problemas mais comuns encontrados?

Slide 81

Slide 81 text

→ Tudo que eu aprendi em OOP, vou jogar fora em funcional? → Como eu organizo meu código? → Todos os problemas que eu tinha em OOP, somem em funcional? → E esse tal de Context? Comé qui usa?

Slide 82

Slide 82 text

A probabilidade do código ficar complexo diminui

Slide 83

Slide 83 text

Mas os problemas ainda existem

Slide 84

Slide 84 text

Muitos dos problemas que vemos em OOP reconhecemos em FP

Slide 85

Slide 85 text

→ Funções muito grandes

Slide 86

Slide 86 text

→ Funções muito grandes → Funções difíceis de testar

Slide 87

Slide 87 text

→ Funções muito grandes → Funções difíceis de testar → Mudanças simples precisam ser feitas em vários lugares

Slide 88

Slide 88 text

→ Funções muito grandes → Funções difíceis de testar → Mudanças simples precisam ser feitas em vários lugares → Feature Envy

Slide 89

Slide 89 text

→ Funções muito grandes → Funções difíceis de testar → Mudanças simples precisam ser feitas em vários lugares → Feature Envy → Contextos com muitas linhas

Slide 90

Slide 90 text

→ Funções muito grandes → Funções difíceis de testar → Mudanças simples precisam ser feitas em vários lugares → Feature Envy → Contextos com muitas linhas → Acoplamento

Slide 91

Slide 91 text

→ Funções muito grandes → Funções difíceis de testar → Mudanças simples precisam ser feitas em vários lugares → Feature Envy → Contextos com muitas linhas → Acoplamento

Slide 92

Slide 92 text

https://youtu.be/eldYot7uxUc

Slide 93

Slide 93 text

No content

Slide 94

Slide 94 text

Contexts

Slide 95

Slide 95 text

A idéia é definir limites entre diferentes módulos da aplicação

Slide 96

Slide 96 text

Com o passar do tempo e a necessidade de interação com vários schemas

Slide 97

Slide 97 text

Os contextos podem ficar maiores do que deveriam

Slide 98

Slide 98 text

Preste atenção para não manter código ortogonal ao contexto, no contexto

Slide 99

Slide 99 text

Mantenha queries próximas de seu schema

Slide 100

Slide 100 text

A exceção são queries que lidam com mais de um schema

Slide 101

Slide 101 text

http://devonestes.herokuapp.com/a-proposal-for-context-rules

Slide 102

Slide 102 text

No content

Slide 103

Slide 103 text

Umbrella Projects

Slide 104

Slide 104 text

Dentro de um Umbrella app os apps deveriam acessar arquivos uns dos outros?

Slide 105

Slide 105 text

É uma maneira de organizar seu código

Slide 106

Slide 106 text

No content

Slide 107

Slide 107 text

No content