Yegor Myskin – HOW WE MAKE GRPC

Transcript

1. HOW WE MAKE GRPC 2019.08.29 By Yegor Myskin @ PropellerAds
3. Go в PropellerAds – 60+ сервисов написанных на Go – 5+ лет в продакшене – 600 000 запросов на подбор рекламы в секунду(в пиках)
4. PArt 0. Intro.
6. service HelloService { rpc SayHello (HelloRequest) returns (HelloResponse); } message HelloRequest { string greeting = 1; string name = 2; } message HelloResponse { string reply = 1; } type HelloServiceServer interface { SayHello(context.Context, *HelloRequest) (*HelloResponse, error) } type HelloServiceClient interface { SayHello(ctx context.Context, in *HelloRequest, opts ...grpc.CallOption) (*HelloR error) } type HelloRequest struct { Greeting string `protobuf:"bytes,1,opt,name=greeting,proto3" json:"greeting,omite Name string `protobuf:"bytes,2,opt,name=name,proto3" json:"name,omitempty"` } type HelloResponse struct { Reply string `protobuf:"bytes,1,opt,name=reply,proto3" json:"reply,omitempty"` }
7. PArt 1. Usage.
8. Unary RPCs – Запросы между сервисами
9. Server-side streaming – API с большими batch-responses – Реалтайм обновление данных в кэшах
10. Server-side streaming func (s *Server) GetAudiences( req *api.GetAudiencesRequest, stream api.StorageService_GetAudiencesServer, ) error { rows, err := s.db.QueryContext(stream.Context(), query) if err != nil { return err } defer rows.Close() for rows.Next() { var audience api.Audience err := rows.ScanStruct(&audience) if err != nil { return err } if err := stream.Send(&audience); err != nil { return err } }
11. PArt 2. vendoring.
12. git: //generated-proto-files git: //service git: //service git: //service
13. Vendoring общего репозитория с proto – Невозможно расширять методами proto-сущности – Сложно вносить изменения в клиент и сервер – Не ясна ответственность между командами
14. git: //service/api git: //service/api git: //service/api git: //service/api Vendoring
15. Vendoring репозитория сервера – Стало легче вносить изменения в сервер – Разработчик клиента все также ждет релиза сервера
16. git: //service/api git: //service/api git: //service/api git: //service/api Copy-Paste
17. Vendoring через копирование proto – Полная свобода разрабатывать клиент и сервер параллельно – Любой пользователь может расширять сущности своими методами
18. PArt 3. Tooling.
19. Makefile: proto: docker run --rm protoc -it -v `pwd`:/project \ protoc --proto_path=./api/ \ --gogofaster_out=plugins=grpc,paths=source_relative:./api \ ./api /*.proto ... > make proto
20. github.com/grpc-ecosystem/grpc-gateway
21. github.com/grpc-ecosystem/grpc-gateway
22. github.com/grpc-ecosystem/grpc-gateway
23. Makefile: proto: docker run --rm protoc -it -v `pwd`:/project \ protoc --proto_path=./api/ \ -I ${GOPATH}/src/github.com/grpc-ecosystem/grpc-gateway/ third_party/googleapis \ --grpc-gateway_out=logtostderr=true,paths=source_relative:./api ./api /*.proto ... > make proto
24. OpenCensus
25. Traces? Spans?
26. Пример кода на Go ctx, span := trace.StartSpan(parentCtx, "getUser") user, err := GetUser(id) if span.IsRecordingEvents() { encodedResponse, _ := json.Marshal(user)
 span.AddAttributes(
 trace.StringAttribute("response", string(encodedResponse)) ) if err != nil { span.AddAttributes(trace.StringAttribute("error", err.Error())) } } span.End()
27. PArt 4. Performance.
29. rpc error: code = DeadlineExceeded desc = context deadline exceeded
30. pprof -http=:80 http: //service:3001/debug/pprof/mutex
31. // Connection gets active connection from the pool. func (p *Pool) Connection() manager.Connection { b := p.connections.Load().(*instance) // atomic.Value cnt := len(*b) if cnt == 0 { return nil } next := atomic.AddInt64(&p.cntr, 1) idx := next % int64(cnt) return (*b)[idx].getCurrent() // gets grpc connection to the instance }
32. // Connection gets active connection from the pool. func (p *Pool) Connection() manager.Connection { b := p.connections.Load().(*instance) // atomic.Value cnt := len(*b) if cnt == 0 { return nil } next := atomic.AddInt64(&p.cntr, 1) idx := next % int64(cnt) return (*b)[idx].getNext() // gets one of grpc connections to the instance } func (i *instance) getNext() manager.Connection { next := atomic.AddInt64(&b.cntr, 1) idx := next % int64(b.size) return i.connections[idx] }
33. Less errors woo-oo hoo-oo!
34. Вывод – Часто проблемы с latency решаются простым снижением блокировок
35. Throughput em2 em1
36. Bond tuning /etc/sysconfig/network-scripts/ifcfg-bond0: BONDING_OPTS="mode=802.3ad miimon=100 xmit_hash_policy=layer2" (source MAC XOR destination MAC) % slave count BONDING_OPTS="mode=802.3ad miimon=100 xmit_hash_policy=layer3+4" ((source port XOR dest port) XOR ((source IP XOR dest IP) AND 0xffff) % slave count
37. em2 em1 Bonding: layer2 -> l3+4 balancing
38. Snappy compressing // Compressor is used for compressing and decompressing when sending or // receiving messages. type Compressor interface { Compress(w io.Writer) (io.WriteCloser, error) Decompress(r io.Reader) (io.Reader, error) Name() string } encoding.RegisterCompressor(newCompressor())
39. Snappy compressing import "github.com/un000/grpc-snappy" var dialOpts = []grpc.DialOption{ grpc.WithInsecure(), grpc.WithDefaultCallOptions(grpc.UseCompressor(snappy.Name)), } conn, err := grpc.Dial( "your-grpc-address:port", dialOpts ..., )
40. Snappy compressing: throughput 25% win
41. Snappy compressing: CPU
42. message User { uint64 id = 1; string login = 2; bool active = 3; string about = 4; int64 last_login = 5; // ... } message User { uint64 id = 1; bool active = 3; } Server Client
43. https: // www.slideshare.net/weaveworks/tune-your-go-garbagecollector
44. type UnaryServerInterceptor func(ctx context.Context, req interface{}, info *UnaryServerInfo, handler UnaryHandler) (resp interface{}, err error) type UnaryClientInterceptor func(ctx context.Context, method string, req, reply interface{}, cc *ClientConn, invoker UnaryInvoker, opts ...CallOption) error Interceptors: funcs
45. Interceptors: protobuf generation message User { uint64 id = 1; bool active = 3; } type User struct { Id uint64 `protobuf:"varint,1,opt,name=id,proto3" json:"id,omitempty"` Active bool `protobuf:"varint,3,opt,name=active,proto3" json:"active,omitempty"` }
46. Interceptors: create fields scheme message User { uint64 id = 1; bool active = 3; } 1-1 1-3 Fields: BASE64(HASH(Fields)) Session: Metadata: Proto:
47. Interceptors: sequence diagram
48. Interceptors: send metadata func withOutgoingMetadata(ctx context.Context) metadata.MD { md, ok := metadata.FromOutgoingContext(ctx) if ok { md = md.Copy() } else { md = metadata.New(map[string]string{}) } return md } // ... somewhere in interceptor md := withOutgoingMetadata(ctx) md.Set(headerFieldsKey, cl.Fields ...)
49. Interceptors: receive err code import "google.golang.org/grpc/status" // inside interceptor err := invoker(metadata.NewOutgoingContext(ctx, md), method, req, reply, cc, opts ...) if err != nil { code, _ := status.FromError(err) if code.Code() == codes.Unauthenticated { // retry again } }
50. Результат - огромная экономия траффика
51. Итого – Мониторинг сети с GRPC особенно полезен – Если выедается интерфейс - используем неск. коннектов – Использование компрессии может выиграть даже немного CPU – Один интерсептор может сэкономить много денег :)
52. un000 +7(921) 325-13-35 Егор Мыскин