Зачем и как написать свой database/sql драйвер

By https://github.com/AlekSi

Transcript

2. Зачем и как написать свой database/sql драйвер Алексей Палажченко Percona
3. Зачем? • Написание нового драйвера для SQL СУБД • или исправление существующего • Написание «наддрайвера» • для observability и отладки • Написание драйвера для NoSQL СУБД • или даже не для СУБД
4. Зачем? • Написание нового драйвера для SQL СУБД • https://github.com/AlekSi/mysqlx • Написание «наддрайвера» • https://github.com/luna-duclos/instrumentedsql • Написание драйвера для NoSQL СУБД • https://github.com/AlekSi/sqlcsv
5. Как?
6. Как?
7. • func IsScanValue(v interface{}) bool • func IsValue(v interface{}) bool • type ColumnConverter • type Conn • type Driver • type Execer • type NotNull • func (n NotNull) ConvertValue(v interface{}) (Value, error) • type Null • func (n Null) ConvertValue(v interface{}) (Value, error) • type Result • type Rows • type RowsAffected • func (RowsAffected) LastInsertId() (int64, error) • func (v RowsAffected) RowsAffected() (int64, error) • type Stmt • type Tx • type Value • type ValueConverter • type Valuer
8. • func IsScanValue(v interface{}) bool • func IsValue(v interface{}) bool • type ColumnConverter • type Conn • type ConnBeginTx • type ConnPrepareContext • type Connector • type Driver • type DriverContext • type Execer • type ExecerContext • type IsolationLevel • type NamedValue • type NamedValueChecker • type NotNull • func (n NotNull) ConvertValue(v interface{}) (Value, error) • type Null • func (n Null) ConvertValue(v interface{}) (Value, error) • type Pinger • type Queryer • type QueryerContext • type Result • type Rows • type RowsAffected • func (RowsAffected) LastInsertId() (int64, error) • func (v RowsAffected) RowsAffected() (int64, error) • type RowsColumnTypeDatabaseTypeName • type RowsColumnTypeLength • type RowsColumnTypeNullable • type RowsColumnTypePrecisionScale • type RowsColumnTypeScanType • type RowsNextResultSet • type SessionResetter • type Stmt • type StmtExecContext • type StmtQueryContext • type Tx • type TxOptions • type Value • type ValueConverter • type Valuer
9. 3 источника знаний • Код database/sql и database/sql/driver • Код существующих драйверов • но полно плохого и старого • Кровь, пот и падающий прод
10. Driver // Database drivers
 // may implement DriverContext […]
 type Driver interface {
 Open(name string) (Conn, error)
 }
11. Driver type driver struct{}
12. Conn type Conn interface {
 Prepare(query string) (Stmt, error)
 Close() error
 
 // Deprecated: Drivers should
 // implement ConnBeginTx instead
 // (or additionally).
 Begin() (Tx, error)
 }
13. Conn type conn struct {
 transport net.Conn
 }
14. Stmt type Stmt interface {
 Close() error
 
 // NumInput may also return -1 […]
 NumInput() int
 
 // Deprecated: Drivers should implement
 // StmtExecContext instead (or additionally).
 Exec(args []Value) (Result, error)
 // Deprecated: Drivers should implement
 // StmtQueryContext instead (or additionally).
 Query(args []Value) (Rows, error)
 }
15. Stmt type stmt struct {
 conn *conn
 query string
 }
16. Value Value is a value that drivers must be able to handle. It is either nil, a type handled by a database driver's NamedValueChecker interface, or an instance of one of these types:
 int64
 float64
 bool
 []byte
 string
 time.Time type Value interface{}
17. Result type Result interface {
 LastInsertId() (int64, error)
 RowsAffected() (int64, error)
 }
18. Rows type Rows interface {
 Columns() []string
 Close() error
 Next(dest []Value) error
 }
19. ErrBadConn ErrBadConn should be returned by a driver to signal to the sql package that a driver.Conn is in a bad state […] and the sql package should retry on a new connection. var ErrBadConn = errors.New("[…]")
20. Rows type rows struct {
 conn *conn
 // […]
 }
21. Минимум • driver.Open(name string) (Conn, error) • conn.Prepare(query string) (Stmt, error) • stmt.Exec(args []Value) (Result, error) • stmt.Query(args []Value) (Rows, error) • rows.Next(dest []Value) error
22. QueryerContext If a Conn does not implement QueryerContext […] DB.Query will first prepare a query, execute the statement, and then close the statement. QueryerContext may return ErrSkip. type QueryerContext interface {
 QueryContext(context.Context, string,
 []NamedValue) (Rows, error)
 }
23. ErrSkip ErrSkip may be returned by some optional interfaces' methods to indicate at runtime that the fast path is unavailable and the sql package should continue as if the optional interface was not implemented. ErrSkip is only supported where explicitly documented. var ErrSkip = errors.New("[…]")
24. NamedValue type NamedValue struct {
 Name string
 Ordinal int
 Value Value
 }
25. NamedValueChecker type NamedValueChecker interface {
 CheckNamedValue(*NamedValue) error
 }
26. Valuer type Valuer interface {
 Value() (Value, error)
 }
27. Valuer и Scanner type JSON interface{} func (j JSON) Value() (driver.Value, error)
 func (j *JSON) Scan(value interface{}) error var _ driver.Valuer = JSON{}
 var _ sql.Scanner = &JSON{}
28. Connector type Connector interface {
 Connect(context.Context) (Conn, error)
 Driver() Driver
 }
29. Connector type Config struct {
 tlsConfig *tls.Config
 // […]
 } func (c *Config) Connect(ctx) (Conn, error)
30. SessionResetter type SessionResetter interface {
 ResetSession(ctx context.Context) error
 }
31. SessionResetter db.SetMaxIdleConns(1)
 db.SetMaxOpenConns(1)
 db.SetConnMaxLifetime(0)
32. Наддрайверы
33. Зачем наддрайверы? • Логирование • Метрики • Профилирование • Трейсинг • Отладка
34. Опциональные интерфейсы func (c wrappedConn) Query(query string,
 args []driver.Value)
 (driver.Rows, error) {
 
 queryer, ok := c.parent.(driver.Queryer)
 if ok {
 return queryer.Query(query, args)
 }
 // ???
35. Опциональные интерфейсы func (c wrappedConn) Query(query string,
 args []driver.Value)
 (driver.Rows, error) {
 
 queryer, ok := c.parent.(driver.Queryer)
 if ok {
 return queryer.Query(query, args)
 }
 return nil, driver.ErrSkip
36. Опциональные интерфейсы • reflect • слишком много багов :( • Кодогенерация • только для конкретного драйвера • Реализация как в database/sql • SessionResetter – возвращаем ErrBadConn
37. Context // Deprecated: Drivers should implement ExecerContext instead.
 type Execer interface {
 Exec(string, []Value) (Result, error)
 } type ExecerContext interface {
 ExecContext(ctx, string, []NamedValue)
 (Result, error)
 }
38. Самый главный совет
39. Тестируйте • На реальных системах, с минимумом моков • На всех комбинациях Go и версий систем • Docker Compose отлично для этого подходит
40. Спасибо! Вопросы?
41. GopherCon Russia 2019 13 апреля, Москва gophercon-russia.ru