Песнь Хорьков и Гоферов

Transcript

1. Песнь Хорьков и Гоферов FerretDB и Go 1.18 Алексей Палажченко 2022-02-05
8. MongoDB
9. MongoDB • Отличное удобство для разработчиков
10. MongoDB • Отличное удобство для разработчиков • Рассылали iPad’ы за блог посты
11. MongoDB • Отличное удобство для разработчиков • Рассылали iPad’ы за блог посты • Надёжность
12. MongoDB • Отличное удобство для разработчиков • Рассылали iPad’ы за блог посты • Надёжность • Производительность
13. MongoDB • Отличное удобство для разработчиков • Рассылали iPad’ы за блог посты • Надёжность • Производительность • Масштабируемость
14. MongoDB • Отличное удобство для разработчиков • Рассылали iPad’ы за блог посты • Надёжность • Производительность • Масштабируемость
15. MongoDB • Отличное удобство для разработчиков • Рассылали iPad’ы за блог посты • Надёжность • Производительность • Масштабируемость • … пытается делать всё сразу?
16. MongoDB • Отличное удобство для разработчиков • Рассылали iPad’ы за блог посты • Надёжность • Производительность • Масштабируемость • … пытается делать всё сразу? • Изменения лицензии
17. Не является юридической консультацией™
18. AGPL v3 SSPL
19. AGPL v3 • «If you modify the Program» SSPL
20. AGPL v3 • «If you modify the Program» • «All users interacting with it remotely through a computer network» SSPL
21. AGPL v3 • «If you modify the Program» • «All users interacting with it remotely through a computer network» • «Interacting» – не термин SSPL
22. AGPL v3 • «If you modify the Program» • «All users interacting with it remotely through a computer network» • «Interacting» – не термин • «Corresponding Source» SSPL
23. AGPL v3 • «If you modify the Program» • «All users interacting with it remotely through a computer network» • «Interacting» – не термин • «Corresponding Source» • «Including scripts to control those activities» SSPL
24. AGPL v3 • «If you modify the Program» • «All users interacting with it remotely through a computer network» • «Interacting» – не термин • «Corresponding Source» • «Including scripts to control those activities» • «If you make the functionality of the Program» SSPL
25. AGPL v3 • «If you modify the Program» • «All users interacting with it remotely through a computer network» • «Interacting» – не термин • «Corresponding Source» • «Including scripts to control those activities» • «If you make the functionality of the Program» • «available to third parties as a service» SSPL
26. AGPL v3 • «If you modify the Program» • «All users interacting with it remotely through a computer network» • «Interacting» – не термин • «Corresponding Source» • «Including scripts to control those activities» • «If you make the functionality of the Program» • «available to third parties as a service» • «includes, without limitation, […]» –
 очень широко, не очень ясно SSPL
27. AGPL v3 • «If you modify the Program» • «All users interacting with it remotely through a computer network» • «Interacting» – не термин • «Corresponding Source» • «Including scripts to control those activities» • «If you make the functionality of the Program» • «available to third parties as a service» • «includes, without limitation, […]» –
 очень широко, не очень ясно • «Service Source Code» SSPL
28. AGPL v3 • «If you modify the Program» • «All users interacting with it remotely through a computer network» • «Interacting» – не термин • «Corresponding Source» • «Including scripts to control those activities» • «If you make the functionality of the Program» • «available to third parties as a service» • «includes, without limitation, […]» –
 очень широко, не очень ясно • «Service Source Code» • «including, without limitation, management software, user interfaces, application program interfaces, […], all such that a user could run an instance of the service using the Service Source Code you make available.» SSPL
29. SSPL FAQ
30. The SSPL is Not 
 an Open Source License
31. The SSPL is Not 
 an Open Source License https://opensource.org/node/1099
32. Изменение лицензии на спецификацию
33. FerretDB
34. FerretDB • Прокси для MongoDB протокола
 для PostgreSQL
35. FerretDB • Прокси для MongoDB протокола
 для PostgreSQL • Принимает подключения от немодифицированных клиентов
36. FerretDB • Прокси для MongoDB протокола
 для PostgreSQL • Принимает подключения от немодифицированных клиентов • Парсит BSON запросы
37. FerretDB • Прокси для MongoDB протокола
 для PostgreSQL • Принимает подключения от немодифицированных клиентов • Парсит BSON запросы • Конвертирует из в SQL
38. FerretDB • Прокси для MongoDB протокола
 для PostgreSQL • Принимает подключения от немодифицированных клиентов • Парсит BSON запросы • Конвертирует из в SQL • Отправляет в PostgreSQL
39. FerretDB • Прокси для MongoDB протокола
 для PostgreSQL • Принимает подключения от немодифицированных клиентов • Парсит BSON запросы • Конвертирует из в SQL • Отправляет в PostgreSQL • Лицензия: Apache 2.0
40. PostgreSQL
41. PostgreSQL • Надёжная СУБД
42. PostgreSQL • Надёжная СУБД • Производительная
43. PostgreSQL • Надёжная СУБД • Производительная • Масштабируемая
44. PostgreSQL • Надёжная СУБД • Производительная • Масштабируемая • «Фичастая»
45. Запуск MangoDB
46. Запуск MangoDB
47. Зачем Go 1.18?
48. Зачем Go 1.18? Generics
49. Зачем Go 1.18? Generics Fuzzing
50. Зачем Go 1.18? Generics Fuzzing
51. Generics
52. Generics • Что-то они для нас толком не работают; назад интерфейсы
53. Generics • Что-то они для нас толком не работают; назад интерфейсы • Надо сделать самодостаточный пример для доклада
54. Generics • Что-то они для нас толком не работают; назад интерфейсы • Надо сделать самодостаточный пример для доклада • Хм, а в них что-то есть!
55. BSON документ
56. BSON документ • Ассоциативный массив с сохранением порядка (a.k.a. ordered map)
57. BSON документ • Ассоциативный массив с сохранением порядка (a.k.a. ordered map) • Ключи – строки, значения – любые, включая другие документы
58. BSON документ • Ассоциативный массив с сохранением порядка (a.k.a. ordered map) • Ключи – строки, значения – любые, включая другие документы • Главная структура данных в FerretDB
59. Interfaces type BSONType interface { bsontype() // sealed } type Int int func (Int) bsontype() {} type String string func (String) bsontype() {}
60. Interfaces type BSONType interface { bsontype() // sealed } type Int int func (Int) bsontype() {} type String string func (String) bsontype() {} type Document struct { m map[string]BSONType keys []string } func (*Document) bsontype() {}
61. Interfaces func (d *Document) Set(key string, value BSONType) { if _, ok := d.m[key]; !ok { d.keys = append(d.keys, key) } d.m[key] = value }
62. Interfaces d.Set("foo", Int(42))
63. Interfaces d.Set("foo", Int(42)) d.Set("qux", nil)
64. Generics type BSONType interface { int | string | *Document }
65. Generics type BSONType interface { int | string | *Document } type Document struct { m map[string]any keys []string }
66. Generics func (d *Document) Set[T BSONType](key string, value T) { if _, ok := d.m[key]; !ok { d.keys = append(d.keys, key) } d.m[key] = value }
67. Generics func (d *Document) Set[T BSONType](key string, value T) { if _, ok := d.m[key]; !ok { d.keys = append(d.keys, key) } d.m[key] = value } syntax error: method must have no type parameters
68. Generics func DocumentSet[T BSONType](d *Document, key string, value T) { if _, ok := d.m[key]; !ok { d.keys = append(d.keys, key) } d.m[key] = value }
69. Generics DocumentSet(d, "foo", 42)
70. Generics DocumentSet(d, "foo", 42) // DocumentSet(d, "qux", nil)
71. Interfaces func MakeDocument(pairs ...BSONType) (*Document, error) { l := len(pairs) if l%2 != 0 { return nil, fmt.Errorf("%d arguments", l)
72. Interfaces
73. Interfaces MakeDocument(String("invalid number of arguments"))
74. Interfaces MakeDocument(String("invalid number of arguments")) MakeDocument(Int(42), String("invalid key type"))
75. Interfaces MakeDocument(String("invalid number of arguments")) MakeDocument(Int(42), String("invalid key type")) MakeDocument( String("foo"), Int(42), String("bar"), String("baz"), )
76. Generics
77. Generics func MakeDocument[T BSONType](key string, value T) *Document
78. Generics func MakeDocument[T BSONType](key string, value T) *Document func MakeDocument2[T1, T2 BSONType](key1 string, value1 T1, key2 string, value2 T2) *Document
79. Generics func MakeDocument[T BSONType](key string, value T) *Document func MakeDocument2[T1, T2 BSONType](key1 string, value1 T1, key2 string, value2 T2) *Document func MakeDocument3[T1, T2, T3 BSONType](key1 string, value1 T1, key2 string, value2 T2, key3 string, value3 T3) *Document
80. Generics против интерфейсов
81. Generics против интерфейсов • Лучше в некоторых аспектах
82. Generics против интерфейсов • Лучше в некоторых аспектах • Хуже в других
83. Generics против интерфейсов • Лучше в некоторых аспектах • Хуже в других • https://github.com/AlekSi/generics-vs-interfaces
84. Так что использовать?
85. Так что использовать?
86. Fuzzing
87. Fuzzing • testing/quick на стероидах
88. Fuzzing • testing/quick на стероидах • https://go.dev/blog/fuzz-beta
89. Fuzzing • testing/quick на стероидах • https://go.dev/blog/fuzz-beta • Пакеты для парсинга MongoDB протокола
90. Fuzzing • testing/quick на стероидах • https://go.dev/blog/fuzz-beta • Пакеты для парсинга MongoDB протокола • Использовали ещё до unit тестов
91. Табличные тесты type testCase struct { name string b []byte v bsontype err error }
92. Табличные тесты type testCase struct { name string b []byte v bsontype err error } • Декодировать b в (v2, err2) • сравнить с v / err • Закодировать v2 в b2 • сравнить с b
93. Табличные тесты func TestDocument(t *testing.T) { for _, tc := range testCases { tc := tc t.Run(tc.name, func(t *testing.T) {
94. Fuzzing func FuzzDocument(f *testing.F) { for _, tc := range testCases { f.Add(tc.b) } f.Fuzz(func(t *testing.T, b []byte) {
95. Когда b2 != b
96. Когда b2 != b • b может быть больше, чем надо
97. Когда b2 != b • b может быть больше, чем надо • Непрочитанную часть b нужно отрезать
98. Когда b2 != b • b может быть больше, чем надо • Непрочитанную часть b нужно отрезать • Некоторые байты могут быть не важны
99. Когда b2 != b • b может быть больше, чем надо • Непрочитанную часть b нужно отрезать • Некоторые байты могут быть не важны • Нужно использовать канонизацию (json.Compact и так далее)
100. Проблемы fuzzing’а
101. Проблемы fuzzing’а • Нет подтестов (testing.F.Run)
102. Проблемы fuzzing’а • Нет подтестов (testing.F.Run) • Безымянные значения seed corpus’а
103. Проблемы fuzzing’а • Нет подтестов (testing.F.Run) • Безымянные значения seed corpus’а • Определение «зависания» не очень надёжно
 (с GOMAXPROCS по-умолчанию)
104. Fuzzing
105. Fuzzing • Нашли несколько багов в самом `go test -fuzz`
106. Fuzzing • Нашли несколько багов в самом `go test -fuzz` • Нашли много багов в FerretDB
107. Fuzzing • Нашли несколько багов в самом `go test -fuzz` • Нашли много багов в FerretDB • Для парсинга – самое то!
108. Ссылки • https://github.com/AlekSi/ generics-vs-interfaces • https://github.com/akutz/
 go-generics-the-hard-way • https://go.dev/doc/tutorial/ • https://go.dev/doc/fuzz/ • https://www.ferretdb.io • https://github.com/FerretDB ⭐ • https://t.me/HowToGoWrong • https://github.com/AlekSi • @paaleksey