MySQL Innovation & Cloud Day - Document Store avec MySQL HeatWave Database Service

Frédéric Descamps
Community Manager
Oracle MySQL
Novembre 2022
Document Store avec MySQL
Document Store avec MySQL
HeatWave Database Service
HeatWave Database Service
MySQL Innovation & Cloud Day
MySQL Innovation & Cloud Day

View Slide

Qui suis-je ?
Qui suis-je ?
about.me/lefred
about.me/lefred
Copyright @ 2022 Oracle and/or its affiliates.
2

View Slide

Frédéric Descamps
@lefred
animateur de la Communauté MySQL
utilisateur de MySQL depuis la version
3.20
fervant adepte du vrai devops
habite dans la contrée de la bière, du
chocolat et des frites
h ps://lefred.be
3

View Slide

MySQL 8.0 Document Store
MySQL 8.0 Document Store
à la découverte du nouveau monde !
à la découverte du nouveau monde !
4

View Slide

NoSQL Document Store
Sans structure (schemaless)
5

View Slide

pas de conception de schéma, pas de normalisation, pas de clés étrangères, pas de types de
données, ...
5

View Slide

données, ...
un développement initial très rapide
5

View Slide

données, ...
Structure de données exible
5

View Slide

données, ...
tableaux ou objets intégrés
5

View Slide

données, ...
solution valable lorsque les certaines données ne peuvent pas être modélisées de manière
optimale dans un modèle relationnel
5

View Slide

données, ...
persistance des objets sans l'utilisation d'un ORM - mapping oobject-oriented
5

View Slide

données, ...
JSON
5

View Slide

données, ...
JSON
proche du frontend
5

View Slide

données, ...
JSON
proche du frontend
apprentissage aisé
5

View Slide

par les DBAs
Percection des données
6

View Slide

par les DBAs par les développeurs
{
{
"GNP"
"GNP" :
: 249704
249704,
,
"Name"
"Name" :
: "Belgium"
"Belgium",
,
"government"
"government" :
: {
{
"GovernmentForm"
"GovernmentForm" :
:
"Constitutional Monarchy, Federation"
"Constitutional Monarchy, Federation",
,
"HeadOfState"
"HeadOfState" :
: "Philippe I"
"Philippe I"
}
},
,
"_id"
"_id" :
: "BEL"
"BEL",
,
"IndepYear"
"IndepYear" :
: 1830
1830,
,
"demographics"
"demographics" :
: {
{
"Population"
"Population" :
: 10239000
10239000,
,
"LifeExpectancy"
"LifeExpectancy" :
: 77.8000030517578
77.8000030517578
}
},
,
}
}
Percection des données
6

View Slide

Il faut quand-même toujours réaliser des analyses
SQL
SQL
SQL
7

View Slide

... mais...comment ?
?
SQL
SQL
SQL
8

View Slide

En migrant les données (ETL)
SQL
SQL
SQL
ETL: Extraction-Transformation-Chargement
9

View Slide

Et s'il y avait un moyen de fournir à la fois SQL et NoSQL
sur une plateforme stable qui a prouvé sa stabilité sur
une technologie bien connue disposant d'une grande
communauté et un écosystème diversi é ?
10

View Slide

RDBMS ou NoSQL ?
11

View Slide

RDBMS ou NoSQL ?
Pourquoi pas les deux ?
11

View Slide

MySQL Document Store !
Où le SQL est optionnel ?!
12

View Slide

Le SQL est optionnel ?!
13

View Slide

Utilisation de MySQL Document Store !
SQL
SQL
SQL
14

View Slide

La Solution
La Solution
MySQL Document Store
15

View Slide

Bâti sur le
type de
données
JSON et la
solide
technologie
de MySQL
Server
Fournit un JSON Document Store exible en terme de schéma
Aucune connaissance de SQL requise
Pas besoin de dé nir tous les a ributs possibles, les tables, etc.
Utilise la nouvelle interface X DevAPI
Possibilité d'indexation des données
Un document peut avoir une taille de ~1GB !
Permet l'utilisation des nouveaux styles de programmation moderne
Possibilité de ne plus avoir de requêtes SQL intégrées dans le code
Code plus facile à lire
Fonctionne également aves les tables relationnelles
Compatible avec les solutions existantes pour MySQL
16

View Slide

Connecteurs compatibles avec X Protocol
17

View Slide

Installation
Installation
18

View Slide

Installation de MySQL Document Store
installer MySQL 8.0
19

View Slide

installer MySQL 8.0
installer MySQL Shell
19

View Slide

installer MySQL 8.0
installer un connecteur pour votre langage de programmation
19

View Slide

installer MySQL 8.0
php-pecl-mysql-xdevapi pour PHP
mysql-connector-python pour Python
...
19

View Slide

installer MySQL 8.0
php-pecl-mysql-xdevapi pour PHP
mysql-connector-python pour Python
...
Et rien d'autre, pas besoin d'installer d'autre composant ou de charger un plugin. Assurez-
vous simplement que votre pare-feu vous perme e de vous connecter au port 33060 (X
Protocol).
19

View Slide

MySQL HeatWave Database Service
MySQL HeatWave Database Service sur OCI est le seul service dans le Cloud perme ant
d'utiliser le X Protocol.
20

View Slide

Migration de MongoDB vers MySQL DS
Pour cet example, j'utilise la collection restaurants de MongoDB:
$ mongoexport
$ mongoexport -c
-c restaurants
restaurants >
> restaurants.json
restaurants.json
connected to:
connected to: 127.0
127.0.0.1
.0.1
exported
exported 25359
25359 records
records
21

View Slide

Migration de MongoDB vers MySQL DS
Pour cet example, j'utilise la collection restaurants de MongoDB:
$ mongoexport
$ mongoexport -c
-c restaurants
restaurants >
> restaurants.json
restaurants.json
connected to:
connected to: 127.0
127.0.0.1
.0.1
exported
exported 25359
25359 records
records
JS
JS>
> util
util.
.importJson
importJson(
('restaurants.json'
'restaurants.json',
,{
{convertBsonOid
convertBsonOid:
: true
true}
})
)
Importing from file
Importing from file "restaurants.json"
"restaurants.json" to collection
to collection `
`docstore
docstore`
`.
.`
`restaurants
restaurants`
`
in
in MySQL Server at localhost
MySQL Server at localhost:
:33060
33060
.
..
. 25359.
25359..
. 25359
25359
Processed
Processed 15.60
15.60 MB
MB in
in 25359
25359 documents
documents in
in 0.9976
0.9976 sec
sec (
(25
25.
.36K documents
36K documents/
/s
s)
)
Total successfully imported documents
Total successfully imported documents 25359
25359 (
(25
25.
.36K documents
36K documents/
/s
s)
)
21

View Slide

22

View Slide

23

View Slide

24

View Slide

25

View Slide

Faisons une requête
JS > restaurants.find()
C'est beaucoup trop d'enrgistrements pour les a cher ici... limitons-les
26

View Slide

27

View Slide

Quelques autres examples
28

View Slide

Ajoutons un critère de sélection
29

View Slide

Syntaxe légèrment di érente de celle de MongoDB
30

View Slide

Et pour les développeurs ?
31

View Slide

$session
$session =
= mysql_xdevapi
mysql_xdevapi\
\getSession
getSession(
("mysqlx://fred:[email protected]%@localhost"
"mysqlx://fred:[email protected]%@localhost")
);
;
$schema
$schema =
= $session
$session->
->getSchema
getSchema(
("docstore"
"docstore")
);
;
$collection
$collection =
= $schema
$schema->
->getCollection
getCollection(
("restaurants"
"restaurants")
);
;
$results
$results =
= $collection
$collection->
->find
find(
($search
$search)
)->
->execute
execute(
()
)->
->fetchAll
fetchAll(
()
);
;
...
...
foreach
foreach (
($results
$results as
as $doc
$doc)
) {
{
echo
echo "${doc[name]}"
"${doc[name]}";
;
echo
echo "${doc[borough]}${doc[cuisine]}"
"${doc[borough]}${doc[cuisine]}";
;
}
}
32

View Slide

$session
$session =
= mysql_xdevapi
mysql_xdevapi\
\getSession
getSession(
);
;
$schema
$schema =
= $session
$session->
->getSchema
getSchema(
("docstore"
"docstore")
);
;
$collection
$collection =
= $schema
$schema->
->getCollection
getCollection(
("restaurants"
"restaurants")
);
;
$results
$results =
= $collection
$collection->
->find
find(
($search
$search)
)->
->execute
execute(
()
)->
->fetchAll
fetchAll(
()
);
;
...
...
foreach
foreach (
($results
$results as
as $doc
$doc)
) {
{
echo
echo "${doc[name]}"
"${doc[name]}";
;
echo
;
}
}
Facile, en utilisant uniquement des opérations CRUD !
32

View Slide

$session
$session =
= mysql_xdevapi
mysql_xdevapi\
\getSession
getSession(
);
;
$schema
$schema =
= $session
$session->
->getSchema
getSchema(
("docstore"
"docstore")
);
;
$collection
$collection =
= $schema
$schema->
->getCollection
getCollection(
("restaurants"
"restaurants")
);
;
$results
$results =
= $collection
$collection->
->find
find(
($search
$search)
)->
->execute
execute(
()
)->
->fetchAll
fetchAll(
()
);
;
...
...
foreach
foreach (
($results
$results as
as $doc
$doc)
) {
{
echo
echo "${doc[name]}"
"${doc[name]}";
;
echo
;
}
}
Facile, en utilisant uniquement des opérations CRUD !
Pas une seule instruction SQL !
32

View Slide

En
import
import *
*;
;
class
class Main
Main {
{
public
public static
static void
void main
main(
(String
String args
args[
[]
])
) {
{
Session
Session mySession
mySession =
= new
new SessionFactory
SessionFactory(
()
)
.
.getSession
getSession(
("mysqlx://localhost:33060/docstore?user=resto&password=Passw0rd!"
"mysqlx://localhost:33060/docstore?user=resto&password=Passw0rd!")
);
;
Schema
Schema myDb
myDb =
= mySession
mySession.
.getSchema
getSchema(
("docstore"
"docstore")
);
;
Collection
Collection myColl
myColl =
= myDb
myDb.
.getCollection
getCollection(
("restaurants"
"restaurants")
);
;
DocResult
DocResult myDocs
myDocs =
= myColl
myColl.
.find
find(
("name like :param"
"name like :param")
).
.limit
limit(
(1
1)
)
.
.bind
bind(
("param"
"param",
, "Green%"
"Green%")
).
.execute
execute(
()
);
;
System
System.
.out
out.
.println
println(
(myDocs
myDocs.
.fetchOne
fetchOne(
()
))
);
;
mySession
mySession.
.close
close(
()
);
;
}
}
}
}
com
com.
.mysql
mysql.
.cj
cj.
.xdevapi
xdevapi.
.
33

View Slide

Opérations CRUD
L'acronyme informatique anglais CRUD (pour Create, Read, Update, Delete) désigne les quatre opérations de base pour la persistance des
données, en particulier le stockage d'informations en base de données.
34

View Slide

Opérations CRUD relatives aux collections
Ajout d'un document
collection
collection.
.add
add(
({
{ name
name:
: 'fred'
'fred',
, age
age:
: 46
46 }
})
)
.
.add
add(
({
{ name
name:
: 'scott'
'scott',
, age
age:
: 47
47 }
})
)
.
.execute
execute(
()
)
collection
collection.
.add
add(
([
[
{
{ name
name:
: 'dimo'
'dimo',
, age
age:
: 50
50 }
},
,
{
{ name
name:
: 'kenny'
'kenny',
, age
age:
: 25
25 }
}
]
])
).
.execute
execute(
()
)
35

View Slide

collection
collection.
.modify
modify(
('name = :name'
'name = :name')
)
.
.bind
bind(
('name'
'name',
, 'fred'
'fred')
)
.
.set
set(
('age'
'age',
, 43
43)
)
.
.sort
sort(
('name ASC'
'name ASC')
)
.
.limit
limit(
(1
1)
)
.
.execute
execute(
()
)
collection
collection.
.modify
modify(
('name = :name'
'name = :name')
)
.
.bind
bind(
('name'
'name',
, 'fred'
'fred')
)
.
.patch
patch(
({
{ age
age:
: 43
43,
, active
active:
: false
false }
})
)
.
.sort
sort(
('name DESC'
'name DESC')
)
.
.limit
limit(
(1
1)
)
.
.execute
execute(
()
)
Modi cation d'un document
36

View Slide

Suppression d'un document
collection
collection.
.remove
remove(
('name = :name'
'name = :name')
)
.
.bind
bind(
('name'
'name',
, 'fred'
'fred')
)
.
.sort
sort(
('age ASC'
'age ASC')
)
.
.limit
limit(
(1
1)
)
.
.execute
execute(
()
)
37

View Slide

MySQL Document Store Objects Summary
38

View Slide

Tout ce dont vous avez besoin, se trouve ici:
h ps://dev.mysql.com/doc/x-devapi-userguide/en/crud-operations-overview.html
39

View Slide

est entièrement conforme à la norme ACID
est entièrement conforme à la norme ACID
nous nous soucions de vos données
nous nous soucions de vos données
40

View Slide

Document Store entièrement ACID !
Ce e solution s'appuie sur la force et la robustesse éprouvée de MySQL InnoDB
41

View Slide

innodb_ ush_log_at_trx_commit = 1
41

View Slide

innodb_doublewrite = ON
41

View Slide

sync_binlog = 1
41

View Slide

sync_binlog = 1
transaction_isolation = REPEATABLE-READ|READ-COMMITTED|...
41

View Slide

sync_binlog = 1
transaction_isolation = REPEATABLE-READ|READ-COMMITTED|...
Nous nous soucions de vos données !
41

View Slide

ACID - Transactions
42

View Slide

ACID - Transactions
43

View Slide

OK nous avons le Document Store,
OK nous avons le Document Store,
les opérations CRUD et la norme ACID
les opérations CRUD et la norme ACID
mais qu'est-ce qui rend le MySQL Document Store unique
mais qu'est-ce qui rend le MySQL Document Store unique
?
?
44

View Slide

Challenge: listez les meilleurs restaurants de chaque
type de nourriture et a chez le top 10, avec le meilleur
en premier !
n'oubliez pas que tous ces restaurants ne sont que des documents JSON
45

View Slide

Traiter le NoSQL comme du SQL - agrégation
46

View Slide

47

View Slide

48

View Slide

49

View Slide

NoSQL ou SQL
Vous avez la possibilité d'écrire un code propre et soigné :
50

View Slide

NoSQL ou SQL
$results
$results =
= $collection
$collection->
->find
find(
('cuisine like "italian"'
'cuisine like "italian"')
)->
->execute
execute(
()
)->
->fetchAll
fetchAll(
()
);
;
50

View Slide

NoSQL ou SQL
$results
$results =
= $collection
$collection->
->find
find(
)->
->execute
execute(
()
)->
->fetchAll
fetchAll(
()
);
;
Et n'utilisez SQL que lorsque c'est vraiment nécessaire :
50

View Slide

NoSQL ou SQL
$results
$results =
= $collection
$collection->
->find
find(
)->
->execute
execute(
()
)->
->fetchAll
fetchAll(
()
);
;
Et n'utilisez SQL que lorsque c'est vraiment nécessaire :
$results
$results =
= $session
$session->
->sql
sql(
('WITH cte1 AS (SELECT doc->>"$.name" AS name,
'WITH cte1 AS (SELECT doc->>"$.name" AS name,
doc->>"$.cuisine" AS cuisine,
doc->>"$.cuisine" AS cuisine,
(SELECT AVG(score) FROM JSON_TABLE(doc, "$.grades[*]" COLUMNS (score INT
(SELECT AVG(score) FROM JSON_TABLE(doc, "$.grades[*]" COLUMNS (score INT
PATH "$.score")) AS r) AS avg_score FROM docstore.restaurants) SELECT *, RANK()
PATH "$.score")) AS r) AS avg_score FROM docstore.restaurants) SELECT *, RANK()
OVER ( PARTITION BY cuisine ORDER BY avg_score) AS `rank`
OVER ( PARTITION BY cuisine ORDER BY avg_score) AS `rank`
FROM cte1 ORDER BY `rank`, avg_score DESC LIMIT 10;'
FROM cte1 ORDER BY `rank`, avg_score DESC LIMIT 10;')
)->
->execute
execute(
()
);
;
50

View Slide

Tout cela dans la même session MySQL X !
51

View Slide

vous pouvez combiner NoSQL & SQL
52

View Slide

Aller plus loin !
Le meilleur des deux mondes:
53

View Slide

Aller plus loin !
Le meilleur des deux mondes:
Et le résultat en action:
53

View Slide

54

View Slide

Conclusion
Conclusion
qu'est ce que j'y gagne ?
qu'est ce que j'y gagne ?
55

View Slide

absence de schéma
structure de données exible
apprentissage facile (CRUD)
Conclusion
Le meilleur des deux mondes en un seul produit !
Intégrité des données
Conforme à la norme ACID
Transactions
SQL
56

View Slide

MySQL 8.0 DBA Certi cation
57

View Slide

MySQL 8.0 Developer Certi cation
58

View Slide

Merci !
Merci !
59

View Slide

MySQL Innovation & Cloud Day - Document Store avec MySQL HeatWave Database Service

MySQL Innovation & Cloud Day - Document Store avec MySQL HeatWave Database Service

lefred

More Decks by lefred

Other Decks in Programming

Featured

Transcript