nuoDB - SQL with attitude

Slides from the session at the Developer Conference 2013

Transcript

1.                        –  SQL  with  a+tude!   Marcus  Ross   @zahlenhelfer  
2. <<<  „Hi,  I´m  Marcus!“   about.me/marcus.ross  
3. I´m  not  a   salesman!  
4. h>p://www.flickr.com/photos/68751915@N05/  
5. Bevor  es  losgeht...  
6. h>p://www.flickr.com/photos/38722267@N03/   Mr.Enterprise   High  Avail.   Compliance   Scale   on  Premise   Next  big   thing!   SQL   Hibernate   .NET   Cluster  
7. h>p://www.flickr.com/photos/jessetorres/   Jedi-­‐Dev.   Cloud   memCache   NoSQL   Sharding   Horiz-­‐Scale   oder,  oder,  oder....  
8. Das  Problem   •  Deutsche  Enterprises  <>  cloud-­‐aware   •  vorhandene  DB-­‐Assets  sind  meist  in  SQL   •  SQL  ist  vertraut  –  NoSQL  Ideen  böse  J   •  Mapper/Wrapper/Objekt-­‐Fänger  sind  vorhanden   •  aber  skalieren  muss  gehen   •  Cloud-­‐ready  zu  sein  ist  wicheg   •  Die  Big-­‐Data  Falle  
9. Aber  geht  doch  auch  so!   •  160  CPU  cores  /  4  TB  of     memory  for  database  processing     •  168  CPU  cores  dedicated  to     SQL  processing  in  storage     •  2  database  servers   •  14  Oracle  Exadata  Storage  Servers   •  22.4  TB  of  Exadata  Flash  Cache   •  40  Gb/second  InfiniBand  Switches  
10. oder  auch...   h>ps://communiees.vmware.com/message/1764247  
11. nuoDB  als  Lösung?   •  es  stellt  vertrautes  dar  –  SQL!   •  ANSI  SQL-­‐92  kompaebel  mit  SQL-­‐99  Erweiterungen   •  vorhandener  Code/SQL  kann  genutzt  werden   •  skaliert  aber  auf  commodity  Hardware   •  Administraeon  einfach  möglich   •  Cloud  Build-­‐in   •  Storage-­‐HA   •  Zero  Downeme   •  Plalorm  neutral   •  und  ....  
12. h>p://www.flickr.com/photos/icanchangethisright/6976502047  
13. nuoDB  requirements   •  OSX  10.7  /  10.8  /  10.9   •  Windows  7  /  2008  /  2012  x64   •  Red  Hat  5.9,  6.3  x64   •  Ubuntu  12.04  x64   •  Azure   •  Amazon  EC2   •  Soplayer   •  Aber  alles  mit                  (JRE)  1.6  
14. Aktuell  Version  2.0  -­‐  Blackbirds   •  Fix  von  über  300  Bugs   •  Tungsten  Replicator  Support  (MySQL)   •  unixODC  Support  (Beispiel:  asterix)   •  Drupal  Driver  V7  –  Preview   •  Auto  Administraeon   •  Cerefied  ZFS  2.0  Support!   •  nuosql  ist  mysqldump  kompaebel  
15. Daten  persiseeren   Transakeonen  verarbeiten   Verbindungen  managen   Wie  funkeoniert  es  denn?   MSSQLServer.exe   Nuo  Broker   Nuo  Transaceons   Nuo  Stroage   Clients  
16. Der  Trick!   •  Jeder  Tier  ist  unabhängig   •  Jeder  Prozess  läup  unabhängig   •  Jeder  Prozess  in  einem  eigenen  Datacenter   •  und....  
17. einfacher  Überblick  
18. Alles  ist  ein  Atom  
19. Broker   •  Anlaufpunkt  für  Clients   •  exiseert  mindestens  1x   •  kennt  die  Transaceon-­‐Engine   •  dispatched  Clients  an  die  TE  
20. Transaceon  Engine   •  Speichert  die  Daten  im  RAM   •  verarbeitet  Daten   •  hat  einen  Agenten  für  Kommunikaeon   •  async.  Replizieren  an  andere  TE   – Repli.-­‐Nachrichten  sind  ca.  18  Bytes  lang   •  sendet  Updates/Inserts  an  die  Storage-­‐Engine  
21. Storage  Engine  (SE)   •  persiseert  Daten  (Atome)   •  asynchrones  Replizieren  mit  anderen  SE   •  Backend  ist  beliebig   –  LFS  (local  file  System)   –  SAN   –  HDFS   –  Amazon  S3  
22. Wie  funkeoniert  es  im  Großen?  
23. Mule-­‐Version  Concurrency  Control     h>p://www.flickr.com/photos/jim10/374679242  
24. Konflikten  aus  dem  Weg  gehen   •  Mehrere  Kopien  eines  Atoms  sind  verteilt,  dabei  passiert   ein  Konflikt.  Ein  Atom  ist  allerdings  der  sogn.  Chairman.  Er   ist  Schiedsrichter  und  löst  Konflikte.     •  Lokale  Daten-­‐Atome  senden  die  Änderungen  an  den   Chairman.   •  Der  Chairman  erhält  die  Konflikt-­‐Meldung  und  versucht   aufzulösen   •  Während  der  Entscheidung  wird  jede  Änderung  angehalten   •  Damit  auch  jede  Transakeon  bis  der  „Chairman“  auflöst  
25. Was  passiert  wenn...   •  Broker  down   –  keine  neuen  Client-­‐Verbindungen  möglich   –  Kein  Hinzufügen  von  neuen  Hosts     •  Storage  down   –  kein  Zugriff  auf  Daten  die  nicht  im  TE-­‐RAM  sind   •  TE  down   –  keine  Verarbeitung  von  SQL-­‐Queries  
26. the  good  and  the  bad  
27. breiter  Support   •  Hibernate   •  PHP  PDO   •  ADO.NET   •  Aceve  Records  (Ruby)   •  JDBC   •  ODBC   •  Python   •  Perl   •  node.js  
28. Tools,  Tools,  Tools   •  NuoDB  Migrator   –  Migraeonshilfe   •  NuoSQL  CLI   –  Sql-­‐Command-­‐Prompt   •  NuoDB  SQL  Explorer   –  SQL  Web  Gui   •  NuoDB  Loader   –  Datei-­‐Importer  
29. The  Bad   •  Lizenzen  benöegt   •  Preis  unklar   •  ANSI  92  aber  MySQL,  MSSQL,  Oracle?   •  Auto-­‐Scale?!   •  Projekte  /  bzw.  belastbare  Zahlen   •  kompliziert  zu  nutzen  //  2.0!  
30. Quickstart   •  Broker  starten   nuodbmgr --broker localhost --user domain --password bird   •  Storage  Manager  starten   •  Transaceon  Manager  starten   •  Create  Schema   •  Import  Data   oder....  
31. Storefront  Demo   •  Web-­‐Shop  zum  Testen   •  Simulaeon  von  Nutzern  möglich   •  Basiert  auf  Standard-­‐Komponenten   •  Source  und  DDL  ist  frei  verfügbar  
32. Storefront  Demo   Serverseieg  Bibliotheken:   •  Jersey  -­‐  JSON-­‐based  RESTful  API   •  Hibernate  -­‐  ORM  mapping   •  NuoDB  JDBC  driver,  Hibernate  dialect,  and   DataSource  conneceon  pool   •  GoogleCode  Generic  DAO  -­‐  thin  data  access   wrapper  on  Hibernate  for  searching,  saving,  etc.  
33. Storefront  Demo   Frontend:   •  Twi>er  Bootstrap  -­‐  look  &  feel   •  Handlebars  -­‐  HTML  templaeng   •  jQuery  /  RateIt  plug-­‐in  -­‐  star  raengs  
34. Demoeme...   •  Web-­‐Console  (Je>y-­‐Container)   h>p://localhost:8080   •  Shop-­‐Frontend   h>p://localhost:8080/storefront/admin/  
35. Fazit   •  Wenn  SQL  ein  Thema  ist,  dann  ausprobieren   •  wirklich  einfache  Installaeon  /  Skalierung   •  Dev.-­‐Lizenz  lässt  einfachen  Start  zu   •  SLAs  möglich   •  nicht  Feature-­‐Complete   •  Version  2.0  ist  ein  großer  Schri>  vorwärts   •  es  fehlen  noch  Zahlen  aus  Projekten  
36. DANKE!   Marcus  Ross  –  Zahlenhelfer  Consuleng  -­‐  @zahlenhelfer   alle  Folien  auch  auf  www.speakerdeck.com/u/zahlenhelfer