Managing Big Data Challenges with Couchbase

A look at how Nielsen uses Couchbase to deal with large volumes of complex data.

Transcript

1. Darrell  Pra(   3  June  2014 MANAGING  BIG  DATA   CHALLENGES  WITH   COUCHBASE
2. DARRELL  PRATT   ARCHITECT  LEAD,  GLOBAL  BUY   ! @darrellpra(
3. ABOUT  NIELSEN
4. Our  mission
5. Help  our  clients  have  the  most  complete   understanding  of  consumers  worldwide
6. tar y. OUR  ECOSYSTEM 6 CollaboraUve  Data
7. tar y. NIELSEN  ANSWERS  ON  DEMAND   7 Flexibility   • On-­‐Demand,  ad-­‐hoc   processing   • Custom  data  definiUons Speed  to  Insights   • Expedited  reporUng   • Roadmaps  and  guided   analysis Integra5on   • Internal  and  external  data   sources   • Channel  Consistency
8. WHO  IS  OUR  CONSUMER?
9. tar y. 9 OUR  CLIENTS • Manufacturers  -­‐  Kra=,  Procter  &  Gamble,  Hershey’s,  Red  Bull     • Measure  Product  Success   • Understand  Consumer  Behavior   • Target  new  product  opportuniUes   • Product  Pricing   • Retailers  -­‐  Safeway,  Tesco,  Walmart   • Understand  consumer  buying  behavior   • Store  performance   • Comparison  to  compeUtors   • Product  pricing
10. WHAT  SORT  OF  DATA?
11. tar y. 11
12. tar y. 12 POINT  OF  SALE,  PANEL  AND  LOYALTY • Point  of  Sale   • Weekly  data  daily   • Disaggregated,  anonymous   • TB/week   • Billions  of  records   • Panel   • Data  from  more  than  250K  households  across  25  countries   • Trip  and  Demographic  data   • Similar  to  Nielsen  families  from  TV   • Loyalty   • Basket  level  loyalty  card  data  from  retailers   • Daily  data  from  thousands  of  stores
13. OUR  APPLICATION
14. XML  and  SQL  are  the  way   of  the  future.   -­‐  Said  no  one  ever
15. HTML5,  SENCHA  EXT  JS,  AM  CHARTS   D3JS
16. JSON  IS  A  COMMON  THEME
17. LIGHTWEIGHT  RESTFUL  BACKEND
18. tar y. 18 FEATURES • One  applicaUon  to  interface  n  warehouses     • Advanced  Business  Intelligence   • Infinite  user  capabiliUes   • Reports  render  in  less  than  2  minutes       • ApplicaUon  load  Umes  under  3  seconds
19. tar y. Pie  and  Line  Charts  -­‐  Editor REPORT  BUILDER 19
20. tar y. Pie  and  Line  Charts  -­‐  Viewer REPORT  VIEWER 20
21. tar y. Stacked  Horizontal  Chart  -­‐  Editor REPORT  BUILDER 21
22. tar y. Stacked  Horizontal  Chart  -­‐  Viewer REPORT  VIEWER 22
23. tar y. Horizontal  Chart  -­‐  Editor REPORT  BUILDER 23
24. tar y. Horizontal  Chart  -­‐  Viewer REPORT  VIEWER 24
25. tar y. Report  dimensional  metadata  selecUon DATA  SELECTOR 25
26. tar y. 26
27. APPLICATION  SPECIFICS
28. tar y. HIGH  LEVEL  VIEW 28 Web$Front$End Portal Repor1ng Por3olio Admin Java$Middle$Tier Spring$IOC$+$Custom Couchbase$Cluster Elas1cSearch Oracle$RAC Netezza Tibco$ESB XDCR
29. tar y. DATA  SIZE 29 • 5  large  buckets,  10s  of  smaller  (might  change  this)   • 4  -­‐  5  TB  of  data  across  both  Couchbase  and  Elas5c  per  datacenter   • 100s  of  thousands  of  user  data  records     • Favorites,  saved  selec5ons,  report  specifica5ons   • Millions  of  dimensional  metadata  items
30. tar y. HARDWARE 30 • Couchbase  Cluster   • 8x  Dell  R815,  132  GB  RAM,  1.2TB  PCIe  SSD,  16  CPUs  in  2  data  centers   • Web  Cluster   • 8x  VMWare  VM,  48  GB  RAM,  4  Cores  in  2  data  centers   • Tibco   • 4x  Dell  R815,  132  GB  RAM,  NAS  Storage,  16  CPUs  in  2  data  centers   • Oracle  RAC   • 2  *  2  data  centers   • Composite  Data  Federa5on   • 8x  VMWare  VM,  48  GB  RAM,  4  cores  in  2  data  centers   • IBM  Pure  Data  (a.k.a.  Netezza  Twin  Fins)   • Many  in  2  data  centers
31. tar y. TECHNOLOGY  STACK 31 • UI  Built  on  Sencha  ExtJS   • Single  page  applicaUon   • MVC  framework   • Middle  Tier  built  on  Spring  MVC  and  Spring  IOC   • JSON  REST  endpoints  through  configuraUon   • XML  to  JSON  conversion  with  GSON  where  needed   • Legacy  SOA  Tier  in  Tibco  AMX  3.2   • Couchbase  2.5  -­‐  Storage,  Caching,  and  View  based  search  (upgrading  with  our  Summer   release)   • Elas5cSearch  -­‐  0.9x  for  full  text  search     • Hudson,  Ar5factory,  Gradle,  Jasmine,  JS  Duck,  Apache  Sonar
32. WHY  DID  WE  CHOOSE   COUCHBASE?
33. WHERE  WE  WERE  AT
34. FLEX,  XML,  TIBCO,  ORACLE
35. tar y. 35
36. WHAT  DID  WE  NEED?
37. SCALABILITY
38. SHARED  STORAGE  TIER  ACROSS  ALL   FRONT  END  APPLICATIONS
39. EASILY  GROW  THE  PLATFORM  FOR  NEW   CLIENTS
40. SPEED
41. MOVE  OUR  DATA  CLOSER  TO  THE  CLIENT
42. REMOVE  UNNECESSARY   TRANSFORMATIONS
43. REMOVE  CACHING  FROM  JVM
44. SUPPORT
45. OPEN  SOURCE  IS  GREAT,  BUT  WHO  DO  WE   CALL  AT  MIDNIGHT A:  Couchbase
46. OUR  WANTS?
47. IT  WASN’T  A  SCHEMA
48. ANALYTICS  ABOVE  OUR  DATA
49. STORE  OUR  DATA  AS  IT  IS  CONSUMED
50. EASY  REPLICATION  ACROSS  LOCATIONS
51. WHY  NO  SQL?
52. RELATIONAL  FATIGUE
53. DATA  MODEL  FLEXIBILITY  &  RICH  DATA
54. SCALE  WITH  EASE
55. SHARDING  AND  REPLICATION  FOR  NO   SINGLE  POINT  OF  FAILURE
56. DID  I  MENTION  JSON
57. HOW  WE  USE  COUCHBASE
58. STORE  DIMENSIONAL  METADATA
59. STORE  ALL  USER  GENERATED  CONTENT
60. REPORT  SPECIFICATIONS,  DATA  SELECTIONS,  BI   RESPONSES
61. tar y. 61 {          "locale":  "en_US",          "requestInstance":  {                  "categoryId":  "NACNLSPI",                  "clientId":  "9997",                  "coreData":  {                          "friendlyUrl":  "https://answers.nielsen.com/portal/site/answers/menuitem.b96e53097992bc115aac7970f75072a0/",                          "guid":  "FFFB2C9F220141DD972F63C755197A42",                          "internalTitle":  "QF01",                          "nativeName":  "QF01",                          "runType":  "HIDDEN",                          "title":  "Nielsen  Quick  Facts"                  },                  "dataSet":  [                          {                                  "basePromptId":  "Fact_QF",                                  "hiddenPrompt":  false,                                  "logicalDimId":  "FCT",                                  "logicalId":  "FCT",                                  "maxSelections":  0,                                  "minSelections":  1,                                  "originalPromptId":  "Fact_QF",                                  "promptId":  "Fact_QF",                                  "promptLabel":  "Facts",                                  "promptName":  "Facts",                                  "selections":  [                                          {                                                  "active":  true,                                                  "id":  "0",                                                  "items":  [                                                          {                                                                  "addTotal":  false,                                                                  "appDesc":  "Groups  (Folders)",                                                                  "baseUuid":  "GRP|VIEW|Fact_QF|0",                                                                  "children":  [                                                                          {                                                                                  "addTotal":  false,                                                                                  "appDesc":  "Fact  Groups",                                                                                  "baseUuid":  "Groups|GROUP|Fact_QF|0",                                                                                  "children":  [                                                                                          {                                                                                                  "addTotal":  false,                                                                                                  "appDesc":  "Sales  Volume",                                                                                                  "baseUuid":  "7836|GROUP_LEVEL|Fact_QF|0",                                                                                                  "children":  [                                                                                                          {                                                                                                                  "addTotal":  false,                                                                                                                  "appDesc":  "Dollars",                                                                                                                  "baseUuid":  "7848|GROUP_LEVEL|Fact_QF|0",                                                                                                                  "children":  [                                                                                                                          {                                                                                                                                  "addTotal":  false,                                                                                                                                  "appDesc":  "$",                                                                                                                                  "baseUuid":  "7848|GROUP_LEVEL|Fact_QF|0|DOL",  
62. XDCR  TO  ELASTIC  FOR  SEARCH
63. AN  ADDED  BONUS
64. DATA  CHANGES.       USER  DATA  IS  AFFECTED
65. CLOBS  ARE  NOT  A  GOOD  STORAGE   MECHANISM  FOR  DYNAMIC  DATA
66. INCREMENTAL  MAP/REDUCE  VIEWS  +   JSON  =  ACCOLADES
67. CAPTURE  DATA  HOTSPOTS
68. FEED  CHANGES  FROM  SUBSYSTEMS  TO   CODE  CLOSE  TO  COUCHBASE
69. EASILY  FIND  OUR  AFFECTED  DATA  WITH   VIEWS,  WITH  LITTLE  IF  ANY  BUILD  TIME
70. WHERE  ARE  WE  HEADED?
71. MOVED  FROM  8  NODES  TO  16
72. STANDING  UP  EUROPEAN  CLUSTER
73. MOVING  TO  PCIE  SSD  STORAGE
74. POC  N1QL  FOR  ELASTICSEARCH   REPLACEMENT
75. STORING  JSON,  DISPLAYING  JSON,  WHY   NOT  SERVE  WITH  JS?
76. DARRELL  PRATT   ARCHITECT  LEADER,  GLOBAL  BUY   ! @darrellpra(   h(p://www.nielsen.com