Building a Business Intelligence Application with ExtJS and Couchbase

1. Darrell  Pra(   3  June  2014 BUILDING  AN  BUSINESS   INTELLIGENCE  APPLICATION   WITH  EXTJS  AND  COUCHBASE WHERE  ARE  WE  NOW  
2. DARRELL  PRATT   ARCHITECT  LEAD,  GLOBAL  BUY   ! @darrellpra(
3. ABOUT  NIELSEN
4. Help  our  clients  have  the  most  complete   understanding  of  consumers  worldwide
5. tar y. OUR  ECOSYSTEM 5 CollaboraVve  Data
6. tar y. NIELSEN  ANSWERS  ON  DEMAND   6 Flexibility   • On-­‐Demand,  ad-­‐hoc   processing   • Custom  data  definiVons Speed  to  Insights   • Expedited  reporVng   • Roadmaps  and  guided   analysis Integra5on   • Internal  and  external  data   sources   • Channel  Consistency
7. WHO  IS  OUR  CONSUMER?
8. tar y. 8 OUR  CLIENTS • Manufacturers  -­‐  Kra=,  Procter  &  Gamble,  Hershey’s,  Red  Bull     • Measure  Product  Success   • Understand  Consumer  Behavior   • Target  new  product  opportuniVes   • Product  Pricing   • Retailers  -­‐  Safeway,  Tesco,  Walmart   • Understand  consumer  buying  behavior   • Store  performance   • Comparison  to  compeVtors   • Product  pricing
9. WHAT  SORT  OF  DATA?
10. tar y. 10
11. tar y. 11 POINT  OF  SALE,  PANEL  AND  LOYALTY • Point  of  Sale   • Weekly  data  daily   • Disaggregated,  anonymous   • TB/week   • Billions  of  records   • Panel   • Data  from  more  than  250K  households  across  25  countries   • Trip  and  Demographic  data   • Similar  to  Nielsen  families  from  TV   • Loyalty   • Basket  level  loyalty  card  data  from  retailers   • Daily  data  from  thousands  of  stores
12. OUR  APPLICATION
13. XML  and  SQL  are  the  way   of  the  future.   -­‐  Said  no  one  ever
14. HTML5,  SENCHA  EXT  JS,  AM  CHARTS   D3JS
15. JSON  IS  A  COMMON  THEME
16. LIGHTWEIGHT  RESTFUL  BACKEND
17. tar y. 17 FEATURES • One  applicaVon  to  interface  n  warehouses     • Advanced  Business  Intelligence   • Infinite  user  capabiliVes   • Reports  render  in  less  than  2  minutes       • ApplicaVon  load  Vmes  under  3  seconds
18. tar y. 18 FEATURES • Full  drag  and  drop  of  reporVng  objects   • Objects  know  what  they  are  and  how  to  interact  with  others   • “Where  to  Drop?”  assistance   • Full  “undo”  of  acVons   • LocalStorage  in  browser  for  cache  backup   • Responsive  design  for  different  client  profiles  
19. tar y. Pie  and  Line  Charts  -­‐  Editor REPORT  BUILDER 19
20. tar y. Pie  and  Line  Charts  -­‐  Viewer REPORT  VIEWER 20
21. tar y. Stacked  Horizontal  Chart  -­‐  Editor REPORT  BUILDER 21
22. tar y. Stacked  Horizontal  Chart  -­‐  Viewer REPORT  VIEWER 22
23. tar y. Report  dimensional  metadata  selecVon DATA  SELECTOR 23
24. tar y. 24
25. APPLICATION  SPECIFICS
26. tar y. HIGH  LEVEL  VIEW 26
27. tar y. APPLICATION  VIEW 27 Report'Builder'UI <<ExtJS>> Progress'Queue' Manager Applica2on'Model Report'Model Applica2on'Controller Naviga2on'Manager Model Layer Controller Layer View'(n) View Layer View'Controller De>.JS Data'Selec2on'Model
28. tar y. DATA  SIZE 28 • 5  large  buckets,  10s  of  smaller  (might  change  this)   • 4  -­‐  5  TB  of  data  across  both  Couchbase  and  Elas5c  per  datacenter   • 100s  of  thousands  of  user  data  records     • Favorites,  saved  selec5ons,  report  specifica5ons   • Millions  of  dimensional  metadata  items
29. tar y. TECHNOLOGY  STACK 29 • UI  Built  on  Sencha  ExtJS  4.2   • Single  page  applicaVon   • MVC  framework   • Middle  Tier  built  on  Spring  MVC  and  Spring  IOC   • JSON  REST  endpoints  through  configuraVon   • XML  to  JSON  conversion  with  GSON  where  needed   • Legacy  SOA  Tier  in  Tibco  AMX  3.2   • Couchbase  2.5  -­‐  Storage,  Caching,  and  View  based  search  (upgrading  with  our  Summer   release)   • Elas5cSearch  -­‐  0.9x  for  full  text  search     • Hudson,  Ar5factory,  Gradle,  Jasmine,  JS  Duck
30. tar y. HARDWARE 30 • Couchbase  Cluster   • 8x  Dell  R815,  132  GB  RAM,  1.2TB  PCIe  SSD,  16  CPUs  in  2  data  centers   • Web  Cluster   • 8x  VMWare  VM,  48  GB  RAM,  4  Cores  in  2  data  centers   • Tibco   • 4x  Dell  R815,  132  GB  RAM,  NAS  Storage,  16  CPUs  in  2  data  centers   • Oracle  RAC   • 2  *  2  data  centers   • Composite  Data  Federa5on   • 8x  VMWare  VM,  48  GB  RAM,  4  cores  in  2  data  centers   • IBM  Pure  Data  (a.k.a.  Netezza  Twin  Fins)   • Many  in  2  data  centers
31. COUCHBASE  DETAILS
32. tar y. COUCHBASE  SERVER  -­‐  COMPONENTS 32
33. tar y. COUCHBASE  SERVER  -­‐  COMPONENTS 33
34. tar y. TECHNOLOGY  STACK 34 • Couchbase  2.5   • Schema-­‐less  clustered  JSON  storage   • Key/value  cache  based  on  memcached   • Full  text  search  integra5on  with  XDCR  with  Elas5c  Search   • JSON   • Na5ve  JSON  encoding  down  the  stack   • No  unnecessary  transforma5ons   • No  tables   • Incremental  Map  Reduce   • Used  for  Analy5cs  on  our  data   • Creates  views  which  are  analogous  to  tables
35. WHERE  WE  WERE  AT
36. FLEX,  XML,  TIBCO,  ORACLE
37. tar y. 37
38. WHAT  DID  WE  NEED?
39. SCALABILITY
40. SHARED  STORAGE  TIER  ACROSS  ALL   FRONT  END  APPLICATIONS
41. EASILY  GROW  THE  PLATFORM  FOR  NEW   CLIENTS
42. SPEED
43. MOVE  OUR  DATA  CLOSER  TO  THE  CLIENT
44. REMOVE  UNNECESSARY   TRANSFORMATIONS
45. LIGHTEN  OUR  CLIENT  FACING   APPLICATION
46. WHY  YOU  NO  SQL?
47. RELATIONAL  FATIGUE
48. DATA  MODEL  FLEXIBILITY  &  RICH  DATA
49. SCALE  WITH  EASE
50. SHARDING  AND  REPLICATION  FOR  NO   SINGLE  POINT  OF  FAILURE
51. DID  I  MENTION  JSON
52. HOW  WE  USE  COUCHBASE
53. STORE  ALL  USER  GENERATED  CONTENT
54. REPORT  SPECIFICATIONS,  DATA  SELECTIONS,  BI   RESPONSES
55. tar y. 55 {          "locale":  "en_US",          "requestInstance":  {                  "categoryId":  "NACNLSPI",                  "clientId":  "9997",                  "coreData":  {                          "friendlyUrl":  "https://answers.nielsen.com/portal/site/answers/menuitem.b96e53097992bc115aac7970f75072a0/",                          "guid":  "FFFB2C9F220141DD972F63C755197A42",                          "internalTitle":  "QF01",                          "nativeName":  "QF01",                          "runType":  "HIDDEN",                          "title":  "Nielsen  Quick  Facts"                  },                  "dataSet":  [                          {                                  "basePromptId":  "Fact_QF",                                  "hiddenPrompt":  false,                                  "logicalDimId":  "FCT",                                  "logicalId":  "FCT",                                  "maxSelections":  0,                                  "minSelections":  1,                                  "originalPromptId":  "Fact_QF",                                  "promptId":  "Fact_QF",                                  "promptLabel":  "Facts",                                  "promptName":  "Facts",                                  "selections":  [                                          {                                                  "active":  true,                                                  "id":  "0",                                                  "items":  [                                                          {                                                                  "addTotal":  false,                                                                  "appDesc":  "Groups  (Folders)",                                                                  "baseUuid":  "GRP|VIEW|Fact_QF|0",                                                                  "children":  [                                                                          {                                                                                  "addTotal":  false,                                                                                  "appDesc":  "Fact  Groups",                                                                                  "baseUuid":  "Groups|GROUP|Fact_QF|0",                                                                                  "children":  [                                                                                          {                                                                                                  "addTotal":  false,                                                                                                  "appDesc":  "Sales  Volume",                                                                                                  "baseUuid":  "7836|GROUP_LEVEL|Fact_QF|0",                                                                                                  "children":  [                                                                                                          {                                                                                                                  "addTotal":  false,                                                                                                                  "appDesc":  "Dollars",                                                                                                                  "baseUuid":  "7848|GROUP_LEVEL|Fact_QF|0",                                                                                                                  "children":  [                                                                                                                          {                                                                                                                                  "addTotal":  false,                                                                                                                                  "appDesc":  "$",                                                                                                                                  "baseUuid":  "7848|GROUP_LEVEL|Fact_QF|0|DOL",  
56. DEALING  WITH  REPORTING   DATA
57. tar y. MAKE  IT  RESPONSIVE 57 • Asynchronous  UI   • ProgressQueueManager  class  with  Promises  and  Defered’s   • Use  Deo.js  framework  for  IOC   • Controllers  extend  base  controllers   • Incorporates  access  to  PQM   • Data  fetches  can  be  truly  asynchronous   • Repor5ng  data  gets  BIG   • Breaking  up  reports  into  objects   • Asynchronously  store  chunked  data  into  Couchbase   • UI  only  request  the  chunk  of  data  that  is  needed
58. WHERE  ARE  WE  HEADED?
59. INCREASE  THE  VISUALIZATIONS  WE   SUPPORT
60. INTRA  REPORT  AND  INTER  REPORT   LINKING
61. COMPONENTIZE  FOR  ENTERPRISE  USAGE
62. STORING  JSON,  DISPLAYING  JSON,  WHY   NOT  SERVE  WITH  JS?
63. DARRELL  PRATT   ARCHITECT  LEADER,  GLOBAL  BUY   ! @darrellpra(   h(p://www.nielsen.com