Start The Dialog

This presentation is about how we used MongoDB and ElasticSearch for our first big data project at goudengids.be. I gave this talk at Telenet Idealabs, at my first MongoDB Belgium Meetup.

Transcript

1. Start The Dialog Dylan Honorez
2. Overview 1. MongoDB @ goudengids.be 2. The Campaign 3. Dialog v1.0 4. Behind the scenes 5. Benchmarking 6. Lessons learned
3. MongoDB University https://university.mongodb.com/
4. MongoDB @ goudengids.be + : data! - : data?
5. Generic Services Yellow DB Yellow: enrichment AS400 FAM BDS Feeding
6. Generic Services Yellow DB Yellow: limited enrichment AS400 FAM BDS Feeding
7. OCAPI Busineses Financial info Openinghours Reviews Media metadata Geographical data Zoning info …
8. tekst
9. Ocapi Data Aggregator Reactive application Spring Integration + Akka
10. enrichedListing.json db.businesses.findOne({'name.officialName.nameNL':'Truvo Belgium’}) { "_id" : ObjectId("524420db24ac9dc12bad8714"), "_class" : "com.truvo.ocapi.domain.business.Business", "address" : { "officialAddress" : [ { "resolved" : true, "coordinates" : { "latitude" : 51.21789235, "longitude" : 4.416003988 }, "language" : "DUTCH", "province" : "Antwerpen",
11. Dataset {                  "ns"  :  "OnlineContent.businesses",                  "count"  :  1.407.653,                  "size"  :  3.819.002.432,                  "avgObjSize"  :  2713.028304560854,                  "storageSize"  :  6137573376,                  "nindexes"  :  14,                  "paddingFactor"  :  1.0010000000744692,                  "totalIndexSize"  :  1016334032,                  "indexSizes"  :  {                                  "_id_"  :  62178480,                                  "businessId_1"  :  50862896,                                  "headings_1"  :  89911472,                                  "adverKser.adverKserId_1"  :  52113824,                                  "adverKser.status_1"  :  60412464,                                  "adverKser.vatNumber_1"  :  60935728,                                  "adverKser.language_1"  :  63364000,                                  "address.locality_1"  :  314203680,                                  "companyStats.employeeSize_1"  :  48287456,                                  "companyStats.financialResults.revenue_1"  :  49333984,                                                                                                                                ...                  }   }
12. Start the dialog
13. The Campaign Start The Dialog
15. Behind the scenes Rest API MongoDB Aggregation Framework
16. Aggregation Framework data (transformation) pipeline map-reduce real-time optimization with indexes
17. Source: mongodb.com
18. Aggregation Phase 1: $match {                  $match:{                        advertiser.status:{  $in:[  "ACTIV",  "NEW"  ]  },                    address.officialAddress:{  $ne:  {  }  },                    headings:{  $in:[  ?,  …  ]  },          location:{  $in:  [  ?,  …  ]  },          …              }   }
19. Aggregation Phase 2: $project          $project:{                        hasPhone:{  $cond:[  {  $and:[  {  $eq:[  "$phones",  {}]  },  {  $eq:[  "$mobiles",  {}  ]  }  ]  },  0,  1  ]  },                    hasEmail:{  $cond:[  {  $eq:[  "$emails",  {}  ]  },  0,  1  ]  },                    hasUrl:{  $cond:[  {  $eq:[  "$websites",  {}  ]  },  0,  1  ]  },                    hasEmailOrUrl:{  $cond:[  {  $and:[  {  $eq:[  "$emails",  {}]  },  {  $eq:[  "$websites",  {}  ]  }  ]  },  0,  1  ]  },                      hasAddress:{  $cond:[  {  $eq:[  "$address.officialAddress",  {}  ]  },  0,  1  ]  },                    advertiserNL:{  $cond:[  {  $eq:[  "$advertiser.language",  "DUTCH"  ]  },  1,  0  ]  },                    advertiserFR:{  $cond:[  {  $eq:[  "$advertiser.language",  "FRENCH"  ]  },  1,  0  ]  },                    hasContactPerson:{  $cond:[  {  $eq:[  "$companyStats.managers",  {}  ]  },  0,  1  ]  },                    hasEmployeeClass:{  $cond:[  {  $eq:[  "$companyStats.employeeSize",  null  ]  },  0,  1  ]  },                        hasRevenueClass:{  $cond:[  {  $eq:[  "$companyStats.financialResults.revenue",  null  ]  },  0,  1  ]  }              }
20. Aggregation Phase 3: $group          $group:{                        _id:null,                    count:{  $sum:1  },                    withAddress:{  $sum:"$hasAddress"  },                    withPhone:{  $sum:"$hasPhone"  },                    withEmail:{  $sum:"$hasEmail"  },                    withUrl:{  $sum:"$hasUrl"  },                    withEmailOrUrl:{  $sum:"$hasEmailOrUrl"  },                    advertisersNL:{  $sum:"$advertiserNL"  },                    advertisersFR:{  $sum:"$advertiserFR"  },                    withContactPerson:{  $sum:"$hasContactPerson"  },                    withEmployeeClass:{  $sum:"$hasEmployeeClass"  },                    withRevenueClass:{  $sum:"$hasRevenueClass"  }              }
21. Optimization Cache $match, $project, $group
22. Benchmarking Dialog MongoDB vs ElasticSearch vs Optimized MongoDB
23. Count all Dialog 1 ElasticSearch Optimized 0 15000 30000 45000 60000 1.174 322 14.883
24. Restaurants in Antwerp Dialog 1 ElasticSearch Optimized 0 1250 2500 3750 5000 134 177 359
25. High-profile companies Dialog 1 ElasticSearch Optimized 0 400 800 1200 1600 128 180 130
27. Average cpu load: 10 clients with random generated queries Dialog 1 ElasticSearch Optimized 0 25 50 75 100
28. Lessons learned find != $match null != [ ] != missing $gte && $lte sort & limit in ES correlation count & retrieve
29. Questions?
30. www.axxes.com www.goudengids.be ! https://twitter.com/dhonorez ! https://www.linkedin.com/pub/dylan-honorez/5/620/b03 ! Thank you.