Macroscaling via Microservices

Bitly provides functionality in our API and clients by implementing microservices, a trendy new word that describes a service-oriented architecture built using some common-sense guidelines. We use the Tornado web framework to implement these services, along with a liberal sprinkling of other languages and tools. I will illustrate our system architecture, our patterns and best practices for building a service, and show how to create a scalable application using these techniques.

Transcript

1. Peter Herndon! peter@bit.ly! @tpherndon
2. Macroscaling via Microservices
3. or How We Scale Services at Bitly
4. Defining “Microservices”
5. Hello, My Name is Microservices…
6. Microservices v. SOA
7. Microservices ++, --
8. Implementing a Bitly Service
9. Tornado https://www.flickr.com/photos/24874528@N04/2493045598
10. Tornado https://www.flickr.com/photos/indigente/798304
11. Conventions
12. {“status_code”:200,    “status_txt”:  “OK”,    “data”:  {…}} Common Response Format
13. • /<service>! • /<service>/app! • /<service>/conf! • /<service>/lib! • /<service>/scripts! • /<service>/tests Directory Layout
14. • settings.py! • <service>_api.py! • queuereader_<service>.py! • README.md /<service>
15. • settings.py! • <service>_api.py! • queuereader_<service>.py! • README.md /<service>
16. import  functools   ! import  tornado.options   ! tornado.options.define("environment",  default="dev",  help="environment")   ! options  =  {          'dev':  {                  'certfile':  'conf/aps_development.pem',                  'apns_host':  dict(host='gateway.sandbox.push.apple.com',  port=2195),                  'feedback_host':  dict(host='feedback.sandbox.push.apple.com',  port=2196),                  'memcached':  expand_role('memcached.dev',  port=11211),                  'apns_reconnect_lag':  5,                  'feedback_enabled':  False,                  'feedback_reconnect_lag':  60,          },          'del':  {                  'certfile':  'conf/aps_production.pem',                  'apns_host':  dict(host='gateway.push.apple.com',  port=2195),   /<service>/settings.py
17. • settings.py! • <service>_api.py! • queuereader_<service>.py! • README.md /<service>
18. import  logging   ! import  tornado.httpserver   import  tornado.ioloop   import  tornado.options   ! import  app.api   import  app.basic   import  lib.connection   /<service>/<service>_api.py, 1 of 4
19. class  Application(tornado.web.Application):          def  __init__(self):                  debug  =  tornado.options.options.environment  ==  'dev'                  if  debug:                          logging.getLogger().setLevel(logging.DEBUG)   !                app_settings  =  {                          'debug':  debug,                          'login_url':  'dummy',                          'apns_conn':  lib.connection.APNSConn()                  }   /<service>/<service>_api.py, 2 of 4
20.                handlers  =  [                          (r'/push$',  app.api.PushHandler),                          (r'/flush$',  app.api.FlushHandler),                          (r'/deactivated_tokens$',   app.api.DeactivatedTokensHandler),                          (r'/stats$',  app.api.StatsHandler),                          (r'/ping$',  app.api.PingHandler),                  ]                  tornado.web.Application.__init__(self,   handlers,  **app_settings)   /<service>/<service>_api.py, 3 of 4
21. if  __name__  ==  '__main__':          tornado.options.define('port',  default=7320,  help="Listen  on  port",  type=int)          tornado.options.parse_command_line()          logging.info("Starting  apns_api  on  0.0.0.0:%d"  %  tornado.options.options.port)   !        http_server  =  tornado.httpserver.HTTPServer(request_callback=Application())          http_server.listen(tornado.options.options.port,  address='0.0.0.0')          tornado.ioloop.IOLoop.instance().start()   /<service>/<service>_api.py, 4 of 4
22. • settings.py! • <service>_api.py! • queuereader_<service>.py! • README.md /<service>
23. import  tornado.options   from  libbitly.NSQReader  import  Reader,  run   from  libbitly  import  logatron_client   from  libbitly  import  statsd_proxy  as  statsd   ! import  settings /<service>/queuereader_<service>.py, 1 of 4
24. def  validate_message(message):          if  message.get('o')  ==  '+'  and  message.get('l'):                  return  True          if  message.get('o')  ==  '-­‐'  and  message.get('l')\            and  message.get('bl'):                     return  True          return  False /<service>/queuereader_<service>.py, 2 of 4
25. def  count_spam_actions(message,  nsq_msg):          key_section  =  statsd_keys[message['o']]          key  =  key_section.get(message['l'],  key_section['default'])          statsd.incr(key)                    if  key  ==  'remove_by_manual':                  key_section  =  statsd_keys['-­‐manual']                  key  =  key_section.get(message['bl'],  key_section['default'])                  statsd.incr(key)                    return  nsq_msg.finish() /<service>/queuereader_<service>.py, 3 of 4
26. def  count_spam_actions(message,  nsq_msg):          key_section  =  statsd_keys[message['o']]          key  =  key_section.get(message['l'],  key_section['default'])          statsd.incr(key)                    if  key  ==  'remove_by_manual':                  key_section  =  statsd_keys['-­‐manual']                  key  =  key_section.get(message['bl'],  key_section['default'])                  statsd.incr(key)                    return  nsq_msg.finish() /<service>/queuereader_<service>.py, 3 of 4
27. if  __name__  ==  "__main__":          tornado.options.parse_command_line()          logatron_client.setup()                    Reader(                  topic=settings.get('nsqd_output_topic'),                  channel='queuereader_spam_metrics',                  validate_method=validate_message,                  message_handler=count_spam_actions,                  lookupd_http_addresses=settings.get('nsq_lookupd')        )          run() /<service>/queuereader_<service>.py, 4 of 4
28. if  __name__  ==  "__main__":          tornado.options.parse_command_line()          logatron_client.setup()                    Reader(                  topic=settings.get('nsqd_output_topic'),                  channel='queuereader_spam_metrics',                  validate_method=validate_message,                  message_handler=count_spam_actions,                  lookupd_http_addresses=settings.get('nsq_lookupd')        )          run() /<service>/queuereader_<service>.py, 4 of 4
29. if  __name__  ==  "__main__":          tornado.options.parse_command_line()          logatron_client.setup()                    Reader(                  topic=settings.get('nsqd_output_topic'),                  channel='queuereader_spam_metrics',                  validate_method=validate_message,                  message_handler=count_spam_actions,                  lookupd_http_addresses=settings.get('nsq_lookupd')        )          run() /<service>/queuereader_<service>.py, 4 of 4
30. if  __name__  ==  "__main__":          tornado.options.parse_command_line()          logatron_client.setup()                    Reader(                  topic=settings.get('nsqd_output_topic'),                  channel='queuereader_spam_metrics',                  validate_method=validate_message,                  message_handler=count_spam_actions,                  lookupd_http_addresses=settings.get('nsq_lookupd')        )          run() /<service>/queuereader_<service>.py, 4 of 4
31. • __init__.py! • api.py! • basic.py /<service>/app
32. • __init__.py! • api.py! • basic.py /<service>/app
33. import  simplejson  as  json   import  tornado.httpclient   import  tornado.web   ! class  BaseHandler(tornado.web.RequestHandler):   !        def  error(self,  status_code,  status_txt,  data=None):                  """write  an  api  error  in  the  appropriate  response  format"""                  self.api_response(status_code=status_code,                  status_txt=status_txt,                  data=data)   !        def  api_response(self,  data,  status_code=200,  status_txt="OK"):                  """write  an  api  response  in  json"""                  self.set_header("Content-­‐Type",  "application/json;  charset=utf-­‐8")                  self.finish(json.dumps(dict(data=data,                        status_code=status_code,                        status_txt=status_txt)))   /<service>/app/basic.py
34. import  simplejson  as  json   import  tornado.httpclient   import  tornado.web   ! class  BaseHandler(tornado.web.RequestHandler):   !        def  error(self,  status_code,  status_txt,  data=None):                  """write  an  api  error  in  the  appropriate  response  format"""                  self.api_response(status_code=status_code,                  status_txt=status_txt,                  data=data)   !        def  api_response(self,  data,  status_code=200,  status_txt="OK"):                  """write  an  api  response  in  json"""                  self.set_header("Content-­‐Type",  "application/json;  charset=utf-­‐8")                  self.finish(json.dumps(dict(data=data,                        status_code=status_code,                        status_txt=status_txt)))   /<service>/app/basic.py
35. • __init__.py! • api.py! • basic.py /<service>/app
36. class  ListHandler(basic.BaseHandler):   !        @app.basic.format_api_errors          @tornado.web.asynchronous          def  get(self):                  unit  =  self.get_unit_argument()                  total_key  =  self.get_argument("key")   !                self.get_all_units(total_key,   user_callback=self.async_callback(self.finish_list,  unit=unit)) /<service>/app/api.py, 1 of 2
37. class  ListHandler(basic.BaseHandler):   !        @app.basic.format_api_errors          @tornado.web.asynchronous          def  get(self):                  unit  =  self.get_unit_argument()                  total_key  =  self.get_argument("key")   !                self.get_all_units(total_key,   user_callback=self.async_callback(self.finish_list,  unit=unit)) /<service>/app/api.py, 1 of 2
38. class  ListHandler(CookieMonsterAPIHandler):   !        @app.basic.format_api_errors          @tornado.web.asynchronous          def  get(self):                  unit  =  self.get_unit_argument()                  total_key  =  self.get_argument("key")   !                self.get_all_units(total_key,   user_callback=self.async_callback(self.finish_list,  unit=unit)) /<service>/app/api.py, 1 of 2
39. class  ListHandler(CookieMonsterAPIHandler):   !        @app.basic.format_api_errors          @tornado.web.asynchronous          def  get(self):                  unit  =  self.get_unit_argument()                  total_key  =  self.get_argument("key")   !                self.get_all_units(total_key,   user_callback=self.async_callback(self.finish_list,  unit=unit)) /<service>/app/api.py, 1 of 2
40. class  ListHandler(CookieMonsterAPIHandler):   !        @app.basic.format_api_errors          @tornado.web.asynchronous          def  get(self):                  unit  =  self.get_unit_argument()                  total_key  =  self.get_argument("key")   !                self.get_all_units(total_key,   user_callback=self.async_callback(self.finish_list,  unit=unit)) /<service>/app/api.py, 1 of 2
41.        @app.basic.format_api_errors          def  finish_list(self,  data,  unit):                  if  data  is  None:                          raise  tornado.web.HTTPError(500,  'UNKNOWN_ERROR')   !                units  =  self.get_int_argument("units",  1)                  unit_reference_dt  =  self.get_unit_reference_datetime()                  output  =  ListHandler.get_output_counts(data,                   unit,  units,  unit_reference_dt)   !                logging.debug("output:  %r"  %  output)   !                self.api_response(output) /<service>/app/api.py, 2 of 2
42.        @app.basic.format_api_errors          def  finish_list(self,  data,  unit):                  if  data  is  None:                          raise  tornado.web.HTTPError(500,  'UNKNOWN_ERROR')   !                units  =  self.get_int_argument("units",  1)                  unit_reference_dt  =  self.get_unit_reference_datetime()                  output  =  ListHandler.get_output_counts(data,                   unit,  units,  unit_reference_dt)   !                logging.debug("output:  %r"  %  output)   !                self.api_response(output) /<service>/app/api.py, 2 of 2
43. class  ListHandler(basic.BaseHandler):   !        @app.basic.format_api_errors          @gen.coroutine          def  get(self):                  unit  =  self.get_unit_argument()                  total_key  =  self.get_argument("key")   !                data  =  yield  self.get_all_units(total_key)         units  =  self.get_int_argument("units",  1)                  unit_reference_dt  =  self.get_unit_reference_datetime()                  output  =  ListHandler.get_output_counts(data,                   unit,  units,  unit_reference_dt)   !                logging.debug("output:  %r"  %  output)   /<service>/app/api.py, Modernized
44. • __init__.py! • <datastore_interface>.py! • <service>_sq.py /<service>/lib
45. • nagios<service>.conf! • nginx<service>.conf! • <service>.crontab /<service>/conf
46. • <service>_backup.sh! • <service>_restore.sh! • <service>_load.sh! • … /<service>/scripts
47. One Microservice to Exemplify Them All
48. Working Together
49. v3_api v3_api apns bitgen bundles clickatron cookie_monster ...
50. Lookit All Them Microservices! v3_api apns bitgen bundles clickatron cookie_monster ...
51. Not a MICROservice v3_api apns bitgen bundles clickatron cookie_monster ...
52. Part Two, NSQ
53. Basic Web App Web App Database
54. Scaling the Mountain (of Load) Web App Database Web App Web App
55. Caching Rules Everything Around Me Database Web App Web App Web App Cache
56. You Want Me to Replicate You Database Database Web App Web App Web App Cache
57. Shards Here, Shards There Web App Web App Web App Cache Database Database Database Database Database Database
58. It’s Off to Work I Go! Database Web App Cache Queue Worker
59. Message From a Bottle(.py) Database Web App Cache Queue Worker
60. Working the Event Database Web App Cache Queue Worker
61. Write Here, Write Now Database Web App Cache Queue Worker
62. Write Here, Write Now (redux) Web App Database Worker Queue
63. Sending Out an SMS Web App Database Worker Queue
64. NSQ, I Love You! Web App Database Worker Queue Queue
65. Workin’ On a Chain(ed) Gang Web App Database Worker Queue Web App Database Worker Queue Web App Database Worker Queue
66. NSQ, I Love You! Web App Database Worker Queue Queue
67. if  __name__  ==  "__main__":          tornado.options.parse_command_line()          logatron_client.setup()                    Reader(                  topic=settings.get('nsqd_output_topic'),                  channel='queuereader_spam_metrics',                  validate_method=validate_message,                  message_handler=count_spam_actions,                  lookupd_http_addresses=settings.get('nsq_lookupd')          )          run() /<service>/queuereader_<service>.py
68. Sending Out an SMS Web App Database Worker Queue topic: ‘spam_api’
69. Sending Out an SMS Web App Database Worker Queue topic: ‘spam_api’ nsqlookupd
70. Where Am I Again? Web App Database Worker nsqd topic: 'spam_counter' nsqd topic: 'spam_api' nsqlookupd topic: 'spam_api'?
71. Talkin’ ‘Bout Something Web App Database Worker nsqd topic: 'spam_counter' nsqd topic: 'spam_api' channel: 'spam_counter'
72. Cross-Town Traffic nsqd topic: 'spam_api' Worker Worker Worker channel: 'spam_counter'
73. Channeling the Ghost nsqd topic: 'spam_api' Worker Worker Worker channel: 'spam_counter' Worker channel: 'nsq_to_file''
74. if  __name__  ==  "__main__":          tornado.options.parse_command_line()          logatron_client.setup()                    Reader(                  topic=settings.get('nsqd_output_topic'),                  channel='queuereader_spam_metrics',                  validate_method=validate_message,                  message_handler=count_spam_actions,                  lookupd_http_addresses=settings.get('nsq_lookupd')          )          run() /<service>/queuereader_<service>.py
75. NSQ http://nsq.io https://github.com/bitly/nsq
76. Monitoring
77.                handlers  =  [                          (r'/push$',  app.api.PushHandler),                          (r'/flush$',  app.api.FlushHandler),                          (r'/deactivated_tokens$',   app.api.DeactivatedTokensHandler),                          (r'/stats$',  app.api.StatsHandler),                          (r'/ping$',  app.api.PingHandler),                  ]                  tornado.web.Application.__init__(self,   handlers,  **app_settings)   /<service>/<service>_api.py
78. nsqadmin
79. nsqadmin
80. nsqadmin
81. Connections v3_api apns bitgen bundles clickatron cookie_monster ...
82. A Thousand Points of Light (well, 58)
83. A Thousand Points of Light (well, 58)
84. Whoa… 8.2 billion decodes per month
85. Huge Thank You! to the PyGotham Organizers!!!
86. Unnamed Social Event!! 7PM - 10PM Tonight!! 85 5th Avenue, New York, NY 1003! ! ! Bitly, Continuum Analytics, untapt
87. “Failing With Grace”! Sean O’Connor! Tomorrow, 9:45AM, Room 701
88. Questions?
89. Peter Herndon! peter@bit.ly! @tpherndon