A la découverte d' Asyncio

Petite conférence dispensée lors de pytong 2014 pour donner envie de bricoler avec.

Transcript

1. A la découverte d'asyncio Pyton 2014 – Marseille city Du python, du réseau, de l’asyncio.
2. Sommaire 1.  Programmation réseau 2.  Utiliser asyncio 3.  Pourquoi asyncio 4.  Limitations
3. Programmation réseau Des sockets, des threads, de l’evenementiel
4. Utiliser des sockets… client s = socket.socket() s.connect((‘host’, port)) data = s.recv() s.send(data) server s = socket.socket() s.bind(‘localhost’, port) s.listen(backlog) conn, addr = s.accept() conn.send(data) data = conn.recv()
5. …Non bloquantes fcntl.fcntl(s, fcntl.F_SETFL, os.O_NONBLOCK) while True: try: data = s.recv(1024) except socket.error as e: err = e.args[0] if err == errno.EAGAIN or err == errno.EWOULDBLOCK: time.sleep(1) else: if not data: print("disconnected") break else: print("received data:", data)
6. En forkant —  Chaque connexion est deleguée à un process fils
7. Avec un pool de thread Chaque connexion est déleguée à un thread —  Problème d’accès concurrents (locks)
8. Evènementielles! En utilisant select/poll/epoll —  Réduit le coût d’une connexion (ram) —  CPU « bound » et non pas I/O « bound » Mais —  Code async (donc complexe) Et les IOCP sous windows, mais, c’est windows.
9. A wild asyncio appears Une boucle évènementielle dans la stdlib
10. Objets de base —  EventLoop: Boucle qui va executer des Task, appeler des callbacks —  Coroutine: « generator » dont l’execution peut-être suspendue —  Future: objet représentant un futur resultat (promise) —  Task: Objet qui tourne dans l’eventloop —  Protocol: Implementation du protocole sur le lien
11. Exemple @asyncio.coroutine def myfunc(): yield from asyncio.sleep(2) loop = asyncio.get_event_loop() loop.run_until_complete(myfunc()) @coroutine def sleep(delay, result=None, *, loop=None): future = futures.Future() future._loop.call_later(delay, future.set_result, result) return (yield from future)
12. Avec des sockets StreamReader data = yield from reader.read() StreamWriter writer.write(data) writer.writer(data) yield from writer.drain() reader, writer = asyncio.open_connection(host, port) Objets de plus haut niveau
13. Les « Protocol » —  Implementation du protocole sur le lien —  Code partageable entre le serveur et le client —  Gestion des connexions et des deconnexions Note: Le serveur instanciera un protocol par client
14. Exemple de protocole class SmtpClientProtocol(CommonSmtpProtocol): @asyncio.coroutine def helo(self, name): self.writer.write(b’HELO {}'.format(name)) yield from self.writer.drain() @asyncio.coroutine def vrfy(self, username): self.writer.writ(b'VRFY {}'.format(username)) yield from self.writer.drain()
15. Pourquoi asyncio —  Programmation asynchrone explicite —  Beaucoup moins de callbacks —  Multiplexage de task (plus haut niveau) asyncio.wait() – asyncio.gather() —  Primitives de synchronisations (Events, Locks)
16. Limitations —  Async is hard —  Communauté jeune (asyncio.org) —  Non compatible avec unittest.mock