Celery - Dağıtık iş yöneticisi [tr]

Transcript

1. Celery
   Dağıtık iş yöneticisi
   Emre Yılmaz
   Pyist – 17 Nisan 2011
   

   View Slide

2. Celery
   - Dağıtık çalışabilir
   - Non-Blocking
   - İş kuyruğu yöneticisi
   

   View Slide

3. Ne için lazımdı?
   - Request-response döngüsü içinde yeri olmayan
   işlerin hepsi
   - 3.parti API servisleriyle iletişim kuran kod blokları
   - Tekrar eden işler (cron replacement)
   - Daha iyi bir kullanıcı deneyimi için, kullanıcıyı
   bloklamayan “uzun süren işler, hesaplamalar”.
   - İşlerin tamamının queue(kuyruk)
   implementasyonu ile yönetilmesi.
   

   View Slide

4. Halk ekmeği kuyruğundan farklı!
   

   View Slide

5. Mimari
   

   View Slide

6. Öne çıkan özellikleri - 1
    Kuyruk yönetimi için birçok backend imkanı
   (rabbitmq, redis, mongodb, couchdb, SQL)
    Fault-tolerant yapı. İşçiler exception fırlatırsa,
   düşerse, data kaybı yaşanmaz.
    Dağıtık yapı. Birden fazla sunucuda birden fazla
   process aynı anda çalışabilir. Multi-processing
   desteği içinde.
    Güçlü monitoring/logging desteği.
   

   View Slide

7. Öne çıkan özellikleri - 2
    Framework bağımsız. Django desteği güçlü
   ama herhangi bir python uygulamasında
   kullanılabilir.
    Result Store desteği. (Database, MongoDB, Redis,
   Tokyo Tyrant, Cassandra, AMQP )
    Webhooks ile cross-platform çalışabilir.
   

   View Slide

8. Öne çıkan özellikleri - 3
    Periyodik işler. (cron is dead, long live celery!)
    İşler için retry desteği. (bir worker başarılı
   olana kadar 5 defa çalışmayı denesin.)
    Rate limit desteği. X işi için dakikada 200'den
   fazla iş alma!
   

   View Slide

9. I CAN HAZ SUPPORT?
   

   View Slide

10. Destek için
     Irc.freenode.net #celery
    (Ask solem / Ana geliştirici ile günün hangi saati
    olursa olursa olsun, soru-cevap imkanı.)
    “ brb, important mission it seems, I am currently the
    only one in that knows how to get the baby to sleep ;)”
     Email listesi
    groups.google.com/group/celery-users
     Emre Yılmaz?
    mail@emreyilmaz.me
    

    View Slide