MOVの機械学習システムを支えるMLOps実践

2020/03に行われたDeNA TechConの登壇資料

Transcript

1. .07
   ͷػցֶशγεςϜΛࢧ͑Δ
   .-0QT
   ࣮ફ ླ໦
   ོ࢙
   
   
   ஙࢁ
   কԝ !1
2. DeNA TechCon 2020 #denatechcon
   
3. !3
4. !4
5. DeNA TechCon 2020 #denatechcon ✔ ✔ ✔ 5
9. ͜ͷं྆ʹͱͬͯ ࠷దͳ૸ߦܦ࿏͸Կ͔ʁ 9 • • • •
10. 10 々
13. • • !13 • •
14. ຊ൪؀ڥ • ਪ࿦ύΠϓϥΠϯ • Ϟσϧਫ਼౓؂ࢹ !14 ࣮ݧ؀ڥ • ෼ੳ/Ϟσϧ։ൃ • ࣮ݧ؅ཧ CI/CD • • • • 々
15. DeNA TechCon 2020 #denatechcon
    
16. !16 BigQuery 々
17. ࣮ݧ؀ڥ σʔλαΠΤϯςΟετ !17 BigQuery ୳ࡧతσʔλղੳ લॲཧ ֶश ਪ࿦ ධՁ
18. DeNA TechCon 2020 #denatechcon
    
19. DeNA TechCon 2020 #denatechcon ※
    
20. DeNA TechCon 2020 #denatechcon ※
    
21. DeNA TechCon 2020 #denatechcon
    
22. DeNA TechCon 2020 #denatechcon ※ ？
    
23. DeNA TechCon 2020 #denatechcon ？
    
24. DeNA TechCon 2020 #denatechcon 々 々 → 々
    
25. DeNA TechCon 2020 #denatechcon ※ #JH2VFSZ
    
26. !26 ※
27. !27 - ⇒ - - -
28. DeNA TechCon 2020 #denatechcon
    
29. !29 CI/CD 
 々
30. !30 CI/CD 
 々 々
31. DeNA TechCon 2020 #denatechcon 々
    
32. DeNA TechCon 2020 #denatechcon 々 ※ "*
    1MBUGPSN
    
33. !33
34. 々 - - - !34
35. DeNA TechCon 2020 #denatechcon
    
36. • ※ ⇒ 
 ※ • 
 → ※ !36
37. DeNA TechCon 2020 #denatechcon ͔͜͜Βޙ൒
    
38. DeNA TechCon 2020 #denatechcon
    
39. DeNA TechCon 2020 #denatechcon 々※
    
40. DeNA TechCon 2020 #denatechcon
    
41. DeNA TechCon 2020 #denatechcon M ! ’›®lROgňǐkYi々  @ ûÂIJ_jmąƀŰ¯=„z?`ÍÌŰ¯^]=é©é\ęÐaŰ¯Qm @ ƈœĪ`ēÑøħůÄ_jmŐƉ`ąƀÛ ġŁǐƢǜ ƔŁǐƢǜ   ijŨƿç  Map data ©2019 Google
42. DeNA TechCon 2020 #denatechcon 々
    
43. DeNA TechCon 2020 #denatechcon
    
44. DeNA TechCon 2020 #denatechcon 々 AI Platform Training BigQuery
    
45. DeNA TechCon 2020 #denatechcon
    
    ($3
    
    ,VCFGMPX
    1JQFMJOF 々
     4JNVMBUJPO 3VOOFS
    *NBHF 1SFEJDUPS
    *NBHF
    $PNQPTFS 1SPGJMF
    4JNVMBUPS
    %BUB 5SBJO #BUDI
    1SFEJDUJPO 1SFQSPDFTT #VJME #JH2VFSZ
    
    ($4
46. DeNA TechCon 2020 #denatechcon
    
    
    ($3 1SPEVDUJPO
    "1* 3PVUF
    "1* 1SFEJDUPS
    *NBHF
    $PNQPTFS 1SFEJDUJPO 1SFQSPDFTT #JH2VFSZ
    
    ($4
47. DeNA TechCon 2020 #denatechcon
    
48. DeNA TechCon 2020 #denatechcon
    
49. DeNA TechCon 2020 #denatechcon 々 々 々 々 々 々
    
50. DeNA TechCon 2020 #denatechcon 々 々 々 々 々 々 ？
    
51. DeNA TechCon 2020 #denatechcon 々 々 々 々 々 々
    
52. DeNA TechCon 2020 #denatechcon ※ 々 々
    
53. DeNA TechCon 2020 #denatechcon ※ 々
    
54. DeNA TechCon 2020 #denatechcon def task_fail_slack_alert(context): slack_msg = “Task Failed.” failed_alert = SlackWebhookOperator( task_id="xxx", http_conn_id="slack", webhook_token=Variable.get("webhook.token"), message=slack_msg, username="airflow", ) return failed_alert.execute(context=context)
    
55. DeNA TechCon 2020 #denatechcon <!subteam^ABCDEF123|@user_group>
    
56. DeNA TechCon 2020 #denatechcon 々 々 々 々 々 々
    
57. DeNA TechCon 2020 #denatechcon 々
    
58. DeNA TechCon 2020 #denatechcon ※
    
59. DeNA TechCon 2020 #denatechcon
    
60. DeNA TechCon 2020 #denatechcon
    
61. DeNA TechCon 2020 #denatechcon
    
62. DeNA TechCon 2020 #denatechcon 々 々
    
63. DeNA TechCon 2020 #denatechcon 々
    
64. DeNA TechCon 2020 #denatechcon
    
65. DeNA TechCon 2020 #denatechcon 々
    
66. DeNA TechCon 2020 #denatechcon ※
    
67. DeNA TechCon 2020 #denatechcon → 々
    
68. DeNA TechCon 2020 #denatechcon 々
    
69. DeNA TechCon 2020 #denatechcon ※ @pytest.fixture(scope="session", autouse=True) def setup_teardown(request, test_config): # setup # ͜͜ʹࡉʑͱͨ͠ॲཧ suffix = uuid.uuid4() create_dataset(suffix) yield # teardown # ͜͜ʹࡉʑͱͨ͠ॲཧ delete_blobs(suffix) delete_dataset(suffix)
    
70. DeNA TechCon 2020 #denatechcon @pytest.mark.dependency(depends=[“test_preprocess_a”, “test_preprocess_b”]) def test_trainer(test_config): trainer = Trainer( test_config[“xxx”].format(test_config[“hash"]), test_config[“yyy”].format(test_config[“hash"]), ) trainer.train() trainer.upload_model()
    
71. DeNA TechCon 2020 #denatechcon →
    
72. DeNA TechCon 2020 #denatechcon 々 →
    
73. • ＝ • ＝ • !73
74. DeNA TechCon 2020