Laravel Job Queueで バッチ運用した話

Laravel Job Queueでバッチ運用した話

Transcript

1. Laravel Job QueueͰ όονӡ༻ͨ͠࿩ Laravel Job QueueͰ όονӡ༻ͨ͠࿩
2. 3 όονӡ༻ͨ͠࿩ Agenda 2 Job Queueͱ͸ 1 ࣗݾ঺հ
3. 1 ࣗݾ঺հ
4. 4 ࣗݾ঺հ ◆໊લ ླ໦ ޹೭(Suzuki Takayuki) ◆ࣗݾ঺հ ɾ1990೥ɺਆಸ઒ݝੜ·Εɻ ɾࣾձਓʹͳ͔ͬͯΒɺϓϩάϥϛϯάΛ࢝ΊΔɻ ɾ2015೥ʹϑϧεϐʔυʹೖࣾ͠ɺ2017೥ʹϑϦʔϥ ϯεΛ΍ͬͨޙʹ2017೥11݄ʹԭೄͰىۀɻ ◆झຯ ίεϓϨɺԻָϥΠϒɺϚϥιϯେձʹग़Δɺ໺ٿ؍ ઓ ◆Twitter @kanbo0605
5. Copyright Re:Build.inc All Rights Reserved. 1.ձࣾ঺հ ◆ձ໊ࣾ גࣜձࣾRe:Build ◆ॅॴ ԭೄݝԭೄࢢதԝ̍ஸ໨̍̒−̕ ◆ࣄۀ಺༰ ɾࣗࣾWEBαʔϏεͷاըɾ։ൃɻ ɾडୗ։ൃ ◆ࣾһ 5໊ ◆ΤϯδχΞͷಇ͖ํ ϦϞʔτϫʔΫՄೳͳࣗ༝ͳಇ͖ํΛਪ঑ͯ͠·͢ʂ
6. 6 ࣗࣾWebαʔϏεͷ։ൃ ɾαʔϏε໊ Tadoru ɾγεςϜ֓ཁ Ϋϥ΢υιʔγϯά ΫϨδοτܾࡁ ͳͲ ɾ࢖͍ͬͯΔٕज़ ݴޠ : PHP,JavaScript ϑϨʔϜϫʔΫ: laravel5,Nuxt.jsͳͲ
7. 2 Job Queueͱ͸
8. 8 2 Job Queueͱ͸ δϣϒΩϡʔͱ͸δϣϒΛΩϡʔͰ؅ཧ͢ Δ΋ͷͰ͢ɻ Ωϡʔͱ͸FIFO(First In First Out)Λ࣮ݱ ͢Δσʔλߏ଄Ͱ͢ɻ Ωϡʔʹొ࿥͞ΕͨϞϊ͸ɺΩϡʔʹొ ࿥ͨ͠ॱʹॲཧ͞Ε·͢ɻ http://tech.voyagegroup.com/archives/495474.html
10. 1 0
12. 3 όονӡ༻ͨ͠࿩
13. 1 3 γεςϜͷػೳཁ݅ ɾຖ೔ɺεΫϨΠϐϯάॲཧΛ࣮ߦ ɾεΫϨΠϐϯάͨ݁͠ՌΛGoogleεϓϨουγʔτʹॻ͖ࠐΉ ɾେྔͷॲཧ͕૸ΔͷͰɺPHPϝϞϦΤϥʔʹͳΔՄೳੑ͕ߴ͍ ɾεϓϨουγʔτͷ݁ՌΛຖ೔ɺόοΫΞοϓ͢Δ ɾεϓϨουγʔτͷ݁ՌΛຖ೔ɺϝʔϧͰૹΔ
14. 1 4 શମߏ੒ εΫϨΠϐϯά αʔόαΠυ LaravelͷίϚϯ υΛ࣮ߦ औಘͨ͠σʔλΛ εϓϨουγʔτʹอଘ HTML DOM Perser ๭αΠτ εϓϨουγʔτ
15. cronͰຖே9࣌ʹ όον࣮ߦ Google ϫʔΧʔͰॱ࣮࣍ߦ εΫϨΠϐϯά ॲཧ GASͷAPIΛ࣮ߦ εΫϨΠϐϯά ͨ͠৘ใΛGASͷ ύϥϝʔλʹ֨ೲ Job εΫϨΠϐϯά ॲཧ GASͷAPIΛ࣮ߦ εΫϨΠϐϯά ͨ͠৘ใΛGASͷ ύϥϝʔλʹ֨ೲ Job Queue εΫϨΠϐϯά ॲཧ GASͷAPIΛ࣮ߦ εΫϨΠϐϯά ͨ͠৘ใΛGASͷ ύϥϝʔλʹ֨ೲ Job ϫʔΧʔ ࣮ߦ݁Ռͷ εςʔλε Λฦ٫ GASͷAPI Λ࣮ߦ εϓϨου γʔτॻ͖ ग़͠ Supervisor ϫʔΧʔ͕ࢮΜͩΒ ্ཱͪ͛௚͢ શମߏ੒ δϣϒΛ3ͭ࡞੒͠ ͨ৔߹
16. 1 6 ࣮૷ͨ͠಺༰ ᶃεέδϡʔϥͷઃఆ ᶄόονίϚϯυΫϥεͷ࡞੒ ᶅδϣϒΩϡʔͷ࢓૊ΈΛ࣮૷ ᶆGASͰεϓϨουγʔτॻ͖ࠐΈͷॲཧΛ࣮૷ ᶇsupervisorͷઃఆ
17. 1 7 ᶃεέδϡʔϥͷઃఆ Kernel.phpʹே9࣌ͰόονΛಈ ͘Α͏ʹઃఆ
18. 1 8 ᶄόονίϚϯυΫϥεͷ࡞੒ ίϚϯυͰͷॲཧ ɾຊ೔෼ͷδϣϒΩϡʔΛ٧ΊΔ ɾલ೔෼ͷδϣϒͷ࣮ߦ݁ՌΛϝʔ ϧͰૹΔ
19. 1 9 ᶅδϣϒΩϡʔͷ࢓૊ΈΛ࣮૷
20. 2 0 ᶆGASͰεϓϨουγʔτॻ͖ࠐΈͷॲཧΛ࣮૷ PHP͔ΒύϥϝʔλΛऔಘ
21. 2 1 ᶆGASͰεϓϨουγʔτॻ͖ࠐΈͷॲཧΛ࣮૷ ExcelϑΝΠϧΛ࡞੒ͯ͠ɺϝʔϧૹ৴
22. 2 2 ᶆGASͰεϓϨουγʔτॻ͖ࠐΈͷॲཧΛ࣮૷ ExcelϑΝΠϧΛ࡞੒ͯ͠ɺGoogleυϥΠϒʹόοΫΞοϓ
23. 2 3 ᶇsupervisorͷઃఆ
24. 2 4 ࠂ஌ 10/12 PHPΧϯϑΝϨϯεԭೄ։࠵͠·͢ʂ