log

YAPC::Fukuoka 2025

Transcript

1. log @karupanerura YAPC::Fukuoka 2025
2. @karupanerura • Software Engineer - DeNA Co., LTD. • Chief Director - Japan Perl Association • YAPC::Japan Organizer • Perl/Java/Go/TypeScript/AWS/GCP/etc...
3. log
4. ର਺ͷ࿩͸͠·ͤΜ
5. logΛు͘ͻͱͨͪ • ΞϓϦέʔγϣϯ/ίϯςφ • ϛυϧ΢ΣΞ • OS
6. logΛड͚औΔͻͱͨͪ • r?syslog • journald • fl uentd • AWS Cloud Watch • Google Cloud Logging • etc..
7. logΛू໿orूܭ͢Δͻͱͨͪ • Amazon Redshift • Google Big Query • Apache Beam • Apache Spark • ֤छσʔλϕʔεor෼ࢄετϨʔδ • etc...
8. ϩά͔Β͸͡·ΔΑ΋΍·࿩
9. ແཧ໼ཧϩά͔Β࿩Λ޿͛·͢
10. ࣌ؒͷݟੵ΋Γͯ͠ͳ͍ͷͰ ࣌ؒͷڐ͢ݶΓ࿩͠·͢ ʢ΋͠ΊͬͪΌ࣌ؒ͋·ͬͨΒ͝ΊΜʣ
11. ϩάͷܗࣜ
12. ߏ଄Խϩά͕౰ͨΓલʹͳͬͨ • Perl/Rubyք۾Ͱ͸LTSV (Labeled TSV)͕࠷ߴͱ΋ͯ͸΍͞Ε͸΍Կ೥ • ͣͬͱςΩετϩά͕ඪ४ͩͬͨGoʹ΋͍ͭʹslog͕ొ৔ • Loggerͷબ୒͸ݴޠ໰Θͣߏ଄Խϩάͷαϙʔτ͕લఏʹʁ • ͳΓͭͭ͋Δ……ʁ • ݴ͍ա͔͗……ʁʢ˞ݸਓͷײ૝Ͱ͢ʣ
13. ߏ଄ԽϩάͳʹͰు͘ʁ • ϩάసૹͷσʔϞϯʹ߹ΘͤΔ • ͦΕ͸ͦ͏ • ࣗ༝ͳܗࣜͷ৔߹ • LTSV • JSON Lines • ΄͔ͳΜ͔͍͍΍ͭ͋Δʁ
14. ߏ଄ԽϩάͳʹͰు͘ʁ • {"message":"hoge","context":{"userId":123}} • message:hoge context.userId:123
15. ݸਓతʹ͸JSON Lines͕޷͖ • jq͕͋Δ͜ͱͰJSON͕shell friendlyͳੈքʹͳ͍ͬͯΔ • gcloud logging read hoge | jq '.hoge' | grep fuga | perl -pe '...'
16. JSON Lines
17. JSON Lines ͍͍ͬͯΑͶ • jqͱUNIXʹ׳Ε͍ͯΕ͹ࣗ༝ࣗࡏ • Perlʹ΋׳Ε͍ͯΕ͹͞Βʹࣗ༝ࣗࡏ • Զ͸Ͳͬͪʹ΋׳ΕͯΔͷͰ࠷ڧ • ϩά͚ͩ͡Όͳ͍ͯ͘ΖΜͳ΋ͷʹ࢖͑Δ • σʔλϕʔεͷ fi xtureͱ͔
18. Google Cloud Datastore • Google Cloud Firestore (Firebase Firestore) • Key-ValueܗࣜͷDocument Database • ݹ͘ͷGoogle Cloud Datastoreͱޓ׵ͷdatastore mode΋͋Δ • Key͕Range baseͰࣗಈతʹγϟʔσΟϯά͞ΕΔײ͡ • Key͕෼ࢄͯ͠Ε͹͋Μ·ߟ͑ͳͯ͘΋΄΅ແݶʹεέʔϧ͢Δ
19. DatastoreͷݸਓతʹͪΐͬͱͭΒ͍ͱ͜Ζ • ʢެࣜʹ͸ʣCLIπʔϧ͕ͳ͍ • mysqlίϚϯυΈ͍ͨʹγϡοͱCLI͔ΒΑ͠ͳʹ͍͡Εͳ͍ • dsio ͱ͍͏ط੒OSS͕͋Δ • ओʹ fi xture؅ཧʹ޲͍͍ͯΔ • mysqldumpͱdumpͷΠϯϙʔτ͕Ͱ͖ΔΑ͏ͳΠϝʔδ
20. ͳͷͰ࡞ͬͨ: dutil • CLIͰDatastoreʹର͢ΔCRUD͕Ͱ͖Δ • Mutate APIΛ࢖͍ͬͯΔͷͰPUT͡Όͳͯ͘INSERT͕Ͱ͖Δ • Keyͷॏෳ͕͋ͬͨΒࣦഊͯ͘͠ΕΔ • ೖग़ྗΛJSON LinesͰѻ͏
21. ࣗຫ͢Δίʔφʔ • https://github.com/karupanerura/dutil?tab=readme-ov- fi le#examples • ΍͸ΓJSON Lines͸࠷ߴ
22. ϩάͷूܭ
23. ༷ʑͳϩά͕͋Γ༷ʑͳ༻్͕͋Δ • ΞϓϦέʔγϣϯϩά͸ΞϥʔτඈΜͩΒଈݟ͍ͨ • ߦಈ෼ੳϩάΈ͍ͨͳͷ • ͦͦ͜͜ϦΞϧλΠϜͰݟ͍ͨ΋ͷ΋͋Δ • όονతʹूܭͰ͖Ε͹े෼ͳ΋ͷ΋͋Δ
24. ४ϦΞϧλΠϜूܭ͢Δϩά • ΅͘͸Google Cloud Data fl owΛ࢖͍ͬͯΔ • Apache Beamͷ୅දతͳϥϯλΠϜ • ࠷ۙɺ͜ΕΛ࠷ߴศརͱࢥͬͯ࢖ͬͯΔͷͰ঺հ͍ͨ͠ • Ұൠతʹ͸ͨͿΜKafkaͱ͔Amazon Kinessisͱ͔……ʁ • ͋Μ·ଞͷ΍ͭͰ͜͏͍͏͜ͱͨ͜͠ͱͳ͍͔Βແ஌
25. Apache Beam + Google Cloud Data fl ow • ந৅తʹσʔλͷύΠϓϥΠϯΛఆٛͯ͠෼ࢄج൫্Ͱ࣮ߦͰ͖Δ • ͪΌΜͱ෼ࢄ͠΍ͦ͢͏ʹఆٛͨ͠Βউखʹ෼ࢄͯ͘͠ΕΔ • σʔλྔʹԠ͍͍ͯ͡ײ͡ʹΦʔτεέʔϧ • ਨ௚ΦʔτεέʔϧͰ͋Δͱ͜ΖͷData fl ow Prime΋ۙ೥ग़ͨ • ετϦʔϛϯάόονॲཧ΋Ͱ͖Δ • σʔλϕʔεΛ΄΅શͳΊ͢ΔΈ͍ͨͳ༻్ʹ΋࢖͑Δ
26. ۙ೥ͭͬͨ͘Data fl ow Pipeline • Datastore͔ΒQueryͯ͠Ϛονͨ͠ର৅શһΛॲཧ͢Δόον • ͳ͕ʙʙʙʙʙ͍APIΛ࠷ޙ·Ͱϖʔδωʔγϣϯͯ͠ॲཧ͢Δ΍ͭ • ϩάͷதؒूܭΛ࡞ͬͯDBߋ৽͢Δ΍ͭ • ʢ࣮͸࠷ۙ͋Μ·Data fl owͰϩά͍ͬͯ͡ͳ͍ͳ……ʁʣ
27. Claude Codeͷϩά
28. Claude Codeͷϩά • ϩʔΧϧʹు͔ΕΔ • ~/.claude/ ҎԼʹ͍Ζ͍Ζు͔ΕΔ • ͳΜ͔͏·͍͔͘ͳ͔ͬͨϩάΛݟฦͨ͠Γ • thinkingͷத਎Έͨ͘ͳΔ͜ͱ͋Γ·ͤΜʁ • ͍ͭ͜΋JSON LinesͰߏ଄ԽϩάͰѻ͍΍ͯ͘͢࠷ߴ
29. ίϯςΩετΤϯδχΞϦϯά • ͯ͠·͔͢ʁ • Sub-Agentsͱ͔Skillsͱ͔࢖͍͍ͬͯײ͡ʹ͢ΔࢼΈΛ͍ͯ͠Δ • ςετ/੩తղੳͷϩάͰίϯςΩετΛ৯͍ͭͿ͢ • ϩάͷղੳΛSubAgentʹ͠Α͏ʢίϯςΩετ෼཭ʣ
30. Claude CodeͷSub Agent • ผͷίϯςΩετΛ੾ͬͯґཔͯ݁͠ՌΛड͚औΔ • աఔΛผͷίϯςΩετʹ੾Γग़ͤΔ • ϝΠϯίϯςΩετʹϊΠζ͕ೖΓͮΒ͍ • ͭΒ͍ͱ͜Ζ • ϋϧγωʔγϣϯΛى͜͠΍͍͢
31. Sub AgentͷϋϧγωʔγϣϯͷউखͳԾઆ • Sub AgentͷఆٛΛҳ୤͠ͳ͍Α͏ʹ͍ͯ͠ΔʢఆٛΛଚॏʣ • ఆٛʹͳ͍ಈ͖Λආ͚Δ • ఆٛʹྫ֎ܥ͕ఆٛ͞Ε͍ͯͳ͍ͱ • Τϥʔͱ͔ى͖ͨͱ͖ʹ΋݁ՌΛͭ͘Βͳ͖ΌͱͳΔ
32. ϩάͷࠓੲ
33. Ή͔͠ • ϑΝΠϧγεςϜʹు͘ • ͳΜΒ͔ͷํ๏Ͱసૹ&ϩʔςʔγϣϯ • rsyslog+logrotated • fl uentd • ո͍͠ͱࢥͬͨΒsshͯ͠nice/ionice͚ͭͯtailf&grepͨ͠Γ • ༉அͯ͠ࡶʹ΍ͬͯ͠·ͬͯCPUுΓ෇͍ͯো֐ʹͳͬͨΓ
34. ͍· • STDOUT/STDERRʹు͘ • ;͗͠ͳ͔ͪΒͰCloudWatch Logsͱ͔Cloud Loggingͱ͔ʹ͍͘ • ίϯςφؒͰڞ༗͢ΔϘϦϡʔϜʹు͘ • side-car͕ͳΜ΍͔Μ΍ͯ͠సૹ • ΞϓϦέʔγϣϯ͕όοΫάϥ΢ϯυεϨουͰૹΓ͚ͭΔ • ΍ͬͯΔͻͱ͸Έͨ͜ͱͳ͍
35. ͍͍࣌୅ʹͳΓ·ͨ͠Ͷ
36. ·ͱΊͳ͍