20260313 内製AIチャットボットで学んだDatadog LLM Observability活用術

಺੡"*νϟοτϘοτ։ൃͰֶΜͩ %BUBEPH--.0CTFSWBCJMJUZ׆༻ज़ %"5"%0(Ͱ࣮ݱ͢Δ"*ӡ༻࠷લઢ .$14FSWFS#JUT"*43&--.0CTFSWBCJMJUZࣄྫڞ༗ձ .BTBDIJLB,VXBCBSB

ࣗݾ঺հ ℬݪɹ੓ກ .BTBDIJLB,VXBCBSB ॴଐ גࣜձࣾ041ϗʔϧσΟϯάε *5ઓུຊ෦*5اը՝՝௕ ࢓ࣄ *5اըɾ%9ਪਐɾϚωδϝϯτ झຯ "*ίʔσΟϯάɾ೔ຊञɾΫϨʔϯήʔϜ
ίϛϡχςΟ ೥݄dӡӦϝϯόʔ ˙"NQMJGZ+BQBO6TFS(SPVQ ˙"EPCFϓϨϦϦʔεϓϩάϥϜ ɾɾ "EPCFJMMVTUSBUPS 5PQ+BQBOFTF1SF3FMFBTF$POUSJCVUPST ΠϥϨʹ໊લࡌͬͯͨΑ! ࠷ۙͷ׆ಈ w೥"84"NQMJGZ+BQBO6TFS(SPVQʹӡӦʹδϣΠϯ w೥'SPOUFOEBOE.PCJMFΧςΰϦͰ"84$#Tʹ w೥ݸਓϓϩμΫτʮ3FOP7PJDFʯϦϦʔε

ΞΠεϒϨΠΫʙͦͷ "*νϟοτϘοτɺ"*ΤʔδΣϯτͳͲ--.Λ׆༻ͨ͠ "*ΞϓϦέʔγϣϯ։ൃܦݧ͸͋Γ·͔͢ʁ

ΞΠεϒϨΠΫʙͦͷ "*ΞϓϦέʔγϣϯͷτϨʔεܦݧ͸͋Γ·͔͢ʁ

ຊ೔࿩͢͜ͱ w಺੡"*νϟοτϘοτ։ൃͷதͰײͨ͡՝୊ w՝୊ղܾʹ%BUBEPH--.0CTFSWBCJMJUZΛ׆༻ͨ͠஌ݟ wͲͷΑ͏ʹֶͼɺಋೖ͔ͨ͠ɻաఔd݁Ռɺల๬

ۀ຿՝୊dӦۀͷ໰͍߹Θͤͷඇޮ཰໰୊ Ӧۀ͕ࣾ಺໰͍߹ΘͤͰʮͨΒ͍ճ͠ʯʹ͋͏ ͋ͬͪ ͬͪ͜ ͦͬͪ Ͳͬͪʁ ࣗ෼Ͱղܾ͠Α͏ʹ΋Ͳ͜ʹԿͷࢿྉ͕͋Δ͔Θ͔Βͳ͍

Ӧۀ޲͚"*νϟοτϘοτΛ಺੡։ൃ γϯϓϧͳ"*νϟοτ6*ɺࣾ಺φϨοδ͔Βճ౴Λੜ੒Ͱ͖Δ3"(ΞϓϦ wओʹӦۀ͕ར༻ w։ൃ͸೔͙Β͍Ͱϩʔϯν wφϨοδ͸೥ؒͰ໿ສʹ

ΞϓϦέʔγϣϯͷߏ੒ γϯϓϧͳߏ੒ɺϚωʔδυαʔϏεΛ׆༻͢Δ͜ͱͰෛՙΛܰݮ /FYUKT "NB[PO#FESPDL ,OPXMFEHF#BTF 4 ʴ ʴ ϑϩϯτΞϓϦ φϨοδϕʔε
--.؂ࢹ

ΞϓϦ։ൃʹࢀߟʹͨ͠ϦϙδτϦ w"OUISPQJD͕ఏڙ͍ͯ͠ΔαϯϓϧΞϓϦέʔγϣϯूɻ wDVTUPNFSTVQQPSUBHFOU͸3"(ΞϓϦΛ࡞੒͢ΔͨΊͷϊ΢ϋ΢͕٧·͍ͬͯΔɻ w"84"NQMJGZΛར༻ͯ͠"84ʹϗεςΟϯά͢Δػೳ΋౥ࡌɻ؆୯ʹσϓϩΠՄೳɻ IUUQTHJUIVCDPNBOUISPQJDTDMBVEFRVJDLTUBSUTUSFFNBJODVTUPNFSTVQQPSUBHFOU

ճ౴݁Ռʹ՝୊ υΩϡϝϯτ͕૿͑ΔதͰޡճ౴͕ൃੜ͢ΔΑ͏ʹ ͳΜ΍͜ͷճ౴ ΄Μ·ʹ͋ͬͯΔʁ ιʔεͲΕ΍ͶΜ ݴ༿ͷ಺༰͕ಉ͕ͩ͡υϝΠϯ͝ͱʹଊ͑Δҙຯ͕ҧ͏ͳͲͷ໰୊͕ൃੜ

ճ౴݁Ռʹ՝୊ υΩϡϝϯτ͕૿͑ΔதͰޡճ౴͕ൃੜ͢ΔΑ͏ʹ ͳΜ΍͜ͷճ౴ ΄Μ·ʹ͋ͬͯΔʁ ιʔεͲΕ΍ͶΜ ͠ɺ͠ΒΜ΍Μ υΩϡϝϯτಥͬࠐΜͩͷ ͋ͳͨͰ͠ΐ͏ ݴ༿ͷ಺༰͕ಉ͕ͩ͡υϝΠϯ͝ͱʹଊ͑Δҙຯ͕ҧ͏ͳͲͷ໰୊͕ൃੜ

՝୊ɾ໰୊ ᶃ ޡճ౴ͨ͠৔߹ʹݪҼΛ௥ڀͰ͖ͳ͍ ᶄ ԿΛվળ͢Δͱ"*ΞϓϦ͕վળ͢Δͷ͔ݟ͑ͳ͍ ᶅ ೳಈతʹվળ͢ΔߦಈΛ͓ͤ͜ͳ͍ ͦΜͳ٧ΊΜͱ͍ͯ ΍ͯ͘͞͠͠ ͕Μ͹Δ͔Βɻɻɻ
ΞϓϦͷվળɾೳಈతͳ໰୊ఆ͕ٛͰ͖ͳ͍ঢ়ଶͩͬͨ "*ͷڍಈͷՄࢹԽʹ௅ઓ

%BUBEPH--.0CTFSWBCJMJUZͷτϥΠΞϧΛ࣮ࢪ τϥΠΞϧ࣌ʹ͓͜ͳͬͨ͜ͱ υΩϡϝϯτΛΑ͘ಡΉ ެࣜαϯϓϧΞϓϦέʔγϣϯͰײ֮Λ௫Ή ຊ൪ΞϓϦʹద༻͠ՄࢹԽ͢Δ ΞϓϦΛվળ͢Δ"
!τϐοΫ

ެࣜαϯϓϧΞϓϦέʔγϣϯ %BUBEPH--.0CTFSWBCJMJUZΛମܥతʹֶ΂ΔϦϙδτϦ IUUQTHJUIVCDPN%BUB%PHMMNPCTFSWBCJMJUZ ߏஙࡁΈͷ+VQZUFS/PUF#PPLT͕ఏڙ ࣮૷ํ๏ͱػೳશൠΛֶ΂Δ ͭͷ/PUF#PPLT͕͋Δ

̐ͭͷ/PUF#PPLTͷಛ௃ MMNTQBOJQZOCdγϯϓϧͳ--.ͷݺͼग़͠ͷτϨʔε XPSLqPXTQBOJQZOCdπʔϧݺͼग़͠ͳͲෳࡶͳϑϩʔͷτϨʔε BHFOUTQBOJQZOCd3F"DUΛ࢖ͬͨ"HFOUͷτϨʔε DVTUPNFWBMVBUJPOTJQZOCd3BHBTΛར༻ͨ͠ΧελϜධՁͷ࣮૷ "*ΞϓϦέʔγϣϯͷτϨʔεํ๏Λ࣮૷ϕʔεͰ࣮ߦ͠ͳ͕ΒֶशͰ͖Δ

ͲΕ͙Β͍؆୯ʹ࣮૷Ͱ͖Δ͔ͱ͍͏ͱ σίϨʔλʔΛ͚ͭΔ͚ͩɻରԠ͍ͯ͠Ε͹"VUPNBUJD*OTUSVNFOUBUJPO΋ ˛σίϨʔλʔΛૠೖ ˛τϨʔε͞Ε͍ͯΔ༷ࢠ

2JJUBͷهࣄʹ΋·ͱΊͯ·͢ ެࣜαϯϓϧͷಈ͔͢खॱɺશମ૾Λ঺հ͍ͯ͠·͢ɻ IUUQTRJJUBDPN.,@5FDIJUFNTFBEDDEG

ຊ൪ద༻࣌ͷۤ࿑ ຊ൪γεςϜ͸όοΫΤϯυ΋5ZQF4DSJQUͩͬͨ# "VUPNBUJD*OTUSVNFOUBUJPO͕ରԠ͍ͯ͠ͳ͔ͬͨ# .BOVBMJOTUSVNFOUBUJPO͔͠બ୒ࢶ͕ͳ͔ͬͨ ౰࣌͸/PEFKTʹରԠ͍ͯ͠ΔϑϨʔϜϫʔΫ͕গͳ͔ͬͨ υΩϡϝϯτͰΘ͔Βͳ͍෦෼͸ ιʔείʔυΛݟͳ͕Βඞࢮʹ࣮૷ͨ͠
1ZUIPOͰ 1ZUIPOͰ࣮૷͍ͯ͠Ε ͹͊͊͊

λΠϙΛΈ͚ͭͯίϯτϦϏϡʔτ ࢼߦࡨޡͷதɺ؆୯ͳλΠϙΛൃݟɹਓੜॳͷίϯτϦϏϡʔτ͕Ͱ͖ͨ

ࠓ͸ϑϨʔϜϫʔΫͷରԠ΋૿͍͑ͯΔʂʂʂ ˛1ZUIPO ˛/PEFKT IUUQTEPDTEBUBEPHIRDPNKBMMN@PCTFSWBCJMJUZJOTUSVNFOUBUJPOBVUP@JOTUSVNFOUBUJPO UBCQZUIPO

ͳΜ΍͔Μ΍Ͱແࣄ࣮૷ ᶃ ޡճ౴ͨ͠৔߹ʹݪҼΛ௥ڀͰ͖ͳ͍ ‎֘౰ͷτʔΫ಺༰Λݕࡧͯ͠τϨʔε݁Ռɺ3FUSJFWBMͷ݁ՌΛ෼ੳ ᶄ ԿΛվળ͢Δͱ"*ΞϓϦ͕վળ͢Δͷ͔ݟ͑ͳ͍ ‎ϓϩϯϓτௐ੔ɺνϟϯΫઓུɺυΩϡϝϯτमਖ਼ɾ௥ՃͳͲ۩ମతࢪࡦΛ࣮ߦ ᶅ ೳಈతʹվળ͢ΔߦಈΛ͓ͤ͜ͳ͍ ‎.BOBHFEFWBMVBUJPOͱ$MVTUFS.BQΛ׆༻ͨ͠඼࣭ͷ௿͍ճ౴ͷϐοΫΞοϓ
݁Ռతʹ࣮૷Ͱ͖ɺ՝୊ͷղܾʹͭͳ͕ͬͨ

ᶃޡճ౴ͨ͠৔߹ʹݪҼΛ௥ڀͰ͖ͳ͍ Ϣʔβʔͷ࣭໰ φϨοδ͔Β औಘͨ͠υΩϡϝϯτ ΤϥʔτʔΫ͕ՄࢹԽ͞Εͨ͜ͱͰৄࡉͳಈ࡞Λ෼ੳͰ͖Δ

υΩϡϝϯτ औಘޙͷ"*ࢥߟ ࣮ࡍͷճ౴ ͜ͷέʔεͩͱυΩϡϝϯτ͕ෆ଍͍ͯ͠Δ φϨοδ؅ཧऀʹχʔζͷ͋ΔυΩϡϝϯτ௥ՃΛΞυόΠε ᶄԿΛվળ͢ΔͱΞϓϦ͕վળ͢Δ͔Θ͔Βͳ͍ "*ͷࢥߟ΍ϨεϙϯεΛՄࢹԽ͢Δ͜ͱͰݪҼΛಛఆͰ͖Δ

ᶅೳಈతʹվળ͢ΔߦಈΛ͓ͤ͜ͳ͍ ΤϥʔτʔΫΛՄࢹԽ͢Δ͜ͱͰΧςΰϦ͝ͱʹऑ͍ྖҬΛ೺ѲͰ͖Δ ˛.BOBHFEFWBMVBUJPO ˛$MVTUFS.BQ Τϥʔใࠂ͕ͳͯ͘΋ɺվળ͢΂͖఺ΛΞυόΠεͰ͖Δ

ΞϓϦ͕վળ͢Δ͜ͱͰར༻ऀ͕ٸ૿ ࠓͰ͸"*͕೔ฏۉτʔΫҎ্ͷ໰͍߹ΘͤʹରԠͰ͖ΔΑ͏ʹ "*্͕खʹ ճ౴Ͱ͖ͯΔ΍Μɻ ΍Δ΍Μɻ ͋͟ʔ͢ ೥ ೥ ଟ͍೔ͰτʔΫӽ͑ τʔΫ਺ഒ⭐
ར༻ऀഒ⭐ ฏۉτʔΫ ฏۉτʔΫ ଟͯ͘τʔΫ

ల๬ Ϣʔβʔͷ࣭໰͕ෳࡶԽ͖ͯͨ͠ɻ "*ΤʔδΣϯτߏஙͱ--.0CTFSWBCJMJUZͷ׆༻Λൃల ΞϨͱίϨͱιϨʹ͍ͭͯ ௐ΂ͯڭ͑ͯ ·͔ͤͯ΍ʂ ·ͣ͸ΞϨ͔ͯ͠Β ίϨͯ͠ ιϨͯ͠d

ཁ๬ %BUBEPHͷ6*೔ຊޠʹͳΒͳ͍͔ͳʔ ӡ༻ϢʔβʔͳͲ΋τϨʔε݁ՌΛݟͯ΋Β͍վળͷࣗ૸Λଅ͍ͨ͠ ӳޠɺϜϦ·͢ φϯσϠωϯ

·ͱΊ "*ΞϓϦ։ൃʹ͸ΞϓϦڍಈͷτϨʔε͸ඞਢ ᶃ ޡճ౴ͨ͠৔߹ʹݪҼΛ௥ڀͰ͖ͳ͍ ‎֘౰ͷτʔΫ಺༰Λݕࡧͯ͠τϨʔε݁Ռɺ3FUSJFWBMͷ݁ՌΛ෼ੳ ᶄ ԿΛվળ͢Δͱ"*ΞϓϦ͕վળ͢Δͷ͔ݟ͑ͳ͍ ‎ϓϩϯϓτௐ੔ɺνϟϯΫઓུɺυΩϡϝϯτमਖ਼ɾ௥ՃͳͲ۩ମతࢪࡦΛ࣮ߦ ᶅ ೳಈతʹվળ͢ΔߦಈΛ͓ͤ͜ͳ͍
‎.BOBHFEFWBMVBUJPOͱ$MVTUFS.BQΛ׆༻ͨ͠඼࣭ͷ௿͍ճ౴ͷϐοΫΞοϓ

4/4΍ϒϩάͰΞ΢τϓοτ" IUUQT[FOOEFWNLEFWFMPQ IUUQTRJJUBDPN.,@5FDI @mkdev_10 IUUQTYDPNNLEFW@ 9 #MPH 2JJUB ;FOO 4MJEF
IUUQTTQFBLFSEFDLDPNNLEFW

͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠

20260313 内製AIチャットボットで学んだDatadog LLM Observab...

20260313 内製AIチャットボットで学んだDatadog LLM Observability活用術

k.masachika

More Decks by k.masachika

Other Decks in Technology

Featured

Transcript

಺੡"νϟοτϘοτ։ൃͰֶΜͩ %BUBEPH--.0CTFSWBCJMJUZ׆༻ज़ %"5"%0(Ͱ࣮ݱ͢Δ"ӡ༻࠷લઢ .$14FSWFS#JUT"*43&--.0CTFSWBCJMJUZࣄྫڞ༗ձ .BTBDIJLB,VXBCBSB

ࣗݾ঺հ ℬݪɹ੓ກ .BTBDIJLB,VXBCBSB ॴଐ גࣜձࣾ041ϗʔϧσΟϯάε 5ઓུຊ෦5اը՝՝௕ ࢓ࣄ 5اըɾ%9ਪਐɾϚωδϝϯτ झຯ "ίʔσΟϯάɾ೔ຊञɾΫϨʔϯήʔϜ

ΞΠεϒϨΠΫʙͦͷ "νϟοτϘοτɺ"ΤʔδΣϯτͳͲ--.Λ׆༻ͨ͠ "*ΞϓϦέʔγϣϯ։ൃܦݧ͸͋Γ·͔͢ʁ

ΞΠεϒϨΠΫʙͦͷ "*ΞϓϦέʔγϣϯͷτϨʔεܦݧ͸͋Γ·͔͢ʁ

ຊ೔࿩͢͜ͱ w಺੡"*νϟοτϘοτ։ൃͷதͰײͨ͡՝୊ w՝୊ղܾʹ%BUBEPH--.0CTFSWBCJMJUZΛ׆༻ͨ͠஌ݟ wͲͷΑ͏ʹֶͼɺಋೖ͔ͨ͠ɻաఔd݁Ռɺల๬

ۀ຿՝୊dӦۀͷ໰͍߹Θͤͷඇޮ཰໰୊ Ӧۀ͕ࣾ಺໰͍߹ΘͤͰʮͨΒ͍ճ͠ʯʹ͋͏ ͋ͬͪ ͬͪ͜ ͦͬͪ Ͳͬͪʁ ࣗ෼Ͱղܾ͠Α͏ʹ΋Ͳ͜ʹԿͷࢿྉ͕͋Δ͔Θ͔Βͳ͍

Ӧۀ޲͚"νϟοτϘοτΛ಺੡։ൃ γϯϓϧͳ"νϟοτ6*ɺࣾ಺φϨοδ͔Βճ౴Λੜ੒Ͱ͖Δ3"(ΞϓϦ wओʹӦۀ͕ར༻ w։ൃ͸೔͙Β͍Ͱϩʔϯν wφϨοδ͸೥ؒͰ໿ສʹ

ΞϓϦέʔγϣϯͷߏ੒ γϯϓϧͳߏ੒ɺϚωʔδυαʔϏεΛ׆༻͢Δ͜ͱͰෛՙΛܰݮ /FYUKT "NB[PO#FESPDL ,OPXMFEHF#BTF 4 ʴ ʴ ϑϩϯτΞϓϦ φϨοδϕʔε

ճ౴݁Ռʹ՝୊ υΩϡϝϯτ͕૿͑ΔதͰޡճ౴͕ൃੜ͢ΔΑ͏ʹ ͳΜ΍͜ͷճ౴ ΄Μ·ʹ͋ͬͯΔʁ ιʔεͲΕ΍ͶΜ ݴ༿ͷ಺༰͕ಉ͕ͩ͡υϝΠϯ͝ͱʹଊ͑Δҙຯ͕ҧ͏ͳͲͷ໰୊͕ൃੜ

ճ౴݁Ռʹ՝୊ υΩϡϝϯτ͕૿͑ΔதͰޡճ౴͕ൃੜ͢ΔΑ͏ʹ ͳΜ΍͜ͷճ౴ ΄Μ·ʹ͋ͬͯΔʁ ιʔεͲΕ΍ͶΜ ͠ɺ͠ΒΜ΍Μ υΩϡϝϯτಥͬࠐΜͩͷ ͋ͳͨͰ͠ΐ͏ ݴ༿ͷ಺༰͕ಉ͕ͩ͡υϝΠϯ͝ͱʹଊ͑Δҙຯ͕ҧ͏ͳͲͷ໰୊͕ൃੜ

՝୊ɾ໰୊ ᶃ ޡճ౴ͨ͠৔߹ʹݪҼΛ௥ڀͰ͖ͳ͍ ᶄ ԿΛվળ͢Δͱ"*ΞϓϦ͕վળ͢Δͷ͔ݟ͑ͳ͍ ᶅ ೳಈతʹվળ͢ΔߦಈΛ͓ͤ͜ͳ͍ ͦΜͳ٧ΊΜͱ͍ͯ ΍ͯ͘͞͠͠ ͕Μ͹Δ͔Βɻɻɻ

%BUBEPH--.0CTFSWBCJMJUZͷτϥΠΞϧΛ࣮ࢪ τϥΠΞϧ࣌ʹ͓͜ͳͬͨ͜ͱ υΩϡϝϯτΛΑ͘ಡΉ ެࣜαϯϓϧΞϓϦέʔγϣϯͰײ֮Λ௫Ή ຊ൪ΞϓϦʹద༻͠ՄࢹԽ͢Δ ΞϓϦΛվળ͢Δ"