LLMアプリをRagasで評価して、Langfuseで可視化しよう！

by みのるん

Slide 1

Slide 1 text

ΈͷΔΜ !NJOPSVO --.ΞϓϦΛ 3BHBTͰධՁͯ͠ -BOHGVTFͰՄࢹԽ͠Α͏ʂ

Slide 2

Slide 2 text

XIPBNJ ޚా ູʢΈͷΔΜʣ!NJOPSVO ςοΫΤόϯδΣϦετ ,%%*ΞδϟΠϧ։ൃηϯλʔגࣜձࣾʢ,"(ʣ +"846(ӡӦ ౦ژࢧ෦ 43&ࢧ෦ /8+"84 • "84$PNNVOJUZ)FSP • "844BNVSBJ • +BQBO"845PQ&OHJOFFS • +BQBO"84"MM$FSUT&OHJOFFS

Slide 3

Slide 3 text

Έͳ͞Μɺ --.ΞϓϦ࡞ͬͯ·͔͢ʁ

Slide 4

Slide 4 text

ͦΖͦΖɺ3"(νϟοτϘοτͷ1P$͸ ๞͖͖ͯͨํ΋͍ΔͷͰ͸ʜʁ

Slide 5

Slide 5 text

ੜ੒"*ΞϓϦͷ1P$Λଔۀͯ͠ ຊ൪ӡ༻΁ਐΉͨΊʹ ͔ܽͤͳ͍ཁૉͱ͍͑͹ʜ

Slide 6

Slide 6 text

ੜ੒"*ΞϓϦͷ1P$Λଔۀͯ͠ ຊ൪ӡ༻΁ਐΉͨΊʹ ͔ܽͤͳ͍ཁૉͱ͍͑͹ʜ ؂ࢹͱධՁʂ

Slide 7

Slide 7 text

ᶃ ؂ࢹฤ

Slide 8

Slide 8 text

ͱ͋ΔΞδϟΠϧ։ൃاۀͷ ΤϯδχΞɺΧάΧά͘Μ͸ 3"(νϟοτϘοτΛߏங͠·ͨ͠

Slide 9

Slide 9 text

͋Δ೔ɺ͓٬͞·͔Β࿈བྷ͕ʜ ࠷ۙɺࣾһ͔Β ʮճ౴඼࣭͕མͪͨʯ ͱ͍͏ਃࠂ͕ ૿͍͑ͯΔΜͰ͕͢ʜ

Slide 10

Slide 10 text

͔֬ʹɺલ͸ਖ਼౴Ͱ͖͍ͯͨࣾ಺φϨοδ2"ʹ ޡ౴͢ΔΑ͏ʹͳ͍ͬͯΔ ,"(ࣾͷ ެࣜΏΔΩϟϥ͸ʁ ʢώϯτɿௗྨʣ ΧάόʔυͰ͢ʢେӕʣ

Slide 11

Slide 11 text

͍͍ͬͨྼԽՕॴ͸Ͳͩ͜Ζ͏ʜ ϓϩϯϓτ ςϯϓϨʔτ ݕࡧΫΤϦʔ ݕࡧ݁Ռ ճ౴ੜ੒

Slide 12

Slide 12 text

ϓϩϯϓτͱੜ੒݁Ռ͚ͩͰ͸Θ͔Βͳ͍ʂ ,"(ࣾͷϚείοτ ΩϟϥΫλʔ͸ʁ ʢώϯτɿௗྨʣ ΧάόʔυͰ͢ʢେӕʣ ॾʑͷॲཧ

Slide 13

Slide 13 text

͔ͱ͍ͬͯɺຖճϩάړΔͷ͸͍ͩͿਏ͍ʜ

Slide 14

Slide 14 text

҆৺͍ͯͩ͘͠͞ɺ --.ΞϓϦઐ༻ͷ ؂ࢹπʔϧ͕͋Γ·͢Α

Slide 15

Slide 15 text

༗໊ͳ--.ΞϓϦ؂ࢹπʔϧ -BOH$IBJO͕ࣾఏڙɻ 4BB4͕ͩɺ՝ۚ͢Ε͹ ηϧϑϗετ΋Մೳ -BOH4NJUI෩ͷػೳΛ 044ͱͯ͠ެ։ɻ खܰʹࣗ؀ڥͰಈ͔ͤΔ

Slide 16

Slide 16 text

ࠓճ͸ܖ໿ͳ͠ͰࢼͤΔ-BOHGVTFΛ঺հ -BOH$IBJO͕ࣾఏڙɻ 4BB4͕ͩɺ՝ۚ͢Ε͹ ηϧϑϗετ΋Մೳ -BOH4NJUI෩ͷػೳΛ 044ͱͯ͠ެ։ɻ खܰʹࣗ؀ڥͰಈ͔ͤΔ

Slide 17

Slide 17 text

ίϯςφͱ%#͕༻ҙͰ͖Ε͹0,ɻ "84ͳΒ"QQ3VOOFSʴ3%4ͳͲ "84ΞΧ΢ϯτ "QQ3VOOFS 3%4 GPS1PTUHSF42- -BOHGVTF αʔόʔ σʔλϕʔε

Slide 18

Slide 18 text

ΞϓϦ΁ͷܭ૷΋؆୯ʂ ᶃ ؀ڥม਺ʹೝূΩʔͱαʔόʔ63-Λઃఆ ᶄ ؂ࢹ͍ͨؔ͠਺ΛσίΔ PS-BOH$IBJOͳΒίʔϧόοΫΛ౉͢ Ҏ্ʂ FOW -"/('64&@4&$3&5@,&: -"/('64&@16#-*$@,&: -"/('64&@)045

Slide 19

Slide 19 text

ܭ૷ޙɺ࣮ࡍʹΞϓϦΛಈ͔ͯ͠ΈΔͱʜ ಺෦ॲཧ͕Ұ໨ྎવʹʂ ॲཧ࣌ؒɺ τʔΫϯ਺ɺ ίετ ֤۠ؒͷ ೖग़ྗ಺༰ τϨʔεͷ ۠ؒ෼ྨ

Slide 20

Slide 20 text

Ͳ͜ʹ͕͔͔͍࣌ؒͬͯΔ͔΋ಛఆͰ͖Δ ΄ͱΜͲ͕--.ͷਪ࿦࣌ؒ

Slide 21

Slide 21 text

ϓϩϯϓτςϯϓϨʔτ΋ (6*Ͱ؅ཧˍߋ৽Ͱ͖Δʂ

Slide 22

Slide 22 text

ςετ༻ͷσʔληοτ΋؅ཧͰ͖Δʂ

Slide 23

Slide 23 text

ΧάΧά͘Μ΋ɺແࣄʹ ໰୊ՕॴΛಛఆͰ͖·ͨ͠👏 ͸͸͊ɺͯ͞͸ Ϣʔβʔ͞Μ͕ؒҧͬͯ σʔλফͪ͠Όͬͯͨͷ͔ʜ

Slide 24

Slide 24 text

ᶄ ධՁฤ

Slide 25

Slide 25 text

ࠓ౓͸͓٬͞·͔ΒΫϨʔϜ͕ʂ ͦ΋ͦ΋ɺ ඼࣭ྼԽʹ΋ͬͱ ૣ͘ؾ͚ͮͳ͍ͷʁʁ

Slide 26

Slide 26 text

͜ͷ੡඼͸ िؒεϓϦϯτͰ සൟʹΞϓσ͢Δ͠ɺ ຖճ໢ཏతͳධՁ͸ ݱ࣮తͰͳ͍ʜ

Slide 27

Slide 27 text

҆৺͍ͯͩ͘͠͞ɺ --.ΞϓϦઐ༻ͷ ධՁπʔϧ͕͋Γ·͢Α

Slide 28

Slide 28 text

ͦΕ͸3BHBTʂ

Slide 29

Slide 29 text

࣮ଶ͸1ZUIPOϥΠϒϥϦɻ ৭ΜͳϝτϦΫεͰճ౴඼࣭Λ఺਺Խͯ͘͠ΕΔ 'BJUIGVMOFTT ʢ৴པੑʣ 3FTQPOTF3FMFWBODZ ʢԠ౴ͷؔ࿈ੑʣ $POUFYU1SFTJDJPO ʢจ຺ਫ਼౓ʣ $POUFYU3FDBMM ʢจ຺ճऩʣ

Slide 30

Slide 30 text

-BOHGVTFʹ΋ධՁϝτϦΫε͸͋Γ·͕͢ɺ 3BHBT͸ಛʹఆධ͕͋Γ·͢

Slide 31

Slide 31 text

ͪͳΈʹ࠷ۙɺW΁Ξϓσ͞Ε·ͨ͠ɻ 3"(͚ͩͰͳ͘ΤʔδΣϯτʹ΋ରԠ 🎉

Slide 32

Slide 32 text

ͦΜͳ3BHBTͷ࢖͍ํ͸؆୯ʂ ᶃ ࢖͍͍ͨϝτϦΫε ʴධՁʹ࢖͏"*ϞσϧΛࢦఆ ᶄ --.ΞϓϦͷೖग़ྗ஋Λ σʔληοτʹઃఆͯ͠ɺ ධՁϝιουΛ࣮ߦʢඇಉظʣ ᶅ ࢦఆͨ͠ϝτϦΫεͷ ఺਺͕ग़ྗ͞ΕΔʂ

Slide 33

Slide 33 text

ͨͩɺ͜ͷ఺਺͕ίϯιʔϧ΍ ϩάʹग़͖ͯͨͱ͜ΖͰѻ͍ʹࠔΔ😅 Ͱ͍ͬͯ͏

Slide 34

Slide 34 text

ͦ͏ͩɺ͖ͬ͞ͷ-BOHGVTFʹ ৯ΘͤΕ͹͍͍ͷͰ͸ʁ

Slide 35

Slide 35 text

-BOHGVTFΫϥΠΞϯτͷTDPSFϝιουͰ τϨʔεʹͿͪࠐΉ͚ͩʂ

Slide 36

Slide 36 text

͋ͱ͸τϨʔεҰཡΛோΊΔ͚ͩͰɺ ඼࣭ྼԽͨ͠ΒҰ໨ͰߜΓࠐΊΔʂ

Slide 37

Slide 37 text

ΧάΧά͘Μ΋ ʮDPOUFYU@SFDBMMʯϝτϦΫεͷมԽʹΑΓɺ ໰୊࠶ൃ࣌ʹඵͰؾ͚ͮ·ͨ͠👏 ͓΍ɺͳΜ͔ٸʹ ݕࡧ݁ՌΛ ࢖Θͳ͘ͳͬͨͳ 3FDBMM཰͕ ௿͍΍ͭ͋ΔͰ

Slide 38

Slide 38 text

αΫοͱࢼͤΔ೔ຊޠͷೖ໳هࣄ΋ॻ͖·ͨ͠ʂ

Slide 39

Slide 39 text

࠷ޙʹએ఻

Slide 40

Slide 40 text

ɺϥεϕΨεͷ"84SF*OWFOUͰొஃ͠·͢ʂ ʮΈͷΔΜʯͰ ݕࡧ͢Δͱʜ ۭ੮͋ͱΘ͔ͣʂ ݱ஍ߦ͔ͳ͍ਓ΋ ഑৴͋Δ͔΋ʁ