LLM으로 음성인식 성능 개선하기

&OE - UP - FOE਺ࢿੋध੉ۆ --.ӝ߈੄਺ࢿੋध --.ਸ੉ਊೠ਺ࢿੋधࢿמѐࢶ

ӝઓ੄਺ࢿੋध "DPVTUJD   .PEFM %FDPEJOH -FYJDPO -BOHVBHF .PEFM   tয়טզॿঌ۰઻u
p(X|S) p(W) p(S|W) ੑ۱ػ਺ࢿ੉যڃޙ੗ৌ۽੉ܖযઉ੓ਸഛܫ੉о੢֫਷૑ܳ଺חѪ

&OE - UP - FOE਺ࢿੋध &OE - UP - FOE
.PEFM tয়טզॿঌ۰઻u

&OE - UP - FOE਺ࢿੋधݽ؛ $5$ "&% 3// - 5
&ODPEFS 4PGUNBY 31SBCIBWBMLBSFUBM t&OE - UP - &OE4QFFDI3FDPHOJUJPO"4VSWFZ u*&&&"$.5SBOTPO"VEJP4QFFDIBOE-BOH1SPD WPM QQ &ODPEFS %FDPEFS 4PGUNBY +PJOU   /FUXPSL   4PGUNBY &ODPEFS 1SFEJDUJPO   /FUXPSL

&OE - UP - FOE਺ࢿੋधݽ؛ 4,JN 5)PSJ BOE48BUBOBCF t+PJOUDUD
- BUUFOUJPOCBTFEFOE - UP - FOETQFFDISFDPHOJUJPOVTJOHNVMUJ - UBTLMFBSOJOH uJO1SPD*$"441 QQm j x1 x2 TP h1 h2 h3 h4 hL xT x3 x4 x5 x6 x7 x8 @ @ j y1 y2 @ FP h y1 y2 s0 s1 s2 su a0 a1 a2 au j &ODPEFS %FDPEFS $5$ LAttention LCTC LMTL = λLCTC + (1 − λ)LAttention λ : 0 ≤ λ ≤ 1

&OE - UP - FOE਺ࢿੋधݽ؛೟ण &ODPEFS਺ࢿਸ੉೧ೞחݽٕ   %FDPEFSఫझ౟ܳࢤࢿೞחݽٕ ച੗੄਺ࢿҗఫझ౟оहਵ۽઱য૑ݶ Ӓҙ҅ܳ೟णೠѾҗ਺ࢿੋधӝ
FODPEFS EFDPEFS оٜ݅য૓׮

&OE - UP - FOE਺ࢿੋध੉ۆ --.ӝ߈੄਺ࢿੋध --.ਸ੉ਊೠ਺ࢿੋधݽ؛ ӝઓ&&਺ࢿੋधҗ--.ӝ߈੄਺ࢿੋधݽ؛੄ର੉ --.ਸ੉ਊೠ਺ࢿੋधࢿמѐࢶ

؀ӏݽ੄ؘ੉ఠ۽ള۲ػѢ؀ೠࢎ੉ૉ੄঱যݽ؛ --.੉ۆ ･･･ -BSHF-BOHVBHF.PEFM

--.ਸ੸ਊೠ਺ࢿੋधݽ؛ 5SBOTGPSNFS   %FDPEFS "VEJP   &ODPEFS +8VFUBM
t0OEFDPEFS - POMZBSDIJUFDUVSFGPSTQFFDI - UP - UFYUBOEMBSHFMBOHVBHFNPEFMJOUFHSBUJPO uJO1SPD"436 QQm   :'BUIVMMBIFUBM t1SPNQUJOHMBSHFMBOHVBHFNPEFMTXJUITQFFDISFDPHOJUJPOBCJMJUJFT uJO1SPD*$"441 QQm

TUBDLJOH -BSHF-BOHVBHF.PEFM "VEJP   &ODPEFS --.ਸ੸ਊೠ਺ࢿੋधݽ؛ +8VFUBM t0OEFDPEFS
- POMZBSDIJUFDUVSFGPSTQFFDI - UP - UFYUBOEMBSHFMBOHVBHFNPEFMJOUFHSBUJPO uJO1SPD"436 QQm   :'BUIVMMBIFUBM t1SPNQUJOHMBSHFMBOHVBHFNPEFMTXJUITQFFDISFDPHOJUJPOBCJMJUJFT uJO1SPD*$"441 QQm

--.ӝ߈੄਺ࢿੋधױ੼ ӝઓ&&਺ࢿੋधҗ--.ӝ߈੄਺ࢿੋध࠺Ү ӝઓݽ؛؀࠺ള۲җ୶ۿद֫਷ো࢑੗ਗਸ೙ਃ۽ೣ ࣻभরѐ੄౵ۄ޷ఠܳо૓--.ਸEFDPEFS۽ࢎਊ ࠺ਊૐо

ӝઓ&&਺ࢿੋधҗ--.ӝ߈੄਺ࢿੋध࠺Ү ࠄ੗ܐ੄੿ࠁחؘ੉ఠ৬ݽ؛ҳઑীٮۄо߸੸ੌࣻ੓णפ׮ &&਺ࢿੋधݽ؛ --.ӝ߈੄਺ࢿੋधݽ؛ ٣௏؊౵ۄ޷ఠࣻ . # ୶ۿदр ߓ ডߓ

" --.੄૑धਸӝઓݽ؛ҳઑী੹׳೧ࠁ੗   ૑धૐܨ LOPXMFEHFEJTUJMMBUJPO ,% 2 ୶ۿ࠺ਊૐоহ੉--.ਸഝਊೞ۰ݶ

&OE - UP - FOE਺ࢿੋध੉ۆ --.ӝ߈੄਺ࢿੋध --.ਸ੉ਊೠ਺ࢿੋधࢿמѐࢶ

&OE - UP - FOE਺ࢿੋध੉ۆ --.ӝ߈੄਺ࢿੋध --.ਸ੉ਊೠ਺ࢿੋधࢿמѐࢶ ૑धૐܨ ,OPXMFEHF%JTUJMMBUJPO ,%
--.ਸ੉ਊೠ૑धૐܨݽ؛ प೷Ѿҗ

૑धૐܨ ,OPXMFEHF%JTUJMMBUJPO ,% QSFEJDUJPOT EJTUJMMFELOPXMFEHF ௾ݽ؛ 5FBDIFS/FUXPSL ۽ࠗఠ੘਷ݽ؛ 4UVEFOU.PEFM ۽૑धਸ੹׳ೞח೟णߑߨ
QSFEJDUJPOT USVF MBCFMT

3FTQPOTF - CBTFELOPXMFEHFEJTUJMMBUJPO ૑धઙܨীٮܲ,OPXMFEHF%JTUJMMBUJPO࠙ܨ 5FBDIFS   -PHJUT 4UVEFOU  
-PHJUT %JTUJMMBUJPO-PTT +(PV #:V 4+.BZCBOL BOE%5BP t,OPXMFEHFEJTUJMMBUJPO"TVSWFZ u*OUFSOBUJPOBM+PVSOBMPG$PNQVUFS7JTJPO WPM OP QQm

'FBUVSF - CBTFELOPXMFEHFEJTUJMMBUJPO ૑धઙܨীٮܲ,OPXMFEHF%JTUJMMBUJPO࠙ܨ -BZFS -BZFS -BZFS/ -PHJUT -BZFS
-BZFS -BZFS. -PHJUT %JTUJMMBUJPO-PTT 5FBDIFS.PEFM 4UVEFOU.PEFM +(PV #:V 4+.BZCBOL BOE%5BP t,OPXMFEHFEJTUJMMBUJPO"TVSWFZ u*OUFSOBUJPOBM+PVSOBMPG$PNQVUFS7JTJPO WPM OP QQm

0G fl JOFEJTUJMMBUJPO ࢎ੹೟णػҮࢎݽ؛ਸࢎਊೞৈ೟ࢤݽ؛ਸ೟ण Үࢎݽ؛਷Ҋ੿غয੓ਵݴ ೟ࢤݽ؛݅೟ण فݽ؛੉࢚ഐ੘ਊ੉ࠛоמ
೟णઙܨীٮܲ,OPXMFEHF%JTUJMMBUJPO࠙ܨ 0OMJOFEJTUJMMBUJPO Үࢎݽ؛җ೟ࢤݽ؛ਸزदী೟ण Үࢎݽ؛੉࢜۽਍ؘ੉ఠܳ୊ܻೞݶࢲ೟ࢤݽ؛ ীѱ૑धਸ੹׳ ֫਷҅࢑੗ਗ೙ਃ ೟णࠛউ੿ࢿૐо 5FBDIFS   .PEFM 4UVEFOU   .PEFM 5FBDIFS   .PEFM 4UVEFOU   .PEFM

--.EFDPEFS੄঱যמ۱ਸӝઓ&&਺ࢿੋधӝ੄5SBOTGPSNFSEFDPEFS۽૑ध੹੉ --.ਸ੉ਊೠ਺ࢿੋधࢿמѐࢶ --. %FDPEFS 1SF - USBJOFE 5SBOTGPSNFS   %FDPEFS
4NBMM4UVEFOU ,OPXMFEHF5SBOTGFS

--.ਸ੉ਊೠ૑धૐܨݽ؛ 5SBJOJOHMPTT L = αLCTC + (1 − α)LAttention +
βLLLM + γLKD "VEJP   &ODPEFS 5SBOTGPSNF S   --.   %FDPEFS ,OPXMFEHFEJTUJMMBUJPOMPTT $5$MPTT $SPTTFOUSPQZMPTT $SPTTFOUSPQZMPTT 5SBJOJOHPOMZ

--.ਸ੉ਊೠ૑धૐܨݽ؛ -BZFSNBQQJOHTUSBUFHJFT j j j 6QQFS --.%FDPEFS 5SBOTGPSNFS%FDPEFS -PXFS 6OJGPSN

प೷ജ҃ ׮Ҵয ೠҴয %# '-&634 ѐ঱য ,TQPOTQFFDI "VEJP&ODPEFS 8BWWFD -
#&35 8IJTQFS - MBSHF - W --.%FDPEFS --B."# *O - IPVTF,PSFBO--.# 5SBOTGPSNFS%FDPEFS 5SBOTGPSNFSMBZFST BUUFOUJPOIFBET IJEEFOVOJUT ೟णߑߨ -PX - 3BOL"EBQUBUJPO -P3"

$&3 XF FF DNO TTB TB TFB
DKL ਺੺ੋधয়ܨਯࢿמѐࢶ '-&634 ▇#BTFMJOF ▇--.EFDPEFS - CBTFENPEFM ▇0VST

$&3 FWBM@DMFBO FWBM@PUIFS ਺੺ੋधয়ܨਯࢿמѐࢶ ,TQPOTQFFDI ▇#BTFMJOF ▇--.EFDPEFS
- CBTFENPEFM ▇0VST

$&3 XF FF DNO TTB TB TFB
DKL -BZFSNBQQJOHTUSBUFHJFTীٮܲ਺੺ੋधয়ܨਯࢿמ࠺Ү   '-&634 ▇6OJGPSNMBZFSTUSBUFHZ ▇6QQFSMBZFSTUSBUFHZ ▇-PXFSMBZFSTUSBUFHZ

$&3 FWBM@DMFBO FWBM@PUIFS -BZFSNBQQJOHTUSBUFHJFTীٮܲ਺੺ੋधয়ܨਯࢿמ࠺Ү ,TQPOTQFFDI ▇6OJGPSNMBZFSTUSBUFHZ ▇6QQFSMBZFSTUSBUFHZ
▇-PXFSMBZFSTUSBUFHZ

пݽ؛߹पઁੋधѾҗ࠺Ү ੿׹ 4&(3&("5*0/"/%3&$0.#*/"5*0/4)6''-&7"3*"5*0/#"$,"/%'035)#&58&&/ 5)&580100-48*5)&"$)(&/&3"5*0/ #BTFMJOF $*(3&("5*0/)&"-5)3&$0.#*/"5*0/4)6''-&7"3*"5*0/#"$,"/%'03#&58&&/ 5)&58010-&48*5)&"$)(&/&3"5*0/ --.EFDPEFS - CBTFENPEFM
4&(3&("5*0/"/%3&$0.#*/"5*0/4)6''-&7"3*"5*0/#"$,"/%'035)#&58&&/ 5)&58010-&48*5)&"$)(&/&3"5*0/ 0VST 4&(3&("5*0/"/%3&$0.#*/"5*0/4)6''-&7"3*"5*0/#"$,"/%'035)#&58&&/ 5)&58010-&48*5)&"$)(&/&3"5*0/

SFMBUJWF35' XF FF DNO TTB TB TFB
DKL ୶ۿࣘبѐࢶ '-&634 ▇#BTFMJOF ▇--.EFDPEFS - CBTFENPEFM ▇0VST

SFMBUJWF35' FWBM@DMFBO FWBM@PUIFS ୶ۿࣘبѐࢶ ,TQPOTQFFDI ▇#BTFMJOF ▇--.EFDPEFS
- CBTFENPEFM ▇0VST

LLM으로 음성인식 성능 개선하기

LLM으로 음성인식 성능 개선하기

kakao
PRO

More Decks by kakao

Other Decks in Programming

Featured

Transcript

&OE - UP - FOE਺ࢿੋध੉ۆ --.ӝ߈੄਺ࢿੋध --.ਸ੉ਊೠ਺ࢿੋधࢿמѐࢶ

&OE - UP - FOE਺ࢿੋध੉ۆ --.ӝ߈੄਺ࢿੋध --.ਸ੉ਊೠ਺ࢿੋधࢿמѐࢶ

ӝઓ੄਺ࢿੋध "DPVTUJD   .PEFM %FDPEJOH -FYJDPO -BOHVBHF .PEFM   tয়טզॿঌ۰઻u

&OE - UP - FOE਺ࢿੋध &OE - UP - FOE

&OE - UP - FOE਺ࢿੋधݽ؛ $5$ "&% 3// - 5

&OE - UP - FOE਺ࢿੋधݽ؛ 4,JN 5)PSJ BOE48BUBOBCF t+PJOUDUD

&OE - UP - FOE਺ࢿੋधݽ؛೟ण &ODPEFS਺ࢿਸ੉೧ೞחݽٕ   %FDPEFSఫझ౟ܳࢤࢿೞחݽٕ ച੗੄਺ࢿҗఫझ౟оहਵ۽઱য૑ݶ Ӓҙ҅ܳ೟णೠѾҗ਺ࢿੋधӝ

&OE - UP - FOE਺ࢿੋध੉ۆ --.ӝ߈੄਺ࢿੋध --.ਸ੉ਊೠ਺ࢿੋधݽ؛ ӝઓ&&਺ࢿੋधҗ--.ӝ߈੄਺ࢿੋधݽ؛੄ର੉ --.ਸ੉ਊೠ਺ࢿੋधࢿמѐࢶ

؀ӏݽ੄ؘ੉ఠ۽ള۲ػѢ؀ೠࢎ੉ૉ੄঱যݽ؛ --.੉ۆ ･･･ -BSHF-BOHVBHF.PEFM

--.ਸ੸ਊೠ਺ࢿੋधݽ؛ 5SBOTGPSNFS   %FDPEFS "VEJP   &ODPEFS +8VFUBM

TUBDLJOH -BSHF-BOHVBHF.PEFM "VEJP   &ODPEFS --.ਸ੸ਊೠ਺ࢿੋधݽ؛ +8VFUBM t0OEFDPEFS

--.ӝ߈੄਺ࢿੋधױ੼ ӝઓ&&਺ࢿੋधҗ--.ӝ߈੄਺ࢿੋध࠺Ү ӝઓݽ؛؀࠺ള۲җ୶ۿद֫਷ো࢑੗ਗਸ೙ਃ۽ೣ ࣻभরѐ੄౵ۄ޷ఠܳо૓--.ਸEFDPEFS۽ࢎਊ ࠺ਊૐо

ӝઓ&&਺ࢿੋधҗ--.ӝ߈੄਺ࢿੋध࠺Ү ࠄ੗ܐ੄੿ࠁחؘ੉ఠ৬ݽ؛ҳઑীٮۄо߸੸ੌࣻ੓णפ׮ &&਺ࢿੋधݽ؛ --.ӝ߈੄਺ࢿੋधݽ؛ ٣௏؊౵ۄ޷ఠࣻ . # ୶ۿदр ߓ ডߓ

" --.੄૑धਸӝઓݽ؛ҳઑী੹׳೧ࠁ੗   ૑धૐܨ LOPXMFEHFEJTUJMMBUJPO ,% 2 ୶ۿ࠺ਊૐоহ੉--.ਸഝਊೞ۰ݶ

&OE - UP - FOE਺ࢿੋध੉ۆ --.ӝ߈੄਺ࢿੋध --.ਸ੉ਊೠ਺ࢿੋधࢿמѐࢶ

&OE - UP - FOE਺ࢿੋध੉ۆ --.ӝ߈੄਺ࢿੋध --.ਸ੉ਊೠ਺ࢿੋधࢿמѐࢶ ૑धૐܨ ,OPXMFEHF%JTUJMMBUJPO ,%

૑धૐܨ ,OPXMFEHF%JTUJMMBUJPO ,% QSFEJDUJPOT EJTUJMMFELOPXMFEHF ௾ݽ؛ 5FBDIFS/FUXPSL ۽ࠗఠ੘਷ݽ؛ 4UVEFOU.PEFM ۽૑धਸ੹׳ೞח೟णߑߨ

3FTQPOTF - CBTFELOPXMFEHFEJTUJMMBUJPO ૑धઙܨীٮܲ,OPXMFEHF%JTUJMMBUJPO࠙ܨ 5FBDIFS   -PHJUT 4UVEFOU

'FBUVSF - CBTFELOPXMFEHFEJTUJMMBUJPO ૑धઙܨীٮܲ,OPXMFEHF%JTUJMMBUJPO࠙ܨ -BZFS -BZFS -BZFS/ -PHJUT -BZFS

0G fl JOFEJTUJMMBUJPO ࢎ੹೟णػҮࢎݽ؛ਸࢎਊೞৈ೟ࢤݽ؛ਸ೟ण Үࢎݽ؛਷Ҋ੿غয੓ਵݴ ೟ࢤݽ؛݅೟ण فݽ؛੉࢚ഐ੘ਊ੉ࠛоמ

--.EFDPEFS੄঱যמ۱ਸӝઓ&&਺ࢿੋधӝ੄5SBOTGPSNFSEFDPEFS۽૑ध੹੉ --.ਸ੉ਊೠ਺ࢿੋधࢿמѐࢶ --. %FDPEFS 1SF - USBJOFE 5SBOTGPSNFS   %FDPEFS

--.ਸ੉ਊೠ૑धૐܨݽ؛ 5SBJOJOHMPTT L = αLCTC + (1 − α)LAttention +

--.ਸ੉ਊೠ૑धૐܨݽ؛ -BZFSNBQQJOHTUSBUFHJFT j j j 6QQFS --.%FDPEFS 5SBOTGPSNFS%FDPEFS -PXFS 6OJGPSN

प೷ജ҃ ׮Ҵয ೠҴয %# '-&634 ѐ঱য ,TQPOTQFFDI "VEJP&ODPEFS 8BWWFD -

$&3 XF FF DNO TTB TB TFB

$&3 FWBM@DMFBO FWBM@PUIFS ਺੺ੋधয়ܨਯࢿמѐࢶ ,TQPOTQFFDI ▇#BTFMJOF ▇--.EFDPEFS

$&3 XF FF DNO TTB TB TFB

$&3 FWBM@DMFBO FWBM@PUIFS -BZFSNBQQJOHTUSBUFHJFTীٮܲ਺੺ੋधয়ܨਯࢿמ࠺Ү ,TQPOTQFFDI ▇6OJGPSNMBZFSTUSBUFHZ ▇6QQFSMBZFSTUSBUFHZ

пݽ؛߹पઁੋधѾҗ࠺Ү ੿׹ 4&(3&("50/"/%3&$0.#/"50/4)6''-&7"3"50/#"$,"/%'035)#&58&&/ 5)&580100-485)&"$)(&/&3"50/ #BTFMJOF $(3&("50/)&"-5)3&$0.#/"50/4)6''-&7"3"50/#"$,"/%'03#&58&&/ 5)&58010-&485)&"$)(&/&3"5*0/ --.EFDPEFS - CBTFENPEFM

SFMBUJWF35' XF FF DNO TTB TB TFB

SFMBUJWF35' FWBM@DMFBO FWBM@PUIFS ୶ۿࣘبѐࢶ ,TQPOTQFFDI ▇#BTFMJOF ▇--.EFDPEFS

2"

&0%