Safe Reinforcement Learning - Guest Speaker Session at Cohere for AI

4BGF3FJOGPSDFNFOU-FBSOJOH "LJGVNJ8BDIJ (VFTU4QFBLFS4FTTJPO!$PIFSFGPS"* +BOVBSZ IUUQTBLJGVNJXBDIJHJUIVCJPXFCTJUF

"HFOEB • 4BGF3FJOGPSDFNFOU-FBSOJOHJOB/VUTIFMM • 8BDIJ l"4VSWFZPG$POTUSBJOU'PSNVMBUJPOTJO4BGF3FJOGPSDFNFOU-FBSOJOHz • http://arxiv.org/abs/2402.02025 (Released on
Feb 6, 2024) • 1SFTFOUUXPQBQFST • 8BDIJBOE4VJ l4BGF3FJOGPSDFNFOU-FBSOJOHJO$POTUSBJOFE.BSLPW%FDJTJPO 1SPDFTTFTz *O*$.- • IUUQTQSPDFFEJOHTNMSQSFTTWXBDIJB • 8BDIJ l4BGF&YQMPSBUJPOJO3FJOGPSDFNFOU-FBSOJOH"(FOFSBMJ[FE'PSNVMBUJPO BOE"MHPSJUINTz *O/FVS*14 • IUUQTPQFOSFWJFXOFUGPSVN JEE2-TW,/X;$

3FJOGPSDFNFOU-FBSOJOH 3- "HFOU &OWJSPONFOU "DUJPO 4UBUF 3FXBSE 1PMJDZ "MQIB(P
(PPHMF%FFQ.JOE (SBO5VSJTNP 4POZ"* 3-)' 0QFO"*

4BGFUZ*TTVFTJO3- (BQ 3FTFBSDIPO3- 3FBM"QQMJDBUJPOT "MQIB(P (PPHMF%FFQ.JOE "VUPOPNPVT%SJWJOH (SBO5VSJTNP 4POZ"*
6OTBGFBDUJPOTˠ/P1SPCMFNJ 6OTBGFBDUJPOTˠ$BUBTUSPQIJDSFTVMUTL .FEJDBM "QQMJDBUJPOT 4BGF3-JTOFFEFE

4BGF3-JO5IJT5BML • 4BGF3-JTBCSPBEUPQJDCZEFGJOJUJPO • (BSDJBBOE'FSOÂOEF[ DMBTTJGJFEPQUJNJ[BUJPODSJUFSJBJOUPGPVSHSPVQT $POTUSBJOFEDSJUFSJPO
8PSTUDBTFDSJUFSJPO 3JTLTFOTJUJWFDSJUFSJPO 0UIFST FH STRVBSFE WBMVFBUSJTL • 5IJTUBMLGPDVTFTPOTBGF3-CBTFEPOUIFDPOTUSBJOFEDSJUFSJPO Garcıa and Fernández. "A comprehensive survey on safe reinforcement learning." JMLR 16.1 (2015): 1437-1480.

4BGF3-XJUI$POTUSBJOFE$SJUFSJPO TVCKFDUUP 4BGFUZ$POTUSBJOU 5ZQJDBM3-PCKFDUJWF

%JWFSTF$POTUSBJOU3FQSFTFOUBUJPOT • %JGGFSFOUTBGFUZDSJUJDBMQSPCMFNT ˠ %JGGFSFOUQSPCMFNGPSNVMBUJPOT • %JWFSTFDPOTUSBJOUSFQSFTFOUBUJPOT .FEJDBM "VUPOPNPVT%SJWJOH
4QBDF&YQMPSBUJPO /"4" *OEVTUSJBM3PCPU

$PNNPO$POTUSBJOU3FQSFTFOUBUJPOT 1SPCMFN'PSNVMBUJPO &YQFDUFE$VNVMBUJWF4BGFUZ$POTUSBJOU 4BNF 4USVDUVSF TVCKFDUUP 4BGFUZ$POTUSBJOU 5ZQJDBM3-PCKFDUJWF

$PNNPO$POTUSBJOU3FQSFTFOUBUJPOT TVCKFDUUP 4BGFUZ$POTUSBJOU 5ZQJDBM3-PCKFDUJWF 1SPCMFN'PSNVMBUJPO &YQFDUFE$VNVMBUJWF4BGFUZ$POTUSBJOU • 0OFPGUIFNPTUQPQVMBSGPSNVMBUJPOT •
.BOZXFMMLOPXOBMHPSJUINTBSFCBTFEPOUIJTGPSNVMBUJPO • $10<> \5310 110^-BHSBOHJBO<> 3$10<> FUD • 'PDVTPOUIFBWFSBHFEQFSGPSNBODFˠ3FMBUJWFMZMPXSFRVJSFETBGFUZMFWFM <>"DIJBN $POTUSBJOFEQPMJDZPQUJNJ[BUJPO*O*$.- <>3BZ #FODINBSLJOHTBGFFYQMPSBUJPOJOEFFQSFJOGPSDFNFOUMFBSOJOHBS9JWQSFQSJOUBS9JW <>5FTTMFS 3FXBSEDPOTUSBJOFEQPMJDZPQUJNJ[BUJPO*O*$-3

$PNNPO$POTUSBJOU3FQSFTFOUBUJPOT 1SPCMFN'PSNVMBUJPO "MNPTU4VSFMZ$VNVMBUJWF4BGFUZ$POTUSBJOU TVCKFDUUP 4BGFUZ$POTUSBJOU 5ZQJDBM3-PCKFDUJWF • 3FRVJSFUIFDPOTUSBJOUTBUJTGBDUJPOXJUIQSPCBCJMJUZPG JF
BMNPTUTVSFMZ • ℙ! JTVTFESBUIFSUIBO𝔼! • )JHIFSSFRVJSFEMFWFMPGTBGFUZ • 4BVUF3-<>BMHPSJUINJTCBTFEPOUIJTGPSNVMBUJPO • (PPEUIFPSFUJDBMQSPQFSUJFT &NQJSJDBMQFSGPSNBODF <>4PPUMB 4BVUF3-"MNPTUTVSFMZTBGFSFJOGPSDFNFOUMFBSOJOHVTJOHTUBUFBVHNFOUBUJPO*O*$.-

$PNNPO$POTUSBJOU3FQSFTFOUBUJPOT 1SPCMFN'PSNVMBUJPO "MNPTU4VSFMZ*OTUBOUBOFPVT 4BGFUZ$POTUSBJOU TVCKFDUUP 4BGFUZ$POTUSBJOU 5ZQJDBM3-PCKFDUJWF • 3FRVJSFUIFDPOTUSBJOUTBUJTGBDUJPOXJUIQSPCBCJMJUZPGBUFWFSZUJNFTUFQ
• 7FSZIJHISFRVJSFEMFWFMPGTBGFUZ • .BOZBMHPSJUINTBSFCBTFEPOUIJTGPSNVMBUJPO • 4.C3-<> 3-$#'<> 4BGF.%1<> 4/0.%1<> FUD <>#FSLFOLBNQ 4BGFNPEFMCBTFESFJOGPSDFNFOUMFBSOJOHXJUITUBCJMJUZHVBSBOUFFT*O/FVS*14 <>$IFOH &OEUPFOETBGFSFJOGPSDFNFOUMFBSOJOHUISPVHICBSSJFSGVODUJPOTGPSTBGFUZDSJUJDBMDPOUJOVPVTDPOUSPMUBTLT*O"""* <>5VSDIFUUB 4BGFFYQMPSBUJPOJOGJOJUF.BSLPWEFDJTJPOQSPDFTTFTXJUI(BVTTJBOQSPDFTTFT*O/FVS*14 <>8BDIJBOE4VJ4BGFSFJOGPSDFNFOUMFBSOJOHJODPOTUSBJOFE.BSLPWEFDJTJPOQSPDFTTFT*O*$.-

$PNNPO$POTUSBJOU3FQSFTFOUBUJPOT • .BOZPUIFSEJWFSTFDPOTUSBJOUSFQSFTFOUBUJPOT FYDFQUGPSUIFUISFF • +PJOUDIBODFDPOTUSBJOU 4UBUFDPOTUSBJOU FUD •
$POTUSBJOUGPSNVMBUJPO JTUIFGJSTUTUFQJOTBGF3- • $SVDJBMUPQSPQFSMZVOEFSTUBOEEJWFSTFDPOTUSBJOUSFQSFTFOUBUJPOT • 8F`WFSFDFOUMZSFMFBTFEBTVSWFZQBQFSPOBS9JWBCPVUDPOTUSBJOUSFQSFTFOUBUJPOT • 8BDIJ 4IFO BOE4VJ"4VSWFZPG$POTUSBJOU'PSNVMBUJPOTJO4BGF3FJOGPSDFNFOU -FBSOJOHzBS9JWQSFQSJOUBS9JW 1SPCMFN'PSNVMBUJPO )PXUPEFGJOFUIFTBGFUZDPOTUSBJOU 1PMJDZ0QUJNJ[BUJPO 6TFBQSPQFSBMHPSJUIN

-JTUPGSFQSFTFOUBUJWFBMHPSJUINT BTTPDJBUFEXJUIFBDIGPSNVMBUJPO 5IFPSFUJDBMSFMBUJPOTCFUXFFO FBDIDPOTUSBJOUSFQSFTFOUBUJPO

4BGF3FJOGPSDFNFOU-FBSOJOH JO$POTUSBJOFE.BSLPW%FDJTJPO1SPDFTTFT "LJGVNJ8BDIJ
:BOBO4VJ *#.3FTFBSDI"* 5TJOHIVB6OJWFSTJUZ

1SPCMFN4UBUFNFOU 8FDPOTJEFSBTBGFUZDPOTUSBJOFE.BSLPW%FDJTJPO1SPDFTTFT .%1T 1SPCMFN'PSNVMBUJPO SFXBSEGVODUJPO GJOJUFBDUJPOTQBDF EJTDPVOUGBDUPS GJOJUFTUBUFTQBDF
EFUFSNJOJTUJDUSBOTJUJPO TBGFUZGVODUJPO "MNPTU4VSFMZ*OTUBOUBOFPVT 4BGFUZ$POTUSBJOU

1SPCMFN4UBUFNFOU • 3FXBSEGVODUJPO𝑟BOETBGFUZGVODUJPO𝑔 BSF VOLOPXOBQSJPSJ • *UJTJOUSBDUBCMFUPTPMWFUIJTQSPCMFN XJUIPVUGVSUIFSBTTVNQUJPOT •
5XPBTTVNQUJPOTGSPN4VJFUBM BOE5VSDIFUUBFUBM • "TTVNQUJPO"HFOUTUBSUTJOBTFUPGTBGFTUBUFT XIJDIJTLOPXOUPCFTBGF • "TTVNQUJPO3FXBSEBOETBGFUZGVODUJPOTFYIJCJUSFHVMBSJUZ Ø 8FNPEFMUIFNVTJOH(BVTTJBO1SPDFTTFT 4VJFUBM "4BGFFYQMPSBUJPOGPSPQUJNJ[BUJPOXJUI(BVTTJBOQSPDFTTFT*O*$.- 5VSDIFUUBFUBM "4BGFFYQMPSBUJPOJOGJOJUF.BSLPWEFDJTJPOQSPDFTTFTXJUI(BVTTJBOQSPDFTTFT*O/FVS*14

&YQMPSBUJPOBOE&YQMPJUBUJPO )PXDBOXFCBMBODF UIFUISFFPCKFDUJWFT "HSFBUEFBMPGQSFWJPVT XPSL PO3-IBTGPDVTFEPOUIJTQSPCMFN &YQMPSBUJPO PG4BGFUZ &YQMPJUBUJPO
PG3FXBSE &YQMPSBUJPO PG3FXBSE 5VSDIFUUBFUBM GPDVTFE POFYQMPSBUJPOPGTBGFUZ ,FZQPJOU

.BJO$POUSJCVUJPO 8BDIJFUBMl4BGF&YQMPSBUJPOBOE0QUJNJ[BUJPOPG $POTUSBJOFE.%1TVTJOH(BVTTJBO1SPDFTTFTz """* • 4BGFUZQSPCBCJMJTUJDHVBSBOUFF • 0QUJNBMJUZOPHVBSBOUFF 5IJTQBQFS4BGF/FBSPQUJNBM.%1
4/0.%1 8BDIJBOE4VJ l4BGF3FJOGPSDFNFOU-FBSOJOH JO$POTUSBJOFE.BSLPW%FDJTJPO1SPDFTTFTz*$.- • 4BGFUZQSPCBCJMJTUJDHVBSBOUFF • 0QUJNBMJUZQSPCBCJMJTUJDHVBSBOUFF 8BDIJ 4BGFFYQMPSBUJPOBOEPQUJNJ[BUJPOPGDPOTUSBJOFE.%1TVTJOHHBVTTJBOQSPDFTTFT *O"""*

4UFQXJTF"QQSPBDI 5IJTXPSLUBLFTBTUFQXJTFBQQSPBDI &YQMPSBUJPOPGTBGFUZ 0QUJNJ[BUJPOPGUIFDVNVMBUJWFSFXBSE JOUIFDFSUJGJFETBGFSFHJPO &YQMPSBUJPO PG4BGFUZ
&YQMPJUBUJPO PG3FXBSE &YQMPSBUJPO PG3FXBSE 4VQQPTFBOBHFOUDBOTVGGJDJFOUMZFYQBOEUIFTBGFSFHJPO 5IFO UIFBHFOUPOMZIBTUPPQUJNJ[FUIFDVNVMBUJWFSFXBSEJOUIFDFSUJGJFETBGFSFHJPO 8BDIJFUBM USJFEUPTPMWFUIF UISFFXBZUSBEFPGGTJNVMUBOFPVTMZ 8BDIJ 4BGFFYQMPSBUJPOBOEPQUJNJ[BUJPOPGDPOTUSBJOFE.%1TVTJOHHBVTTJBOQSPDFTTFT *O"""*

0WFSWJFXPG4/0.%1 4UFQ&YQMPSBUJPOPG4BGFUZ 5VSDIFUUBFUBM 4UFQ&YQMPSBUJPOBOE&YQMPJUBUJPOPG3FXBSE 4UFQ6QEBUFPG(1TCBTFEPOUIFPCTFSWBUJPOT 4UFQ$POWFOUJPOBMUFSNJOBMDPOEJUJPO 5IJTUFSNJOBMDPOEJUJPO JTSFMBUFEUPUIF
lDPNQMFUFOFTTzPGUIF TBGFSFHJPO MPPQ

0WFSWJFXPG4/0.%1 4UFQ&YQMPSBUJPOPG4BGFUZ 5VSDIFUUBFUBM 4UFQ&YQMPSBUJPOBOE&YQMPJUBUJPOPG3FXBSE 4UFQ6QEBUFPG(1TCBTFEPOUIFPCTFSWBUJPOT 4UFQ$POWFOUJPOBMUFSNJOBMDPOEJUJPO MPPQ 4UFQ&4BMHPSJUIN
*G&4BMHPSJUINJEFOUJGJFTUIBUlFYQMPSBUJPOPG TBGFUZzDBOCFTUPQQFE UIFOCSFBLUIFMPPQ

4UFQ&YQMPSBUJPOPG4BGFUZ 1SPCBCJMJTUJD4BGFUZ(VBSBOUFF 0SJHJOBMTBGFUZDPOTUSBJOU *GBTUBUFTBUJTGJFTUIFGPMMPXJOHDPOEJUJPO TBGFUZJTHVBSBOUFFEXJUIIJHIQSPCBCJMJUZ -PXFSCPVOEPG𝑔JOGFSSFECZ(1 5PFYQBOEUIFTBGFSFHJPO XFVTFUIFTBNFTDIFNF
BTJO5VSDIFUUBFUBM ʔTBGFUZGVODUJPO ʔUISFTIPME ɾPCTFSWBUJPO

4UFQ&YQMPSBUJPOPG4BGFUZ ʔTBGFUZGVODUJPO ʔUISFTIPME ɾPCTFSWBUJPO &YQBOTJPOPG4BGF3FHJPO • 5IFFGGJDJFODZPGFYQBOEJOHUIFTBGFSFHJPOJTNFBTVSFE CZUIFXJEUIPGUIFTBGFUZGVODUJPO`TDPOGJEFODFJOUFSWBM
• 4BNQMFUIFOFYUTUBUFXJUIUIFNBYJNVN XJUIJOUIFTBGFTQBDF $POWFOUJPOBM5FSNJOBM$POEJUJPOPG&YQMPSBUJPOPG4BGFUZ • 5IFQSFWJPVTXPSL 4VJFUBM 5VSDIFUUBFUBM UFSNJOBUFEUIF FYQMPSBUJPOJGUIFGPMMPXJOHFRVBUJPOIPMETGPSBMMTUBUFTJOTBGFTQBDF

4UFQ0QUJNJ[BUJPOPG3FXBSE 1SPCBCJMJTUJDVQQFSDPOGJEFODF CPVOEPGSFXBSE /FYUTUBUFNVTUCFJO QFTTJNJTUJDBMMZJEFOUJGJFETBGFTQBDF • 3FNBJOJOHUBTLJTPQUJNJ[FUIFDVNVMBUJWFSFXBSEJOUIFDFSUJGJFETBGFSFHJPO • -FWFSBHFBMHPSJUINTGPSPQUJNJ[JOHVODPOTUSBJOFE.%1T
• "TJNQMFBQQSPBDIJTUPGPMMPXUIFPQUJNJTNJOUIFGBDFPGVODFSUBJOUZQSJODJQMF

&4"MHPSJUIN • $POTJEFSBOFX.%1 XIFSFSFXBSEGVODUJPOJTEFGJOFEBTJOUIFGJHVSFCFMPX • 3FXBSEJTTFUUPCFUIFMPXFSCPVOEJOUIFDVSSFOUMZJEFOUJGJFETBGFSFHJPO • 0UIFSXJTF TFUUPCFUIFVQQFSCPVOE
• 5IJTSFXBSETFUUJOHTFODPVSBHFUIFBHFOUUPFYQMPSFPVUTJEFTUIFDVSSFOUMZ JEFOUJGJFETBGFSFHJPO 6ODFSUBJO SFHJPO *EFOUJGJFETBGF SFHJPO 3FXBSEMPXFSCPVOE 3FXBSE VQQFSCPVOE *EFOUJGJFE VOTBGFSFHJPO • 4VQQPTFUIFTFUPGOFYUTUBUFTUIBU UIFBHFOUXJMMWJTJUCBTFEPOUIF PQUJNBMQPMJDZJTBTVCTFUPGUIF DVSSFOUMZJEFOUJGJFETBGFSFHJPO • 4UPQFYQMPSJOHUIFTBGFUZGVODUJPO

&YQFSJNFOUT • %FWFMPQFEBOFXTJNVMBUJPOFOWJSPONFOU DBMMFE(14BGFUZ(ZN XIJDI JTCBTFEPO0QFO"*4BGFUZ(ZN 3BZ FU BM
• "DIJFWFECFUUFSFNQJSJDBMQFSGPSNBODFUIBOPUIFSCBTFMJOFT • 4BGF.%1 5VSDIFUUBFUBM • 4BGF&YQ0QU.%1 8BDIJFUBM 3FXBSE IJHI ZFMMPX MPX CMVF 4BGFUZIFJHIU

&GGFDUPG&4"MHPSJUIN • 1VSFTUFQXJTFBQQSPBDI CSPXOMJOF IBTBOJTTVF • 4QFOENVDIUJNFGPSUIFFYQMPSBUJPOPGTBGFUZ • 8FBEEJUJPOBMMZQSPQPTFEFBSMZTUPQQJOHPGFYQMPSBUJPOPGTBGFUZ
&4 • &4NBJOUBJOTUIFUIFPSFUJDBMHVBSBOUFFTPOOFBSPQUJNBMJUZ • 1&4FNQJSJDBMMZQFSGPSNTCFUUFSUIBO&4 &YQMPSBUJPOPG 4BGFUZ

4BGF&YQMPSBUJPOJO3FJOGPSDFNFOU-FBSOJOH "(FOFSBMJ[FE'PSNVMBUJPOBOE"MHPSJUINT "LJGVNJ8BDIJ 8BUBSV )BTIJNPUP 9VO 4IFO ,B[VNVOF )BTIJNPUP /FVS*14

5ZQJDBM4BGF3- 3FTFBSDI 1SPDFEVSF NBYJNJ[F TVCKFDUUP 4BGFUZDPOTUSBJOUT 4UFQ'PSNVMBUFBDPOTUSBJOFE3-QSPCMFN 4UFQ%FWFMPQBOBMHPSJUINUPTPMWFUIFQSPCMFN

5ZQJDBM4BGF3- 3FTFBSDI 1SPDFEVSF NBYJNJ[F TVCKFDUUP 4BGFUZDPOTUSBJOUT 4UFQ'PSNVMBUFBDPOTUSBJOFE3-QSPCMFN 7BSJPVTDPOTUSBJOU SFQSFTFOUBUJPOTFYJTU
*TTVF -JUUMFEJTDVTTJPOPOUIFJSSFMBUJPOT 4UFQ%FWFMPQBOBMHPSJUINUPTPMWFUIFQSPCMFN

5ZQJDBM4BGF3- 3FTFBSDI 1SPDFEVSF NBYJNJ[F TVCKFDUUP 4BGFUZDPOTUSBJOUT 4UFQ'PSNVMBUFBDPOTUSBJOFE3-QSPCMFN "MHPSJUINTBSFTQFDJGJDUP FBDIDPOTUSBJOUSFQSFTFOUBUJPO
*TTVF • -PXBQQMJDBCJMJUZ • &JUIFSUIFPSFUJDBMPSQSBDUJDBM 4UFQ%FWFMPQBOBMHPSJUINUPTPMWFUIFQSPCMFN

(4&1SPCMFN "MNPTU4VSFMZ$VNVMBUJWF 4BGFUZ$POTUSBJOU "MNPTU4VSFMZ*OTUBOUBOFPVT 4BGFUZ$POTUSBJOU $POTUSBJOUJO(4&QSPCMFN 5XPQPQVMBSTBGF3-QSPCMFNTDBOCFUSBOTGPSNFEJOUPUIF(4&QSPCMFN • "OBMHPSJUINGPS(4&QSPCMFNDBOTPMWFUIFBCPWFUXP
QPQVMBS QSPCMFNT • (4&QSPCMFNJTFBTZUPTPMWFTJODFUIFTBGFUZDPOTUSBJOUJTJOTUBOUBOFPVT #BUUFSZ 4QFFEMJNJU

*OUVJUJWF&YQMBOBUJPOTGPS(4&1SPCMFN "MNPTU4VSFMZ$VNVMBUJWF 4BGFUZ$POTUSBJOU $POTUSBJOUJO(4&QSPCMFN l#BUUFSZNVTUOPUSVOPVU VOUJMUIFUFSNJOBMUJNFz #BUUFSZ l#BUUFSZDPOTVNQUJPONVTUCF MFTTUIBOUIFSFNBJOJOHCBUUFSZ
DIBSHFBUFWFSZUJNFTUFQz

*OUVJUJWF&YQMBOBUJPOTGPS(4&1SPCMFN $POTUSBJOUJO(4&QSPCMFN l#BUUFSZNVTUOPUSVOPVU VOUJMUIFUFSNJOBMUJNFz "MNPTU4VSFMZ*OTUBOUBOFPVT 4BGFUZ$POTUSBJOU 4QFFEMJNJU 4BGFUZUISFTIPMEJTBDPOTUBOU 4BGFUZUISFTIPMEJTUJNFWBSZJOH

(4&1SPCMFN NBYJNJ[F TVCKFDUUP 5ZQJDBM3-PCKFDUJWF 4BGFUZDPOTUSBJOU "HFOUOFFETUPTBUJTGZUIFGPMMPXJOHJOFRVBMJUZ FWFOEVSJOHUSBJOJOH 4BGFUZDPTUGVODUJPO
VOLOPXOBQSJPSJ 5JNFWBSZJOHUISFTIPME

."4&"MHPSJUIN $POTUSVDUBOVODFSUBJOUZRVBOUJGJFS FH (1 (-. $PNQVUFUIFTFUPG DPOTFSWBUJWFMZ TBGFBDUJPOT *G
BHFOUUBLFTlFNFSHFODZTUPQBDUJPOzBOESFDFJWFTQFOBMUZ &YFDVUFUIFOFYUBDUJPOXJUIJOBOEUIFONPWFUP NBYJNJ[F TVCKFDUUP

5IFPSFUJDBM3FTVMUTPG."4& • )JHIQSPCBCJMJUZHVBSBOUFFPOTBGFUZBOEOFBSPQUJNBMJUZ • 1SBDUJDBMMZ UIFVODFSUBJOUZRVBOUJGJFSDBOCFDPOTUSVDUFEXJUI (BVTTJBOQSPDFTTFT (1T PSHFOFSBMJ[FEMJOFBSNPEFMT
(-.T

&NQJSJDBM"EWBOUBHFTPG."4& • $PNQBUJCMFXJUIBOZBEWBODFEEFFQ3-BMHPSJUINT FH 5310 110 • #FUUFSQFSGPSNBODFDPNQBSFEUP405"BMHPSJUIN

&NQJSJDBM"EWBOUBHFTPG."4& • $PNQBUJCMFXJUIBOZBEWBODFEEFFQ3-BMHPSJUINT FH 5310 110 • #FUUFSQFSGPSNBODFDPNQBSFEUP405"BMHPSJUIN ."4&EJEOPUWJPMBUF
TBGFUZDPOTUSBJOUT

&NQJSJDBM"EWBOUBHFTPG."4& • $PNQBUJCMFXJUIBOZBEWBODFEEFFQ3-BMHPSJUINT FH 5310 110 • #FUUFSQFSGPSNBODFDPNQBSFEUP405"BMHPSJUIN /PTJHOJGJDBOUQFSGPSNBODF
EFDBZJOUFSNTSFXBSE

$PODMVTJPO 5BLF)PNF.FTTBHFT • 4BGFUZJTBOJNQPSUBOUJTTVFJO3- • %JGGFSFOUQSPCMFNTFUUJOHTˠ %JWFSTFDPOTUSBJOUSFQSFTFOUBUJPOT • 4JHOJGJDBOUUPVOEFSTUBOEJOUFSSFMBUJPOTCFUXFFOFBDIDPOTUSBJOUSFQSFTFOUBUJPO •
1SFTFOUUXPTQFDJGJDBMHPSJUINT 4/0.%1 BOE."4& • 4BGFUZ DBOCFHVBSBOUFFEXJUIIJHIQSPCBCJMJUZ CZDPOTUSVDUJOHBOVODFSUBJOUZRVBOUJGJFS WJB(1T (-.T • /FBSPQUJNBMJUZ DBOBMTPCFHVBSBOUFFEVOEFSQSPQFSBTTVNQUJPOT • ."4&JTDPNQBUJCMFXJUIBOZ VODPOTUSBJOFE EFFQ3-BMHPSJUIN • (PPEFNQJSJDBMQFSGPSNBODF 5IBOLZPV $POUBDUXBDIJBLJGVNJ<BU>HNBJMDPN

Safe Reinforcement Learning - Guest Speaker Session at Cohere for AI

Safe Reinforcement Learning - Guest Speaker Session at Cohere for AI

More Decks by Akifumi Wachi

Other Decks in Research

Featured

Transcript